Методика тестування процесорів 2.0

Ось і підійшов той момент, коли ми вирішили провести кардинальне оновлення методики тестування процесорів. Попередня протрималася більше трьох років, однак ніщо в нашому світі не вічне. Незважаючи на серйозність даного кроку, нами були переглянуті як програмне забезпечення тестових стендів, так і саме «залізо». В першу чергу це пов'язано з тим, що в процесорній індустрії помітний відчутний перегонів у розвитку. Це виражається в практично поголовній наявності вбудованих графічних ядер різного рівня продуктивності і розрахованих на виконання відповідно різних завдань. Однак вбудована графіка не є найважливішим елементом. Більш цікавими нововведеннями є підтримка нових наборів інструкцій і істотні зміни в архітектурі, які здатні надати власнику ті чи інші додаткові переваги (наприклад, підтримка AES, розширеної багатозадачності і т.ін.).

Однозначно скажемо, що фактично втрачати базу, яка була в нас у розпорядженні і починати все з нуля це досить важкий крок, але у світлі сучасного рівня розвитку як ПЗ так і апаратної складової це потрібний і неминучий крок.

Незважаючи на кардинальне оновлення методики і використання більш нових і технологічних компонентів, основна мета тестування залишається незмінною – зробити порівняння продуктивності процесорів, постаравшись максимально розкрити їх потенціал. Інакше кажучи, ми знову не будемо намагатися показати продуктивність процесора і системи взагалі в якомусь конкретному додатку або грі, а тим більше підбирати налаштування такі, щоб одержати найкращу продуктивність у чомусь одному або побачити всі принадності якоїсь гри. Адже, погодьтеся, це вже буде не тестування, а підстроювання системи з досліджуваним процесором під якісь певні цілі. А ми не збираємося підлаштовуватися, ми хочемо в підсумку статті сказати, на скільки, в середньому, протестований процесор швидше або повільніше найбільш близьких опонентів, а також інших процесорів на ринку.

Давайте ж ми познайомимо вас з самими змінами.

Апаратне забезпечення

Материнські плати

Як ви пам'ятаєте, у нашому розпорядженні для тестування процесорів є велика кількість материнських плат під різні процесорні роз’єми, однак якщо звернути на них свою увагу, то стануть помітні явні «динозаври», які взагалі вже не затребувані досить тривалий період часу. До таких можна віднести: ASUS M3A32-MVP DELUXE для процесорного роз’єму Socket AM2+, GIGABYTE GA-MA790XT-UD4P – Socket AM3. Останню «материнку» можна відправити на відпочинок у зв'язці з тим, що сучасні системні плати з Socket AM3+ цілком сумісні з ЦП попереднього покоління.

Однак їм на зміну приходять ASUS SABERTOOTH 990FX, ASUS F1A75-V PRO і GIGABYTE GA-F2A75-D3H.

Перша плата заслужено буде використовуватися для тестового стенда. Це пов'язано з тим, що вона побудована на найбільш функціональному наборі логіки дев'ятої серії - AMD 990FX, призначеному для роботи з процесорами AMD FX, який, у той же час, підтримує і процесори минулого покоління, орієнтовані на Socket АМ3. ASUS SABERTOOTH 990FX належить до так званої TUF-серії, відмітною рисою якої є висока якість виконання і підвищений рівень надійності, що важливо при використанні для відкритого стенда. Однак більш цікавою «родзинкою» для наших завдань є наявність достатньо високого розгінного потенціалу, який вкрай важливий для складання максимально повної картини про розгінний потенціал CPU.

Що ж стосується другої, то з нею все не так райдужно, адже Socket FM1 фактично вмер не встигнувши одержати широкого поширення. У нашому ж тестлабі вона буде використовуватися винятково для поповнення бази результатів моделями APU минулого покоління. Однак одразу попередимо, що це буде робитися в міру можливості, при чому це стосується як часу, так і наявності самих тестових зразків.

Материнська плата GIGABYTE GA-F2A75-D3H являє собою збалансоване рішення формату ATX для використання разом з новими гібридними процесорами від AMD. Серед основних переваг даного рішення варто згадати високу надійність компонентів (Ultra Durable 4 Classic), що немаловажне для умов використання у відкритому стенді, та ще і при необхідності виконання розгону APU.

Серед різноманітних материнських плат, що мають різні набори системної логіки і процесорні роз’єми, розроблені компанією Intel, «ідуть» для виконання інших завдань такі материнські плати як GIGABYTE GA-EP45-UD3P (Intel P45, LGIGABYTEDDR2, ATX), GIGABYTE GA-EX58-DS4 (Intel X58, LGA-EP66,DDR3,ATX),ASUS Maximus III Formula(IntelP55,LGA1156,DDR3,ATX)і MSI H57M-ED65 (Intel H57, LGA 1156, DDR3, mATX). Ви можете запитати «З чим це зв'язано?», однак відповідь таж – втрата актуальності цих платформ. Адже на даний момент компанією Intel випускаються процесори винятково для Socket LGA 1155 і LGA 2011, при чому малоймовірно, що в найближчий рік що-небудь кардинально зміниться, також і з високопродуктивними майбутніми Ivy Bridge-E.

Тому на постійній основі в стендах «прописуються», принаймні на найближчі 1-2 роки, ASUS P8Z77-V PRO/THUNDERBOLTі ASUS P9X79 PRO.

Материнська плата ASUS P8Z77-V PRO/THUNDERBOLT являє собою високотехнологічне рішення, виконане у форматі ATX, яке вирізняється дуже грамотним компонуванням, гарною якістю виготовлення, відмінною системою охолодження. Що ж стосується надійності, то вона підтверджена більшою кількістю тестів різних ЦП на базі архитектур Sandy-Bridge і Ivy Bridge. Ми ж будемо надіятися, що вона ще послужить нам вірою і правдою в подальших тестах.

Плата ASUS P9X79 PRO, призначена для hi-end рішень компанії Intel, швидше за все, затримається трохи довше свого попередника, розрахованого на процесори з Socket LGA 1366. Адже в Мережі завзято бродять чутки про збереження роз’єму для «екстрим» рішень на базі архітектури Ivy Bridge-E, а також присутності можливості встановлювати їх на плати з системною логікою Intel Х79 Express.

З материнськими платами, які «осіли» на постійній основі в нашій лабораторії, принаймні на найближчий рік, ми закінчили і тепер перейдемо до розгляду інших компонентів.

Система охолодження

У зв'язку з тим, що деякі материнські плати з застарілими процесорними роз’ємами втратили свою актуальність, то вони неминуче внесли корективи і у перелік систем охолодження, які використовуються в нашій тестовій лабораторії.

В активі залишається кулер ZALMAN CNPS12X (LGA 2011), який буде використовуватися при тестуванні топової платформи компанії Intel на базі роз’єму LGA 2011.

Що ж стосується інших випадків, то ми будемо використовувати Scythe Mugen 3, до якого в комплекті додається набір кріплень для різних процесорних роз’ємів, як компанії AMD, так і Intel.

Однак звертаємо вашу увагу на те, що в процесі тестування ЦП ми по колишньому будемо робити невеликий акцент на комплектних системах охолодження, де будемо відзначати як шумовий фон кулера ( у цьому випадку ми будемо передавати особисті відчуття в результаті його використання), так і особливості конструкції, якщо такі будуть у наявності.

Оперативна пам'ять

Для оновленого стенда ми вирішили використовувати пам'ять DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP. Дані модулі пам'яті сумісні з використовуваними материнськими платами, а діапазон підтримуваних частот цілком покриває наші потреби. У зв'язку з тим, що в наc у розпорядженні знаходяться цілих 4 модуля по 4 гігабайта, то ми запросто можемо використовувати їх при паралельному тестуванні одразу на двох платформах. Також варто відзначити, що їх гарний розгінний потенціал однозначно зіграє нам на руку при визначенні приросту продуктивності в результаті розгону.

Відеокарта

 У зв'язку з тим, що і стенд, і сама методика тестування проходять модернізацію, то наявні відеокарти (EVGA e-GeForce 8600 GTS 256 МБ GDDR3 PCI-Eі ASUS EN9800GX2/G/2DI/1G) ми вирішили визначити для виконання інших цілей. Замість них будемо використовувати сучасну і функціональну AMD Radeon HD 7970 3 ГБ GDDR5, яка здатна забезпечити гідний рівень продуктивності в сучасних іграх, так що ми цілком впевнені, що відеокарта не буде «вузьким» місцем при виконанні наших тестів ЦП.

Жорсткий диск

Операційні системи і тестові пакети будуть розміщатися на більш сучасних жорстких дисках Western Digital Caviar Blue объемом 1 ТБ (WD10EALX). Думаємо, такого об'єму буде достатньо і для архіву результатів, а також зберігання образів самих оригінальних інсталяцій тестових систем.

Блок живлення

 За стабільність живлення буде відповідати надійний блок живлення Seasonic X-660 потужністю 660 Вт, чого повинно вистачити з запасом. У нього високий рівень ККД, тому ми впевнені, що для наших завдань його буде достатньо, а також ми зможемо побачити більш-менш реальні показники енергоспоживання систем з різними процесорами. Оскільки таке джерело живлення в нас у тестовій лабораторії одне, то за традицією ми вирішили залишити Seasonic S12Energy+550 (SS-550HT) потужністю 550 Вт на випадок необхідності проведення паралельних тестів. Однак одразу скажемо, що вимір енергоспоживання системи буде проводитися винятково на основному Seasonic X-660.

Нові стенди

Таким чином, оновлена тестова платформа для процесорів буде мати наступну зведену таблицю, яку ми детальніше і опишемо нижче.

Материнські плати (AMD)	GIGABYTE GA-F2A75-D3H (AMD A75, sFM2, DDR3, ATX) ASUS F1A75-V PRO (AMD A75, sFM1, DDR3, ATX) ASUS SABERTOOTH 990FX (AMD 990FX, sAM3+, DDR3, ATX)
Материнські плати (Intel)	ASUS P8Z77-V PRO/THUNDERBOLT (Intel Z77, sLGA1155, DDR3, ATX) ASUS P9X79 PRO (Intel X79, sLGA2011, DDR3, ATX)
Кулери	Scythe Mugen 3 (LGA 1155/1366, AMD Socket AM3+/FM1/ FM2) ZALMAN CNPS12X (LGA 2011)
Оперативна пам'ять	2х 4ГБ DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP
Відеокарти	AMD Radeon HD 7970 3 ГБ GDDR5
Жорсткий диск	Western Digital Caviar Blue WD10EALX, 1 ТБ, SATA 6 Гбіт/с, NCQ
Блок живлення	Seasonic X-660, 660 Вт, Active PFC, 80 PLUS Gold, 120 мм вентилятор

Програмне забезпечення

Крім апаратної складової наших стендів зміни торкнулися і програмного забезпечення. У якості операційної системи буде використовуватися ОС Windows 7 Proffesional 64-bit. Також дана версія ОС містить у собі Service Pack 1 і всі останні оновлення, що в остаточному підсумку дає нам умови тестування максимально наближені до реальних. При цьому завдяки використанню 64-бітної версії ми зможемо повною мірою використовувати модулі пам'яті.

Хотілося б дати деякі роз'яснення з приводу обраної версії ОС Windows. Це зв'язано в першу чергу з тим, що на даний момент вона є найпоширенішою і стабільно працюючою системою з усіма пакетами програм, які ми використовуємо. Що ж стосується свіженької ОС Windows 8, то ми не ризикнули побрати її в якості «бази» для стенда, тому що цілком імовірно, що в недалекому майбутньому буде як мінімум один пакет оновлень. Саме він цілком може вплинути на рівень продуктивності, а набирати дані, які незабаром можуть стати умовно «некоректними» не дуже хочеться.

Futuremark PCMark 7 v.1.0.4

Futuremark PCMark 7 є одним з найбільш популярних пакетів для визначення загальної продуктивності системи, що полюбилися багатьом ентузіастам. Оновлена його версія включає сім сценаріїв, що емулюють навантаження на ПК, характерну для різних моделей застосування системи: робота з офісними додатками, розваги, створення контенту, обчислювальні завдання. У зв'язку з тим, що ми будемо оцінювати продуктивність саме ЦП, то будуть виконуватися всього два сценарії – PCMark Suite і Computation Suite, які дадуть в остаточному підсумку оцінку системи в цілому з використанням досліджуваного ЦП, а також її обчислювальні можливості.

Futuremark 3DMark 11

Futuremark 3DMark 11 ще один синтетичний тест, до якого ми вдаємося в процесі дослідження можливостей ЦП. Незважаючи на те, що традиційно його використовують в основному для тестування графічних прискорювачів, ми будемо його використовувати лише для визначення балів фізичного тесту, який повною мірою лягає на плечі CPU. Для одержання порівнянних показників надалі ми будемо запускати даний пакет з набором налаштувань Performance. Додатково ми будемо відображати на графіку і загальну кількість набраних балів.

Futuremark 3DMark Vantage v.1.1.0

Цей пакет, як і попередній, також традиційно використовується для тестування графічної підсистеми ПК, однак у його активі є 2 бенчмарка, побудовані на движку PhysX, які дають оцінку ЦП. Звертаємо вашу увагу на те, що розрахунки в процесорних тестах проводяться тільки силами центрального процесора.

x264 Benchmark HD 5.0.1

Оновлений тестовий пакет. Тест має велике практичне значення, тому що є цілком реальним завданням – перекодування відеоролика. Застосовуваний кодек x264 використовується в безлічі існуючих утиліт для перекодування. Даний бенчмарк ефективно використовує ресурси багатоядерних процесорів і має гарну повторюваність результатів. До його складу включені тестовий файл MPEG2 1080p, 32-х і 64-розрядний кодувальник x264, утиліта CPU-Z, що вимагаються для роботи бібліотеки Avisynth. У процесі тестування буде проведене 4 двопроходних тести, після чого зберігаються результати у вигляді частоти обробки кадрів. Сам же бенчмарк за замовчуванням запускається з високим пріоритетом. Звертаємо вашу увагу, що ми будемо використовувати 64-розрядний кодувальник з метою більш повної оцінки можливостей процесора.

CINEBENCH R11.5

Тестовий пакет побудований на основі професійного 3D-редактора і дозволяє оцінити продуктивність системи при редагуванні сцени і фінального рендерінгу кадра в однопотоковому режимі і при використанні багатопоточних обчислень.

Тест на продуктивність CPU, що представляє собою рендерінг фотореалістичної тривимірної сцени, включає тепер такі функції, як процедурні шейдери, Ambient Occlusion, просторові джерела світла і багаторівневі відображення.

Fritz Chess Benchmark v.4.2

Дуже компактний, але функціональний пакет, який можна віднести і до математичних, і до ігрових, як емулятор роботи штучного інтелекту, який залишився незмінним за минулі роки. Нагадаємо, що в ньому проводяться розрахунки шахових комбінацій. Особливістю Fritz Chess Benchmark є те, що він відмінно підтримує фізично і логічно багатоядерні процесори.

WinRAR 4.20

Оновлена версія архіватора, який відмінно працює з багатоядерними процесорами. Для оцінки продуктивності використовується вбудований тест, але через деяку нестабільність цього методу, тест повторюється декілька разів (до 5) і береться середнє значення.

TrueCrypt 7.1а

У зв'язку з тим, що більшість сучасних процесорів мають у своєму активі підтримку інструкцій шифрування AES ми вирішили додати програму TrueCrypt, яка має вбудований бенчмарк. Він робить визначення швидкості шифрування даних за допомогою різних алгоритмів, а також їх комбінацій. Для оцінки рівня продуктивності ЦП ми будемо використовувати найбільш важку комбінацію алгоритмів Serpent-Twofish- AES.

Sisoft Sandra Personal 2012

Ще один тестовий пакет, який ми вирішили додати до переліку тестів. Пов'язано це в першу чергу з тим, що в його активі є широкий спектр тестів, спрямованих на оцінку продуктивності різних елементів ПК. У цьому випадку нас будуть цікавити арифметичний і мультимедійний тести.

Ігрові тести

При виборі ігрових тестів ми виходили з ряду критеріїв: наявність серед обраних ігор тих, які реалізовані з використанням сучасного набору інструкцій DirectX 11, а також наявність у них реальної процесорної залежності, вбудованого бенчмарка ну і, звичайно ж, «різноплановість» з погляду жанру. Звертаємо вашу увагу на те, що всі ігрові тести будуть запускатися з роздільною здатністю 1920×1080, яка на даний момент є найпоширенішою.

Для визначення більш точного значення FPS кожний ігровий тест буде запускатися тричі, після чого результат у базу даних заноситься у вигляді середнього значення.

Batman: Arkham City

Достатньо «свіжа» гра, що належить до жанру Action-adventure, яка висуває солідні вимоги і до процесора і до відеокарти. У зв'язку з тим, що ресурсів нашої відеокарти більш-менш достатньо, то і запускатися гра буде з підтримкою інструкцій DirectX 11, хоч і не з максимальними налаштуваннями.

F1 2012

Гоночний симулятор, який пред'являє не самі маленькі вимоги до системи, де запускається, хоча в ньому і є досить велика кількість налаштувань, спрямованих на оптимізацію гри під системи різної продуктивності.

У зв'язку з непоганим оснащенням нашого стенда ми цілком можемо собі дозволити тестувати ЦП при зазначених налаштуваннях.

R.U.S.E.

Незважаючи на відносну «старість» даної гри, ми вирішили включити її в перелік використовуваних. Вона дуже чутлива до продуктивності ЦП, а особливо до кількості фізичних ядер. Налаштування в даній грі ми не можемо змінювати, тому це єдиний вбудований бенчмарк, який запускається «як є».

Результати виконання автоматично записуються в окремий файл, після чого обчислюється середнє значення FPS.

Resident Evil 5

Неінтерактивний бенчмарк, який показує можливості ПК при грі в Resident Evil 5 з різними налаштуваннями. Ми будемо використовувати версію з рендерынгом DirectX 10. Для наших умов оптимальним варіантом є фіксований тест, у якім програється одна сцена, але з максимумом включених опцій.

Даний тест запускається при наступних налаштуваннях:

Вбудована графіка

Ні для кого не таємниця, що левова частина сучасних процесорів оснащена досить продуктивним графічним ядром. Тому в процесі тестування таких CPU ми будемо показувати і можливості вбудованої графіки. Для цих цілей будуть використовуватися традиційні тестові пакети Futuremark 3DMark 11 і Futuremark 3DMark Vantage v.1.1.0, однак у цьому випадку запускатися вони будуть з включенням тестів GPU.

Для більш повного відображення можливостей кожної реалізації вбудованого відеоядра було прийняте рішення включити в цей перелік ряд додаткових тестів, а саме – Арифметичний і Криптографічний тести GPGPU, реалізовані в пакеті Sisoft Sandra. Вони дозволять оцінити продуктивність сучасних графічних прискорювачів, що підтримують OpenCL, а такими є практично все без винятку моделі випущені протягом останніх двох років. Дані тести пропонують використовувати можливості графічного ядра для вирішення арифметичних завдань, а також шифрування/дешифрування інформації, які характерні для ЦП. В результаті ми отримаємо оцінку продуктивності вбудованого відеоядра.

Ну і, звичайно ж, не можна уявити собі тест продуктивності графіки без використання ігрових бенчмарків. Для цих цілей ми вирішили зупинити свій вибір на трьох пакетах: Warhammer 40,000: Dawn of War II — Retribution, DiRT: Showdown і знайомий вам вже Resident Evil 5. Всі ігрові тести виконуються при роздільній здатності 1920×1080, що робиться з метою визначення саме рівня продуктивності, а не оптимальних налаштувань для забезпечення найбільш комфортного ігрового процесу. Ми нагадуємо вам, що якщо той чи інший вбудований графічний адаптер показує низький показник FPS, то ви цілком можете досягти підвищення якості ігрового процесу за рахунок додаткових маніпуляцій з налаштуваннями гри і встановлення більш низької роздільної здатності екрана. Налаштування при запуску ігрових додатків будуть встановлені наступні.

Warhammer 40,000: Dawn of War II — Retribution

Досить популярна стратегія реального часу, яка вирізняється відносно невисокими вимогами і використовує API DirectX 10. Запускатися гра буде при «Середніх» налаштуваннях графіки.

DiRT: Showdown

Єдина гра з запропонованого переліку, яка використовує API DirectX 11. Тому не варто дивуватися, якщо для «застарілих» графічних ядер, наприклад, Intel HD Graphics 2000/3000, ви не побачите результатів тестів. Це буде казати тільки про те, що дане відеоядро не підтримує інструкції DirectX 11, однак ця «сумна» картина буде стосуватися винятково застарілих моделей, якими ми будемо по можливості доповнювати базу. Що ж стосується всіх сучасних і наступних варіантів ЦП, та малоймовірна відсутність у їх активі подібних інструкцій.

Resident Evil 5

У цьому випадку ми в значній мірі полегшуємо завдання для подібних рішень, тому тест виконується всього при чотириразовому згладжуванні, при цьому всі додаткові графічні елементи відключаються.

Процес тестування

Процес тестування процесора зводиться в першу чергу до визначення його продуктивності, але ми будемо продовжувати освітлювати традиційну інформацію, яка стосується його комплектації. Звісно, за можливості, ми будемо давати коротку характеристику комплектної системи охолодження і її ефективності. Також не будемо забувати нагадувати про фірмові технології, які підтримують різні моделі. Але, все-таки, основним пунктом буде залишатися почерговий запуск всіх вище описаних тестових додатків, після чого результати будуть заноситися в єдину базу, всередині якої ви завжди можете порівняти будь-які з протестованих нами процесорів.

Крім визначення номінальної швидкодії, ми завжди перевіряємо розгінний потенціал процесора, що потрапив на тестування. Звичайно ж, будь-який розгін повинен супроводжуватися перевіркою на стабільність роботи системи. Вона буде виконуватися за допомогою 20 циклів роботи утиліти LinX. Для оцінки ефективності розгону проводиться серія тестів, після чого розраховуємо приріст продуктивності. При одержанні цікавого результату ми будемо приводити додаткову інформацію, яка стосується тестуємих ЦП.

Звичайно ж, ми не забуваємо при тестуванні процесора визначати енергоспоживання системи, у якій він встановлений. Даний параметр буде замірятися у двох режимах: у простої і максимальній продуктивності. Навантаження на систему в цьому випадку буде забезпечуватися двома тестами - LinX і стрес тестом реалізованому в AIDA 64. Звертаємо вашу увагу на те, що тепер енергоспоживання буде замірятися і для системи без дискретної відеокарти, у випадку наявність у ЦП вбудованої графіки. Даний параметр дозволить скласти більш повну картину про можливості і ефективність кожної моделі.

При підведенні підсумків знайомства з можливостями того чи іншого варіанта CPU, ми будемо окреслювати коло найбільше близьких конкурентів, як за продуктивністю, так і за вартістю, хоча можливо вартість буде враховуватися не завжди, адже ви всі розумієте, що ціни можуть змінюватися, причому досить стрімко, як в одному, так і в іншому напрямку. Нагадуємо, що за допомогою нашого динамічного механізму побудови графіків ви зможете порівняти саме ті процесори, з яких вибираєте, хоча перший час можливі деякі незручності, тому що наша база буде знаходитися в процесі наповнення.

Сподіваємося, наша оновлена методика допоможе вам зробити більш правильний вибір процесора для свого комп'ютера.

Автор: Дмитро Гаранжа
Переклад: Анна Смірнова

Висловлюємо подяку:

• PR-агентству SPN Ogilvy компанії AMD в Україні за надану відеокарту AMD Radeon HD 7970 3 ГБ GDDR5;
• українському представництву компанії ASUS за надані материнські плати ASUS P8Z77-V PRO/THUNDERBOLT, ASUS P9X79 PRO, ASUS SABERTOOTH 990FX і ASUS F1A75-V PRO;
• українському представництву компанії GIGABYTE за надану материнську плату GIGABYTE GA-F2A75-D3H;
• компанії Scythe за наданий кулер Scythe Mugen 3;
• компанії «Сінтекс»,дистриб’ютору Sea Sonic Electronics в Україні, за наданий блок живлення Seasonic X-660, а також Seasonic S12Energy+550;
• компанії Single Computing, дистриб'ютору продукції TwinMOS Technologies, за надані 2 комплекти оперативної пам'яті 2х 4ГБ DDR3-2400 TwinMOS TwiSTER 9DHCGN4B-HAWP;
• представництву компанії Western Digital за надані жорсткі диски WD Caviar Blue WD10EALX.