Оновлена методика тестування процесорів

Вже більше двох років методика тестування процесорів не змінювалася, незважаючи на помітний прогрес, як самих процесорів, так і виконуваних на них програм. Здавалося б, давно настав час внести в методику зміни, але нас стримували два фактори. По-перше, повна переробка методики привела б до втрати вже накопиченої бази результатів, що дозволяє порівнювати сучасні процесори з тими, які ви, найімовірніше, вже збираєтеся оновити, але не знаєте на скільки це збільшить продуктивність. Ось щоб мати можливість відповісти на таке питання, ми і відтягали момент переходу на нове апаратне та програмне забезпечення. Крім того, по-друге, довгий час на обрії маячив перехід і процесорів AMD і процесорів Intel на нові процесорні роз’єми, а разом з тим і однозначний перехід на використання оперативної пам'яті DDR3. І ось, коли всі виробники для самих нових, технологічних і, взагалі, швидких процесорів почали рекомендувати більш швидшу пам'ять, а в нашій тестовій лабораторії з'явилися всі потрібні компоненти, ми поспішаємо оновити апаратне та програмне забезпечення, щоб наші огляди були більш актуальні.

Але, незважаючи на помітне оновлення методики та використання більш новіших і технологичніших компонентів, основна мета тестування залишається незмінною – зробити порівняння продуктивності процесорів, намагаючись максимально розкрити їх потенціал. Інакше кажучи, ми знову не будемо намагатися показати продуктивність процесора та системи в цілому в якомусь конкретному додатку або грі, а тим більше підібрати налаштування такі, щоб одержати найкращу продуктивність у чомусь одному або побачити всі принадності якоїсь гри. Адже, погодьтеся, це вже буде не тестування, а підлаштовування системи з тестуємим процесором під якісь певні цілі. А ми не збираємося підлаштовуватися, ми хочемо в підсумку статті сказати, на скільки, в середньому, протестований процесор швидше або повільніше найбільш близьких опонентів, а також інших процесорів на ринку.

Саме з останньої причини, тобто для забезпечення можливості максимально розширити базу процесорів, можливості яких можна порівняти один з одним, ми не відмовилися повністю від старої методики, а тільки відкинули найменш актуальні тести та оновили апаратне забезпечення, що дозволить нам тестувати нові процесори в нових більш актуальних тестових пакетах.

Апаратне забезпечення

Декілька слів про те, що було, адже результати, отримані за допомогою цього обладнання, можна буде використовувати ще досить тривалий період часу.

Так, наприклад, для тестування процесорів AMD дуже довго «вірою та правдою» нам слугувала чудова материнська плата ASUS M2N-SLI Deluxe з процесорним роз’ємом AM2, на чіпсеті NVIDIA nForce 570 SLI і з підтримкою пам'яті DDR2. З появою процесорів під Socket AM2+, а в потім і Socket AM3, актуальність цієї платформи стала помітно менша та, взагалі, вже зійшла нанівець. Крім того, не дуже давно, в результаті чергових експериментів дана материнська плата перестала функціонувати та, за висновком експертів, ремонту і оновленню не підлягає.

Якщо для процесорів AMD історія зміни платформ не велика, то тестовий стенд для процесорів Intel перетерпів більше змін. Перші результати для платформи LGA775 були отримані за допомогою материнської плати GIGABYTE GA-965P-DS4 на чіпсеті Intel P965 Express. Але з появою процесорів, які виробляються по 45 нм техпроцесу ми вирішили обзавестися платою з їх рідною підтримкою. Крім того, GIGABYTE GA-965P-DS4 першої ревізії, що в нас і використовується, офіційно не підтримує FSB 1333 МГц. При цьому процесори з такою системною шиною можна було запустити на ній, але, через неможливість у такому режимі керування затримками чіпсету (Strap) і всіма таймінгами пам'яті, в результатах з'являлася помітна погрішність.

Практично всі процесори з FSB 1333 МГц і виконані по 45 нм техпроцесу були протестовані на платі ASUS P5KC, яка заснована на чіпсеті Intel P35 Express. При цьому перехід з однієї плати на іншу був «безболісним» для результатів - процесори, для яких обидві плати були рекомендованими, показували ідентичну продуктивність, погрішність становила ±1%, тобто як і звичайний розкид результатів при тестах. У даній платі влаштовувало майже все, крім не самого гарного розгінного потенціалу, що не завжди дозволяло повністю розповісти про можливість прискорення тестуємого процесора.

Для поліпшення розгону нових процесорів нам в оренду була надана плата ASUS P5Q PRO на Intel P45 Express. Саме ця плата внесла в результати деяку погрішність, хоча винуватою опинилась не зовсім вона, а випадкове встановлення SP1на операційну систему Windows Vista, яка стала працювати швидше. Причому помилка була помічена не одразу, а після виходу декількох оглядів. Для виправлення ситуації довелося ще раз взяти все ще доступні процесори та внести відповідні корекції в результати (тоді ж були внесені відповідні корекції і для платформи AMD). Але і ця плата в нас не затрималася, тому що замість тимчасово орендованої основи тестового стенду нам на постійно надали GIGABYTE GA-EP45-UD3P (причому перехід з однієї плати на іншу не вніс помітних погрішностей у результати, оскільки засновані вони на однакових чіпсетах).

Разом з переходом на нові материнські плати для тестування процесорів AMD втратив актуальність і кулер akasa AK-859 CU, який виявився не в змозі забезпечити необхідне охолодження старшим моделям процесорів з TDP 125 і 140 Вт при розгоні.

Що стосується оперативної пам'яті, то найбільш тривалий період часу ми використовували два модулі DDR2-800 1024 МB Apacer PC6400, а для перших тестів нових систем два, а потім три модулі DDR3-1333 1024 MB Transcend PC10600. Але перший набір, та і другий також, обмежували можливості розгону, тому зараз вони замінені на дійсно оверклокерські моделі (про них нижче). При цьому тести продуктивності проводяться на тих же швидких модулях, але в уповільненому до рівня вище зазначених режимах, включаючи ручне встановлення таймінгів, щоб виключити появу погрішності в результатах.

Оскільки початковий набір тестів не відрізнявся великим об'ємом, то довгий час тестова платформа відмінно поміщалася на жорсткому диску з інтерфейсом SATA-300 Samsung HD080HJ об'ємом 80 ГБ . Отже, оскільки оновлення програмної частини зажадало збільшення доступного дискового простору, а також через те, що швидкість дискової підсистеми при достатньому обсязі оперативної пам'яті не вносить ніяких коректив у тестові результати, то, оновлюючи стенд, ми вирішили скористатися і більше ємними накопичувачами, відправивши Samsung HD080HJ служити іншим цілям при інших тестах.

Перший час всі тестові стенди збиралися в корпусах. Наприклад, для процесорів найчастіше використовувався CODEGEN M603 форм-фактору

 MidiTower з одним передустановленим 120 мм вентилятором і доповнений ще одним  Noctua NF-P12. Проте, оскільки незабаром ми перестали для кожного процесора вивчати його температурний режим, а винесли цю частину досліджень в окремі теми розділу «Системи охолодження», то необхідність у корпусах відпала. Крім того, плат і платформ стало більше, а складання системи вимагає час, якого і так не вистачає. Тому зараз процесори тестуются на відкритому стенді, а вивчення їх температурних режимів і можливостей штатних («боксових») кулерів проводиться в окремих темах, останні з яких:

• Дослідження ефективності «боксових» кулерів Intel;
• Дослідження ефективності «боксових» кулерів AMD.

Отже, ми розповіли про те обладнання, з яким ми прощаємося, але результати, отримані за допомогою якого, ще довго будуть використовуватися як відправні пункти. Настав час переходити до того, що є зараз і буде використовуватися в найближчому майбутньому.

Нові стенди

Оновлена тестова платформа для процесорів буде мати наступну зведену таблицю, яку ми більш докладно опишемо нижче.

Материнські плати (AMD)	ASUS M3A32-MVP DELUXE (AMD 790FX, sAM2+, DDR2, ATX)  GIGABYTE GA-MA790XT-UD4P (AMD 790X, sAM3, DDR3, ATX)
Кулер (AMD)	Thermaltake Sonic Tower (CL-P0071) + akasa AK-183-L2B 120 мм
Материнські плати (Intel)	GIGABYTE GA-EP45-UD3P (Intel P45, LGA 775, DDR2, ATX)  GIGABYTE GA-EX58-DS4 (Intel X58, LGA 1366, DDR3, ATX)
Кулер (Intel)	Noctua NH-U12P + LGA1366 Kit
Оперативна пам'ять	2х DDR2-1200 1024 МБ Kingston HyperX KHX9600D2K2/2G 2/3x DDR3-2000 1024 МБ  Kingston HyperX KHX16000D3T1K3/3GX
Відеокарти	EVGA e-GeForce 8600 GTS 256 МБ GDDR3 PCI-E ASUS EN9800GX2/G/2DI/1G GeForce 9800 GX2 1ГБ GDDR3 PCI-E 2.0
Жорсткий диск	Seagate Barracuda 7200.12 ST3500418AS, 500 ГБ, SATA-300, NCQ
Блок живлення	Seasonic SS-650JT, 650 Вт, Active PFC, 80 PLUS, 120 мм вентилятор

Для тестування процесорів AMD під процесорний роз’єм Socket AM2+ ми вже деякий час використовуємо материнську плату ASUS M3A32-MVP DELUXE/WIFI-AP на чіпсеті AMD 790FX + AMD SB600. Ця плата і буде використовуватися в майбутньому, поки будуть з'являтися нові процесори для Socket AM2+.

Не дуже давно з'явилися нові процесори AMD під оновлений процесорний роз’єм Socket AM3, що фізично такий же, як Socket AM2+, але передбачає використання процесорів з інтегрованим контролером пам'яті DDR3. Для тестування таких процесорів ми будемо використовувати материнську плату GIGABYTE GA-MA790XT-UD4P на чіпсеті AMD 790X + AMD SB750.

Для тестування ж процесорів Intel під LGA775 буде використовуватися GIGABYTE GA-EP45-UD3P, яка була надана нам для цих цілей і, крім всього іншого, має відмінний розгінний потенціал.

Для тестування ж нових процесорів Intel під процесорний роз’єм LGA1366 ми з першого знайомства з цими процесорами використовуємо материнську плату GIGABYTE GA-EX58-DS4 на Intel X58 Express, що відрізняється чудовою стабільністю та гарним розгінним потенціалом.

Тепер перейдемо до систем охолодження. Для платформи AMD тепер в основному буде використовуватися дуже ефективна зв'язка Thermaltake Sonic Tower (CL-P0071) + akasa AK-183-L2B 120 мм, яку важко було правильно зорієнтувати в корпусі при використанні плат з Socket AM2/AM2+/AM3, але на відкритому стенді це не має значення. При цьому  дана зв'язка має можливість трохи збільшити ефективність, якщо виникне необхідність, шляхом встановлення другого вентилятора і/або «вписування» ще одного між баштами. Сподіваємося, такого охолодження буде достатньо для сучасних процесорів під Socket AM2+ і  AM3.

Для охолодження процесорів Intel буде використовуватися дуже ефективний кулер Noctua NH-U12P + LGA1366 Kit, який донедавна був єдиним у тестовій лабораторії, який повноцінно встановлювався на роз’єм LGA1366.

В основній тестовій конфігурації ми не вказуємо, але вважаємо потрібним відзначити, що на підхопленні буде залишатися кулер Scythe Kabuto, який теж має високу ефективність і універсальний набір кріплень.

Оскільки при розгоні найчастіше виникає необхідність поліпшити охолодження і процесора, і компонентів материнської плати, і модулів пам'яті, то для цих цілей ми використовуємо та будемо використовувати ось таку «колекцію» вентиляторів:

• 120 мм Noctua NF-P12;
• 120мм VIZO Freezer ZF12025;
• 92 мм Noctua NF-B9;
• 92 мм VIZO WindStorm WS9238.

Останній, через свої особливості, використовується тільки в особливих випадках, коли інші вентилятори не можуть забезпечити потрібне охолодження, а для одержання «гарного» результату не вистачає зовсім трошки.

Оскільки методика тестування не була повністю перероблена, то в першій «сумісній» частині тестів буде досі використовуватися відеокарта EVGA e-GeForce 8600 GTS 256 Мб GDDR3 PCI-E, яка забезпечувала нас результатами вже більше двох років.

Для нових же тестів, ігрових і критичних до продуктивності відеокарти, буде використовуватися двочіповий прискорювач ASUS EN9800GX2/G/2DI/1G, що  повторює еталонну карту для GeForce 9800 GX2. Сподіваємося, його потужності буде вистачати досить довго для одержання адекватних результатів в оновленій серії ігрових тестів. Крім того, двочіповий прискорювач має більші вимоги до центрального процесора, що теж буде знаходити висвітлення в результатах.

«Родзинкою» оновленого тестового стенда є модулі пам'яті, які допоможуть максимально повно розкрити розгінний потенціал досліджуваних процесорів. Так для систем з роз’ємами AMD Socket AM2+ і Intel LGA775 буде використовуватися набір DDR2-1200 Kingston HyperX KHX9600D2K2/2G, що включає пару дуже швидких модулів DDR2 об'ємом по 1 ГБ.

Для систем же з процесорними роз’ємами AMD Socket AM3 і Intel LGA1366 буде використовуватися комплект відповідно з двох або трьох модулів DDR3-2000 Kingston KHX16000D3T1K3/3GX. При розгоні ці модулі можуть працювати на частоті до 2 ГГц, а при тестуванні залишаться в уповільненому виді до DDR3-1333, причому у двоканальному та трьохканальному режимах для відповідних платформ, оскільки і така частота та такий режим є для цих платформ не просто рекомендовані, а можна сказати рідні.

Операційні системи та тестові пакети будуть розміщатися на жорстких дисках Seagate Barracuda 7200.12 ST3500418AS об'ємом 500 ГБ. Думаємо, такого об'єму виявиться достатньо як для архіву результатів, так і для зберігання образів самих оригінальних інсталяцій тестових систем.

Основну частину часу за стабільність живлення буде відповідати надійний блок живлення Seasonic SS-650JT потужністю 650 Вт, чого повинно вистачити із запасом. Оскільки таке джерело живлення в нас у тестовій лабораторії одне, то, якщо виникне потреба паралельного проведення тестів, можуть бути використані джерела Seasonic S12Energy+550 (SS-550HT) потужністю 550 Вт або Seasonic M12II-500 (SS-500GM)  потужністю 500 Вт.

Програмне забезпечення

З моменту складання перших «незмінних» конфігурація, їх програмна частина теж набула змін. Так, як було зазначено вище, вимушено, але з користю для поліпшення вірогідності, операційна система з просто Windows Vista перетворилася в Windows Vista SP1. Але в іншому нічого не мінялося вже два роки, тобто набір тестових пакетів був завжди константою, навіть незважаючи на те, що в деяких з них згодом були виявлені різні вади та пристрасті до певних марок процесорів.

Переходячи до оновленої методики, ми вирішили позбутися від деяких вже зовсім неактуальних і  спірних тестових пакетів. Так, з недавнього часу ми більше не тестуємо продуктивність в Futuremark 3DMark'05, повністю відмовляємося від тестування продуктивності в іграх Battlefield 2, Serous Sam 2, Quake 4 і Prey за допомогою пакета SmartFPS.com, а також більше не будемо заміряти час кодування в MP3 за допомогою кодека Lame.

У блок тестів для сумісності (при якому буде використовуватися відеокарта EVGA GeForce 8600 GTS 256 Мб GDDR3 PCI-E), тобто для збереження можливості порівняння продуктивності всіх коли-небудь протестованих нами процесорів, будуть входити наступні пакети.

Futuremark PCMark'05 v.1.2.0

Тестовий пакет, що, взагалі, дотепер досить актуальний, бо емулює різні режими для створення навантаження на процесор і всю систему взагалі від медіакодування до шифрування, а також дозволяє оцінити ефективність роботи підсистеми пам'яті та відеосистеми. Крім того, він забезпечує можливість завантажити і чотирьохядерні процесори,  перевіряючи можливість виконання до чотирьох завдань одночасно. Для оцінки продуктивності процесорів будуть використовуватися ще підтести пам'яті та відеосистеми.

CrystalMark 0.9.x.x

Компактний і простий тестовий пакет, що відмінно працює з багатоядерними процесорами та забезпечує досить високу повторюваність результатів. Тестовий пакет дав «осічку» тільки з процесорами Intel Core i7, не зумівши коректно працювати при включенні Hyper-Threading, хоча попередня підтримка цих CPU в останній версії була. З появою нової стабільної версії пакета, він буде оновлений.

WinRAR 3.80

Архіватор відмінно працює з багатоядерними процесорами. Для оцінки продуктивності використовується вбудований тест, але через деяку нестабільність цього методу, тест повторюється декілька разів (до 5) і береться середнє значення.

VirtualDub 1.8.6 (кодування MPEG to AVI)

Популярна утиліта VirtualDub використовується та буде використовуватися для виміру часу перекодування відеофайлу з MPEG-формату в AVI. У якості початкового матеріалу вже давно використовується відеокліп групи Rammstein на пісню «Ohne Diсh» (Без тебе), знайдений колись в мережі Інтернет.

Для кодування будемо продовжувати використовувати кодеки Windows Media 9.0 при налаштуваннях за замовчуванням і  Div v.6.5.1 у режимі Insane Quality. Кодеки не оновлюються і налаштування не змінюються для можливості коректного порівняння зі старими результатами (в оновленому наборі тестів для коректності ми додали ще один режим відеокодування, про що далі).

Futuremark 3DMark'06 v.1.1.0

Єдиний «ігровий» тест, залишений з базової методики в основному завдяки досить вдалому, на наш погляд, процесорному тесту, що емулює розрахунок фізики та роботу штучного інтелекту.

Нові тести. Всі наступні тести додані або внесені як заміна старих, які втратили актуальність. При проведенні цих тестів в системі відеокарта заміняється на ASUS EN9800GX2/G/2DI/1G, хоча не на всі з них така заміна впливає.

x264 Benchmark HD 2.0 (v.0.59.819M)

Тестовий пакет - це скрипт, що робить перекодування відео-семпла з роздільною здатністю 1280х720 за допомогою кодека стандарту H.264, після чого дозволяє зберегти результати у вигляді частоти обробки кадрів. Для підвищення точності результату кодування скрипт робить 4 рази.

CINEBENCH R10

Тестовий пакет побудований на основі професійного 3D-редактора та дозволяє оцінити продуктивність системи при редагуванні сцени та фінального рендерінгу кадру в однопоточному режимі та при використанні багатопоточних обчислень.

Fritz Chess Benchmark v.4.2

Дуже компактний, але функціональний пакет, який можна віднести і до математичних, і до ігрових, як емулятор роботи штучного інтелекту - здійснюється розрахунок шахових комбінацій. Особливістю Fritz Chess Benchmark є те, що він відмінно підтримує фізично та логічно багатоядерні процесори.

Futuremark 3DMark Vantage v.1.0.1

Оновлена та більш важка версія популярного тестового пакета, що включає і оновлені процесорні тести, побудовані на движку Phys. Розрахунки в процесорних тестах проводяться тільки потужністю центрального процесора, прискорення Phys за допомогою відеокарти відключено в налаштуваннях драйвера.

Tom Clancy's H.A.W.X. Demo

А це вже чисто ігровий тест, що висуває солідні вимоги і до процесора і до відеокарти, причому продуктивності GeForce 9800 GX2 у режимі DirectХ10 йому недостатньо, тому тести будуть запускатися в режимі DirectХ9.

При цьому роздільна здатність буде використовуватися 1280х1024 із включенням дворазового повноекранного згладжування, а налаштування якості та деталізації залишені за замовчуванням у режимі High.

Для оцінки продуктивності будемо використовувати результати вбудованого бенчмарка.

World  in Conflict v.1.0.0.9

Гра є досить вимогливою стратегією реального часу та використовує API DirectХ 10. Для тесту продуктивності процесора будемо використовувати стандартні налаштування, тобто роздільну здатність 1024х768 при Максимальній деталізації.

Одержати результати допоможе вбудований бенчмарк, що для підвищення точності ми запускаємо 3 рази та обчислюємо середню частоту зміни кадрів.

Far Cry 2 v.1.00

Оцінити можливості процесорів в цьому вимогливому шутері допоможе вбудована утиліта Far Cry 2 Benchmark Tool.

Тестування проводиться у двох режимах: DirectХ 9 і DirectХ 10 при різних налаштуваннях деталізації, але при одній роздільній здатності 1280х1024.

Race Driver: GRID Demo

Ця DirectХ 10 гра теж висуває високі вимоги до продуктивності центрального процесора та для нормального функціонування їй потрібен як мінімум двоядерний CPU.

Для зниження навантаження на відеокарту ми будемо використовувати не найвищу роздільну здатність екрану 1280х1024, а всі інші налаштування будуть залишені за замовчуванням.

На жаль, дана гра не має вбудованого модуля розрахунку продуктивності, тому допоміжною утилітою стане Fraps, за допомогою якої ми зафіксуємо тричі середню частоту зміни кадрів за перші 120 секунд гри, а потім розрахуємо середнє значення.

Окремо відзначимо, що під час проведення всіх ігрових тестів вертикальна синхронізація про всякий випадок відключається в налаштуваннях драйвера.

Процес тестування

Процес тестування процесора зводиться в першу чергу до визначення його продуктивності, але ми завжди приділяли та будемо приділяти увагу комплектації коробкових версій і маркуванню, за допомогою якої найчастіше можна багато чого довідатися про CPU, навіть не встановлюючи його в комп'ютер. Також не будемо забувати нагадувати про фірмові технології, які підтримують різні моделі і версії моделей. Але, все-таки, основним пунктом буде залишатися  запуск усіх вище описаних тестових додатків по черзі, після чого результати будуть заноситися в єдину базу, всередині якої ви завжди можете порівняти будь-які з протестованих нами моделей.

Крім визначення номінальної швидкодії, ми завжди перевіряємо розгінний потенціал процесора, що потрапив на тестування. Після розгону ми обов'язково перевіряємо стабільність роботи, звичайно за допомогою утиліти OCCT останньої версії, і для оцінки ефективності  розгону проводимо серію тестів, після чого розраховуємо приріст продуктивності, і при одержанні цікавого результату будуємо додаткові графіки, на яких показуємо якого рівня швидкодії можна досягла за допомогою розгону.

У висновках ми, звичайно, намагаємося визначити найбільш близьких конкурентів для даної моделі за рівнем швидкодії, іноді накладаючи її на енергоспоживання. Але ми не завжди робимо аналіз привабливості за вартістю, особливо для масових моделей, оскільки на процесори ціни досить динамічно змінюються та через місяць-інший наші висновки та рекомендації можуть бути вже не актуальні. До того ж, ви завжди можете, визначившись з коштами, які не жало витратити на процесор, визначити список кандидатів і за допомогою нашого динамічного механізму побудови графіків порівняти саме ті процесори, з яких вибираєте.

Сподіваємося, наша оновлена методика допоможе вам зробити більш правильний вибір процесора для свого комп'ютера.

Автор: Олександр Черноіван
Переклад: Анна Смірнова

Висловлюємо подяку:

• фірмі ТОВ ВФ Сервіс (м. Дніпропетровськ) за надане обладнання (ASUS M3A 32-MVP DELUXE/ WIFI-AP, GIGABYTE GA-EX58-DS4, EVGA GeForce 8600 GTS 256 МБ GDDR3 PCI-E, Seagate Barracuda 7200.12 ST3500418AS);
• компанії ASUS за надані відеокарти EN9800GX2/G/2DI/1G;
• компанії GIGABYTE за надані материнські плати GA-EP45-UD3P і GA-MA790XT-UD4P;
• компанії Kingston за надані модулі пам'яті DDR2-1200 KHX6400D2LLK2/2GN і DDR3-2000 KHX16000D3T1K3/3GX;
• компанії Noctua за наданий кулер Noctua NH-U12P + LGA1366 Kit і вентилятори NF-P12 і NF-B9;
• компанії "Сінтекс",дистриб’ютору Sea Sonic Electronics в Україні, за наданий блок живлення Seasonic SS-650JT Active PFC F3, а також Seasonic S12Energy+550 і Seasonic M12II-500; 
• компанії Scythe за наданий кулер Kabuto;
• компанії VIZO Technology Corp. за надані вентилятори Freezer ZF12025 і WindStorm WS9238.