Новая методика тестирования процессоров и компьютеров
Тестовый скрипт ComputerPress Benchmark Script v.7.0
Windows Media Encoder 9.0 и DivX Player 7.2
MainConcept Reference v.1.6.1 и DivX Player 7.2
Total Audio Converter 3.0.1.48
Интегральная оценка производительности в скрипте ComputerPress Benchmark Script v.7.0
Осень всегда богата различными ИТ-событиями, а в нынешнем году — особенно: это и новые процессоры компаний Intel и AMD, и новые видеокарты AMD, и форум IDF, и новая операционная система Microsoft Windows 7. Что ж, мы тоже решили не оставаться в стороне и именно осенью анонсируем новую методику тестирования процессоров и компьютеров.
Конечно же, это шутка, и осень здесь абсолютно ни при чем. Просто с момента последнего релиза нашего тестового скрипта ComputerPress Benchmark Script v.6.0 прошло почти полгода, и за это время многие приложения, используемые в нашем скрипте, обновились. А главное — вышла новая операционная система Microsoft Windows 7, а значит, самое время разработать новую версию тестового скрипта, в котором использовались бы самые последние версии приложений и который был бы совместим с операционной системой Microsoft Windows 7.
Тестовый скрипт ComputerPress Benchmark Script v.7.0
Новая версия нашего тестового скрипта ComputerPress Benchmark Script v.7.0, предназначенного для тестирования процессоров и компьютеров, является логическим продолжением предыдущей версии и имеет лишь небольшие отличия, касающиеся использования новых версий приложений, совместимости с операционной системой Windows 7 и улучшения стабильности работы. Сам же набор применяемых приложений и тестов, сформированных с их помощью, остался без изменений. Тем не менее сопоставлять результаты тестирования, полученные с использованием предыдущей и новой версий скриптов, было бы некорректно.
Итак, рассмотрим подробно наш новый тестовый скрипт ComputerPress Benchmark Script v.7.0. Он предназначен для оценки интегральной производительности универсального домашнего (не игрового) компьютера (ноутбука), равно как и производительности процессоров при работе с приложениями, применяемыми домашними пользователями (за исключением игр).
Любой тестовый скрипт, на наш взгляд, должен отвечать четырем главным критериям. Во-первых, он должен быть стабильным; во-вторых, результаты тестирования должны быть повторяемыми; в-третьих, дабы сделать тестовый скрипт актуальным, в нем должны использоваться наиболее популярные среди конечных пользователей приложения; в-четвертых, результат тестирования должен адекватно оценивать производительность универсального домашнего компьютера.
Подчеркнем, что данный тестовый скрипт не предназначен для оценки производительности компьютера в играх и не позволяет оценивать возможности специализированных рабочих станций (например, графических).
Тестовый скрипт ComputerPress Benchmark Script v.7.0 предназначен для автоматизации всего процесса тестирования и дает возможность выбрать применяемые тесты, а также задать дополнительные параметры тестирования. ComputerPress Benchmark Script v.7.0 совместим с операционной системой Windows 7 (32-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии использования приложений, что обеспечивает повторяемость результатов.
Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов.
На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot. В них содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы необходимо очистить содержимое этих папок, чтобы с нуля начать сбор нужной информации для оптимизации. После этого осуществляется трехкратная перезагрузка операционной системы, причем после каждой перезагрузки выдерживается определенная пауза. Трехкратная перезагрузка ОС нужна для обеспечения возможности сбора необходимой для оптимизации операционной системы информации. Далее запускается первый прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения необходим для того, чтобы опять-таки дать операционной системе возможность оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, требующуюся для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста производится дефрагментация жесткого диска. Далее с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, осуществляемые операционной системой. По завершении выполнения указанной команды будет произведена оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если при тестировании применяется не один, а несколько тестов, то перед каждым новым тестом вновь производится обучение системы.
Тестовый скрипт ComputerPress Benchmark Script v.7.0 (рис. 1) позволяет указать длительность пауз после каждой перезагрузки, количество самих перезагрузок, производимое при сборе данных, необходимом для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что дефрагментацию системы имеет смысл проводить только в том случае, если применяется традиционный жесткий диск HDD. В случае использования твердотельного диска SSD процедура дефрагментации просто лишена смысла (SSD-диски нет нужды дефрагментировать).
Кроме того, тестовый скрипт ComputerPress Benchmark Script v.7.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста выполняется перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитываются среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно пяти прогонов каждого теста.
В тестовом скрипте ComputerPress Benchmark Script v.7.0 используются следующие приложения:
- DivX Converter 7.1 (кодек DivX Codec 6.8.5);
- DivX Player 7.2;
- Windows Media Encoder 9.0;
- MainConcept Reference v.1.6.1.;
- Apple QuikeTime Player 7.6;
- Lame 4.0 Beta;
- Total Audio Converter 3.0.1.48;
- ProShow Gold 4.2548;
- WinRAR 3.9;
- WinZip 11.2;
- ABBYY FineReader 9.0;
- Adobe Photoshop CS4;
- Imagenomic Portraiture v1.0.2 (плагин для Adobe Photoshop CS4);
- Imagenomic Noiseware 4.1.1.0 Professional (плагин для Adobe Photoshop CS4);
- Microsoft Office 2007 SP1.
С использованием данных приложений в тестовом скрипте сформировано 13 тестов.
DivX Converter 7.1
Приложение DivX Converter 7.1 с кодеком DivX Codec 6.8.5 применяется для определения производительности при конвертировании видеофайла в формате WMV в видеофайл в формате DivX. Параметры исходного видеофайла следующие: размер — 150 Мбайт, формат (кодек) — WMV, разрешение — 1440x1080, видеобитрейт — 8000 Кбит/с, аудиобитрейт — 384 Кбит/с. Параметры результирующего видеофайла следующие: размер — 144 Мбайт, формат (кодек) — DivX, разрешение — 1440x1080 (используется предустановка НD1080p в приложении DivX Converter 7.1). Результатом данного теста является время конвертирования. Чем оно меньше, тем лучше.
Обратим внимание, что в предыдущей версии нашего тестового скрипта мы использовали предыдущую версию DivX-конвертора. Различие заключается в том, что если раньше под временем конвертирования понималось суммарное время анализа файла и его конвертирования, то теперь (в этом особенность новой версии конвертора) общее время конвертирования не учитывает временной промежуток анализа файла.
Windows Media Encoder 9.0
Приложение Windows Media Encoder 9.0 применяется для определения производительности при конвертировании видеофайла в формате WMV в видеофайл того же формата, но с меньшим разрешением и видеобитрейтом. Параметры исходного видеофайла следующие: размер — 150 Мбайт, формат (кодек) — WMV, разрешение — 1440x1080, видеобитрейт — 8000 Кбит/с, аудиобитрейт — 384 Кбит/с. Параметры результирующего видеофайла следующие: размер — 24,7 Мбайт, формат (кодек) — WMV, разрешение — 320x240, видеобитрейт — 991 Кбит/с, аудиобитрейт — 128 Кбит/с. Результатом данного теста является время конвертирования.
Windows Media Encoder 9.0 и DivX Player 7.2
Приложение Windows Media Encoder 9.0 совместно с приложением DivX Player 7.2 используется для создания многозадачного теста. Смысл этого теста заключается в том, что на фоне проигрывания видеофайла с применением приложения DivX Player 7.2 запускается процесс конвертирования этого же видеофайла с помощью приложения Windows Media Encoder 9.0. При конвертировании используются те же видеофайл и пресет, что и в предыдущем тесте, с применением лишь одного приложения Windows Media Encoder 9.0. При тестировании приложение DivX Player 7.2 настраивается таким образом, чтобы проигрывать видеофайл в режиме циклического повтора. Результатом данного теста является время конвертирования с применением приложения Windows Media Encoder 9.0.
MainConcept Reference v.1.6.1
Приложение MainConcept Reference v.1.6.1 используется для определения производительности при конвертировании исходного HD-видеофайла в видеофайл с иным разрешением и видеобитрейтом.
Параметры исходного видеофайла следующие: размер — 176 Мбайт, контейнер — MOV, кодек — H.264, разрешение — 1920x1080p. Параметры результирующего видеофайла следующие: размер — 24,7 Мбайт, контейнер — MPG, кодек — H.264, разрешение — 704x576, видеобитрейт — 3000 Кбит/с, аудиокодек — AAC, аудиобитрейт — 160 Кбит/с (предустановка Н.264 Main). Результатом данного теста является время конвертирования.
MainConcept Reference v.1.6.1 и DivX Player 7.2
Приложение MainConcept Reference v.1.6.1 совместно с приложением DivX Player 7.2 используется для создания многозадачного теста. Смысл этого теста заключается в том, чтобы на фоне проигрывания видеофайла с применением приложения DivX Player 7.2 запускался процесс конвертирования этого же видеофайла с помощью приложения MainConcept Reference v.1.6.1. При конвертировании используются те же видеофайл и пресет, что и в предыдущем тесте, с применением лишь одного приложения MainConcept Reference v.1.6.1. При тестировании приложение DivX Player 7.2 настраивается таким образом, чтобы проигрывать видеофайл в режиме циклического повтора. Результатом данного теста является время конвертирования с использованием приложения MainConcept Reference v.1.6.1.
Lame 4.0
Приложение Lame 4.0 Beta применяется для определения производительности при конвертировании аудиофайла из формата WAV в формат MP3. Исходный WAV-аудиофайл имеет размер 619 Мбайт. При конвертировании используется битрейт 192 Кбит/с (кодек запускается командой lame.exe -b 192 –h). Результатом данного теста является время конвертирования.
Total Audio Converter 3.0.1.48
Приложение Total Audio Converter 3.0.1.48 применяется для определения производительности при конвертировании аудиофайла из формата WAV в форматы MP3, AAC и OGG. Исходный WAV-аудиофайл имеет размер 619 Мбайт. При MP3-конвертировании используется битрейт 320 Кбит/с. Результатами данного теста является время конвертирования в форматы MP3, AAC и OGG.
ProShow Gold 4.2548
Приложение ProShow Gold 4.2548 применяется для создания HD-видеофильма с разрешением 1920x1080p (контейнер MPG) из 23 цифровых фотографий в формате TIF с наложением музыки. Каждая фотография имеет размер 24 Мбайт. Результатом данного теста является время создания фильма.
WinRAR 3.9
Приложение WinRAR 3.9 используется для определения производительности при архивировании и разархивировании большого количества цифровых фотографий в формате TIF. При сжатии данных с помощью программы WinRAR 3.9 используется максимальная степень компрессии и шифрование по алгоритму AES-128. Результатами данного теста является время архивирования и разархивирования.
WinZip 11.2
Приложение WinZip 11.2 применяется для определения производительности при архивировании и разархивировании большого количества цифровых фотографий в формате TIF. При сжатии данных с помощью программы WinZip 11.2 использовалась максимальная степень компрессии и шифрование по алгоритму AES-256. Результатами данного теста является время архивирования и разархивирования.
ABBYY FineReader 9.0
Приложение ABBYY FineReader 9.0 применяется для определения производительности при распознавании PDF-документа и экспортировании распознанного текста в документ Microsoft Word 2007. Для распознавания используется 74-страничный PDF-документ на английском языке, содержащий большое количество графики. Результатом данного теста является суммарное время распознавания текста и его экспортирование в документ Microsoft Word 2007.
Adobe Photoshop CS4
Приложение Adobe Photoshop CS4 совместно с установленными плагинами Imagenomic Portraiture v1.0.2 и Imagenomic Noiseware 4.1.1.0 Professional применяется для определения производительности системы при обработке цифровых фотографий.
Тест заключается в пакетной обработке 23 фотографий в RAW-формате. К каждой фотографии, которая открывается в 16-битном формате в RAW-конверторе Adobe Bridge, первоначально последовательно применяются фильтры Imagenomic Noiseware 4.1.1.0 Professional и Imagenomic Portraiture v1.0.2, затем изменяется глубина цвета с 16 на 8 бит на канал, после чего фотография сохраняется в TIF-формате. Результатом данного теста является время пакетной обработки всех фотографий.
Microsoft Excel 2007
Приложение Microsoft Excel 2007 используется для определения производительности системы при выполнении вычислений в электронных таблицах Excel. Применялись две задачи в приложении Excel. Первая из них (тест Excel 2007 BigNumberCrunch) заключается в пересчете электронной таблицы размером 6,2 Мбайт, включающей 28 тыс. записей с использованием таких математических операций, как сложение, вычитание, деление, округление и извлечение квадратного корня. Кроме того, применялись операции статистического анализа: нахождение максимального и минимального значений, среднего значения и т.п. Вторая задача (тест Excel 2007 MonteCarlo) представляет собой имитацию метода Монте-Карло для вероятностной оценки экономического риска. Имитационное моделирование по методу Монте-Карло позволяет построить математическую модель для проекта с неопределенными значениями параметров и, зная вероятностные распределения параметров проекта, а также связь между изменениями параметров, получить распределение его доходности. В данном тесте использовалось 300 тыс. итераций, а таблица Excel с исходными данными имела размер 70,1 Мбайт.
Важно отметить, что данный тест никоим образом не отражает возможности процессора при выполнении типичных офисных задач. Вообще, найти типичную офисную задачу, с которой бы современный процессор плохо справлялся, практически невозможно, и работа с электронными таблицами Excel не является исключением. Поэтому мы применили абсолютно нетипичную офисную задачу, которая позволила оценить вычислительные возможности процессора. Она представляла собой макрос по пересчету электронных таблиц, написанный на языке VBA.
Результатом данного теста является время выполнения указанных задач.
Интегральная оценка производительности в скрипте ComputerPress Benchmark Script v.7.0
Во всех перечисленных тестах результатом является время выполнения тестового задания, и чем оно меньше, тем лучше. Однако сами по себе результаты тестирования (время выполнения тестовых задач) еще не дают представления о производительности ПК. Результаты тестирования имеют смысл лишь при возможности их сопоставления с результатами некого референсного ПК.
Поэтому при тестировании по описанной нами методике мы традиционно используем такие понятия, как интегральная оценка производительности и референсный ПК.
Для расчета интегральной оценки производительности первоначально результаты всех тестов нормируются относительно результатов тестирования для референсного ПК:
R = tref/t,
где tref — время выполнения задачи референсным ПК, t — время выполнения задачи тестируемой системой. Полученный таким образом безразмерный результат R по сути представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше), чем время выполнения той же задачи референсной системой. К примеру, если для какого-то приложения нормированный результат равен 0,6, то это означает, что данную задачу тестируемая система выполняет в 0,6 раза медленнее, чем референсная.
Далее нормированные результаты тестов разбиваются на семь логических групп: конвертирование видео и создание фильма из фотографий (тесты DivX Converter 7.1, Windows Media Encoder 9.0, MainConcept Reference v.1.6.1, ProShow Gold 4.2548), конвертирование аудио (тесты Lame 4.0, Total Audio Converter 3.0.1.48), многозадачные тесты (тесты Windows Media Encoder 9.0 и DivX Player 7.2, MainConcept Reference v.1.6.1 и DivX Player 7.2), работа с архиваторами (тесты WinRAR 3.8, WinZip 11.2), распознавание текста (тест ABBYY FineReader 9.0), обработка фотографий (тест Adobe Photoshop CS4), работа с электронными таблицами (тест Microsoft Excel 2007). В каждой группе тестов рассчитывается промежуточный интегральный результат как среднегеометрическое от нормированных результатов. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. Для удобства представления результатов вычисленное значение умножается на 1000. Полученное таким образом значение и является интегральной оценкой производительности компьютера. Для референсного ПК интегральный результат производительности равен 1000 баллов, а для тестируемого ПК может быть как больше, так и меньше 1000 баллов.
Естественно, интегральный результат тестируемого ПК определяется не только его конфигурацией, но и конфигурацией референсного ПК. В принципе, в качестве используемой для сравнения референсной конфигурации можно выбрать конфигурацию любого ПК. Мы решили не изменять конфигурацию референсного ПК, который использовался нами в предыдущей версии скрипта для вычисления интегральной оценки производительности (изменились лишь операционная система и версии используемых драйверов чипсета и видеокарты). Конфигурация референсного ПК, применяемого для расчета интегральной оценки производительности в тестовом скрипте ComputerPress Benchmark Script v.7.0, следующая:
- процессор — Intel Core i7 Extreme 965 (тактовая частота 3,2 ГГц, режим Turbo Boost не используется);
- системная плата — ASUS RAMPAGE II EXTREME;
- чипсет системной платы — Intel X58 Express;
- Intel Chipset Device Software — 9.1.1.1019;
- память — DDR3-1066 (Qimonda IMSH1GU03A1F1C-10F PC3-8500);
- объем памяти — 3 Гбайт (три модуля по 1024 Мбайт);
- режим работы памяти — DDR3-1333, трехканальный режим;
- тайминги памяти — 7-7-7-20;
- видеокарта — GeForce GTX295;
- видеодрайвер — ForceWare 190.62;
- жесткий диск — Western Digital WD2500JS.
При получении результатов тестирования референсной конфигурации (референсных результатов) использовалась операционная система Microsoft Windows 7 Ultimate (32-bit). Для обеспечения высокой точности результатов все тесты прогонялись по пять раз. При этом максимальная погрешность результатов тестирования не превышала 1%. Отметим, что при тестировании для процессора Intel Core i7 Extreme 965 режим Intel Turbo Boost не применялся.
Кроме того, дабы иметь возможность сопоставить результаты тестирования нашего референсного ПК с результатами тестирования новых процессоров Intel и AMD, мы также приводим результаты тестирования по описанной выше методике процессоров Intel Core i7 870 и AMD Phenom II X4 965 BE.
При тестировании процессора Intel Core i7 870 использовался стенд следующей конфигурации:
- системная плата — Intel DP55KG Extreme Series;
- чипсет системной платы — Intel P55 Express;
- Intel Chipset Device Software — 9.1.1.1019;
- память — DDR3-1066 (Qimonda IMSH1GU03A1F1C-10F PC3-8500);
- объем памяти — 2 Гбайт (два модуля по 1024 Мбайт);
- режим работы памяти — DDR3-1333, двухканальный режим;
- тайминги памяти — 7-7-7-20;
- видеокарта — GeForce GTX295;
- видеодрайвер — ForceWare 190.62;
- жесткий диск — Western Digital WD2500JS.
Процессор Intel Core i7 870 мы протестировали как с применением режима Intel Turbo Boost, так и без него (на штатной частоте 2,93 ГГц).
При тестировании процессора AMD Phenom II X4 965 BE использовался стенд следующей конфигурации:
- системная плата — Gigabyte GA-MA790FXT;
- чипсет системной платы — AMD 790FX;
- память — DDR3-1066 (Qimonda IMSH1GU03A1F1C-10F PC3-8500);
- объем памяти — 2 Гбайт (два модуля по 1024 Мбайт);
- режим работы памяти — DDR3-1333, двухканальный режим;
- тайминги памяти — 7-7-7-20;
- видеокарта — GeForce GTX295;
- видеодрайвер — ForceWare 190.62;
- жесткий диск — Western Digital WD2500JS.
Результаты тестирования представлены в таблице.
Итак, мы подробно рассмотрели нашу новую методику тестирования процессоров, компьютеров и ноутбуков и представили результаты тестирования по этой методике нескольких моделей процессоров. В этом же номере журнала можно ознакомиться с результатами тестирования компьютеров по новой методике.
В заключение отметим, что в настоящее время в нашей тестовой лаборатории разрабатывается новая версия тестового скрипта, в которой будет расширен спектр используемых для тестирования приложений.
 |
|
