Тестовый скрипт ComputerPress Benchmark Script v.10.0
Архивирование и разархивирование данных
Расчет интегральной оценки производительности
С момента разработки последней версии нашего тестового скрипта ComputerPress Benchmark Script v.9.0 прошел почти год, а значит, пришло время его существенно обновить. Это связано не только с тем, что обновились версии применяемых в тестовом скрипте приложений, но и с тем, что за последний год наметились тенденции изменения модели использования графического процессора. В частности, большинство новых программных видеоконверторов способно задействовать вычислительные возможности графического процессора. К сожалению, в настоящее время пока еще очень мало программных видеоконверторов, которые поддерживают одновременно все графические процессоры (Intel, NVIDIA, AMD). Большинство из них поддерживают аппаратное ускорение видеоконвертирования с использованием какого-либо одного типа графического процессора, причем преимущество здесь на стороне графических процессоров NVIDIA.
Кроме того, за последний год широкое распространение получили 3D-технологии, что также нашло отражение в программных видеоконверторах. Так, новые версии некоторых видеоконверторов поддерживают различные 3D-форматы и способны преобразовывать 2D-видеоконтент в 3D.
И наконец, тренд, который приобрел четкие очертания в этом году, — это переход на 64-битные версии операционной системы Windows. Это связано с тем, что на современных компьютерах и ноутбуках уже не устанавливают менее 4 Гбайт оперативной памяти. Тем не менее следует отметить, что подавляющее большинство приложений всё же являются 32-битными.
Все указанные изменения нашли отражение и в нашей новой версии тестового скрипта ComputerPress Benchmark Script v.10.0.
Итак, новая версия тестового скрипта ComputerPress Benchmark Script v.10.0 предназначена для оценки производительности процессоров, ноутбуков и домашних компьютеров. Особенность данного скрипта заключается в том, что в нем применяются только реальные неигровые приложения, с которыми большинство домашних пользователей сталкиваются ежедневно. Отметим, что данный тестовый скрипт по набору используемых в нем приложений и тестовых задач ориентирован прежде всего на оценку производительности мультимедийных компьютеров. Дело в том, что для оценки игровых компьютеров и видеокарт предназначен специальный скрипт, а производительность офисных ПК оценивать довольно сложно, поскольку все современные компьютеры без проблем справляются с любыми офисными приложениями. Ну а рабочие станции, ориентированные на выполнение специфических задач (научные расчеты, графические станции и т.д.), — это уже совсем другая тема.
Идеология, положенная в основу нашего тестового скрипта, осталась неизменной. Как и прежде, тестовый скрипт предназначен для автоматизации всего процесса тестирования и позволяет выбрать используемые тесты, а также задать дополнительные параметры тестирования. Скрипт совместим с операционной системой Windows 7 Ultimate (64-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии применения приложений, что обеспечивает высокую повторяемость результатов. Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов.
На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot, в которых содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы содержимое этих папок необходимо очистить, чтобы с нуля начать сбор нужной информации для оптимизации. Затем осуществляется троекратная перезагрузка операционной системы, после каждой из которых должна выдерживаться определенная пауза. Троекратная перезагрузка ОС необходима для обеспечения возможности сбора требуемой для оптимизации операционной системы информации. Далее запускается один прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения необходим для того, чтобы опять-таки дать операционной системе возможность оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, необходимую для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста производится дефрагментация жесткого диска. Затем с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, производимые операционной системой. По окончании выполнения указанной команды будет выполнена оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если в ходе испытаний применяется не один, а несколько тестов, то перед каждым новым тестом вновь производится обучение системы.
Тестовый скрипт ComputerPress Benchmark Script v.10.0 позволяет указать длительность пауз после каждой перезагрузки, количество перезагрузок, производимых при сборе данных и необходимых для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что дефрагментацию и принудительную оптимизацию системы имеет смысл производить только в том случае, если применяется традиционный жесткий диск HDD. В случае использования твердотельного SSD-накопителя процедура обучения исключается, поскольку SSD-накопители не нуждаются в дефрагментации.
Кроме того, тестовый скрипт ComputerPress Benchmark Script v.10.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитываются среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно использовать пять прогонов каждого теста.
Собственно, все перечисленные особенности тестового скрипта уже были реализованы в предыдущих версиях. Изменения коснулись лишь применяемых для тестирования приложений и самих тестовых заданий. В новой версии тестового скрипта используются следующие приложения:
- MainConcept Reference v.2.2;
- CyberLink MediaEspresso 6.5;
- Xilisoft Video Converter Ultimate 6.7.0.0913;
- Xilisoft Audio Converter Pro 6.1.3.1026;
- Movavi Video Converter 10.2.1;
- Photodex ProShow Gold 4.52.3053;
- MAGIX Movie Edit Pro MX Premium;
- Adobe Photoshop CS 5.1;
- ABBYY FineReader 11;
- WinRAR 4.01;
- WinZip 15.5.
Состав скрипта
Все применяемые в скрипте тесты разбиты на шесть логических групп:
- видеоконвертирование;
- аудиоконвертирование;
- создание видеоконтента;
- обработка цифровых фотографий;
- распознавание текста;
- архивирование и разархивирование данных.
Видеоконвертирование
Для видеоконвертирования в нашем скрипте используются два HD-видеоролика.
Первый видеоролик длительностью 2 мин 48 с и размером 150 Мбайт записан в формате WMV9 и имеет следующие характеристики:
- видео:
- разрешение — 1440x1080,
- видеобитрейт — 8000 Кбит/с,
- частота кадров — 23 fps;
- аудио:
- аудиобитрейт — 384 Кбит/с,
- количество каналов — 6 (5.1),
- частота семплирования — 48 кГц.
Второй тестовый видеоролик длительностью 2 мин 24 с и размером 176 Мбайт записан в формате MOV и имеет следующие характеристики:
- видео:
- кодек — H.264,
- разрешение — 1920x1080p,
- видеобитрейт — 10137 Кбит/с,
- частота кадров — 23 fps;
- аудио:
- аудиобитрейт — 128 Кбит/с,
- количество каналов — 2 (стерео),
- частота семплирования — 44 кГц.
В группу «Видеоконвертирование» входят тесты, в которых исходные видеоролики с применением различных приложений конвертируются в другие форматы. Всего в данную группу входят четыре теста с использованием следующих приложений:
- MainConcept Reference v.2.2;
- CyberLink MediaEspresso 6.5;
- Xilisoft Video Converter Ultimate 6.0.9.0910;
- Movavi Video Converter 10.2.1.
В тесте с приложением MainConcept Reference v.2.2 определяется скорость конвертирования второго тестового видеоролика в формате MOV в видеоролик с иным разрешением (720x576) и видеобитрейтом (предустановка MPEG-2 Main).
Параметры результирующего видеофайла:
- размер — 110 Мбайт;
- контейнер — MPG;
- кодек — MPEG-2;
- разрешение — 720x576;
- видеобитрейт — 6000 Кбит/с;
- аудиокодек — MPEG Audio;
- аудиобитрейт — 224 Кбит/с.
Результатом данного теста является время конвертирования.
В тесте с приложением CyberLink MediaEspresso 6.5 определяется скорость конвертирования первого тестового видеоролика в формате WMV9 для последующего просмотра на планшете iPad2 (с помощью пресета iPad2). Важно отметить, что если на компьютере применяется дискретная графика NVIDIA или ATI, поддерживающая аппаратное ускорение видеокодирования посредством ресурсов графического процессора, то в приложении CyberLink MediaEspresso 6.5 данная возможность (опция Enable hardware encoding) используется.
В тесте с приложением Xilisoft Video Converter Ultimate 6.0.9.0910 определяется скорость конвертирования первого тестового видеоролика в формате WMV в видеоролик в формате MP4, который применяется для просмотра видео на устройстве iPod. В тесте используется пресет iPod — H.264 Video.
Отметим, что приложение Xilisoft Video Converter Ultimate 6.0.9.0910 также поддерживает возможность применения средств графического процессора NVIDIA или AMD в процессе конвертирования.
Параметры результирующего видеоролика следующие:
- размер — 12,9 Мбайт;
- кодек — H.264;
- разрешение — 320x240.
В тесте с приложением Movavi Video Converter 10.2.1 определяется скорость конвертирования первого тестового видеоролика в формате WMV в видеоролик в формате MP4, который используется для просмотра видео на смартфоне iPhone 4. В тесте применяется пресет iPhone 4 (*.mp4):
- размер — 43,1 Мбайт;
- кодек — H.264;
- разрешение — 1280x720.
Аудиоконвертирование
В группу «Аудиоконвертирование» входит тест на основе приложения Xilisoft Audio Converter Pro 6.1.3.1026. С использованием данного приложения определяется скорость конвертирования аудиофайла из формата WAV в формат MP3 с битрейтом 128 Кбит/с и частотой сэмплирования 48 кГц. Исходный WAV-аудиофайл имеет размер 619 Мбайт. Результатом данного теста является время конвертирования.
Создание видеоконтента
Группа тестов «Создание видеоконтента» включает два теста на основе следующих приложений:
Photodex ProShow Gold 4.52.3053;
MAGIX Movie Edit Pro MX Premium.
В тесте с приложением Photodeх ProShow Gold 4.5.2949 определяется скорость создания HD-видеофильма с разрешением 1920x1080p (контейнер MPG) из 23 цифровых фотографий в формате TIF с наложением музыки. Каждая фотография имеет размер 24 Мбайт. Результатом данного теста является время создания фильма.
В тесте с приложением MAGIX Movie Edit Pro MX Premium имитируется создание видеофильма. Для тестирования мы использовали проект, в котором для создания фильма применяются различные эффекты переходов между отдельными фрагментами, накладываются титры, музыка и т.д.
Параметры выходного файла следующие:
- видео:
- разрешение — 1920x1080,
- кодек — XviD MPEG-4,
- частота кадров — 29.97 fps;
- аудио:
- аудиобитрейт — 1536 Кбит/с,
- количество каналов — 2 (стерео),
- частота семплирования — 48 кГц.
Результатом данного теста является время создания фильма.
Обработка цифровых фотографий
В группу «Обработка цифровых фотографий» включены три отдельных теста на основе приложения Adobe Photoshop CS 5.1 совместно с установленными плагинами Imagenomic Portraiture v1.0.2 и Imagenomic Noiseware 4.1.1.0 Professional.
Первый тест заключается в создании панорамы из пяти отдельных кадров в RAW-формате средствами Adobe Photoshop CS 5.1. Результатом данного теста является время создания панорамы.
Во втором тесте средствами Adobe Photoshop CS 5.1 создается HDR-изображение из пяти кадров (–2EV, –1EV, 0EV, +1EV, +2EV) в RAW-формате. Результатом теста является время создания HDR-изображения.
Третий тест заключается в пакетной обработке 23 фотографий в RAW-формате. К каждой фотографии, которая открывается в 16-битном формате, первоначально последовательно применяются фильтры Imagenomic Noiseware 4.1.1.0 Professional и Imagenomic Portraiture v1.0.2, а затем изменяется глубина цвета с 16 на 8 бит на канал и фотография сохраняется в TIF-формате. Результатом данного теста является время пакетной обработки всех фотографий.
Отметим, что во всех трех используемых тестах применяется 32-разрядная версия Adobe Photoshop CS 5.1.
Распознавание текста
В группу «Распознавание текста» входит всего один тест на основе приложения ABBYY FineReader 11. В данном тесте с использованием приложения ABBYY FineReader 11 производится распознавание 74-страничного PDF-документа на английском языке, содержащего большое количество графики. Результатом данного теста является время от открытия PDF-документа до полного распознавания текста.
Архивирование и разархивирование данных
Группа тестов «Архивирование и разархивирование данных» включает два теста на основе приложений WinRAR 4.01 и WinZip 15.5.
В тестах с приложениями WinRAR 4.01 и WinZip 15.5 первоначально архивируется, а потом разархивируется большое количество цифровых фотографий в формате TIF. При архивировании данных используется обычная степень сжатия, а сжатие производится без шифрования.
Отметим, что в тесте с применением приложения WinRAR 4.01 используется 64-битная версия приложения, а приложение WinZip 15.5 является 32-битным.
Результатом тестов является время архивирования и разархивирования.
Расчет интегральной оценки производительности
Понятие интегральной оценки производительности применялось нами и в предыдущих версиях тестового скрипта. Изменялись лишь референсные результаты, используемые для расчета интегральной оценки производительности, да и сам алгоритм расчета претерпевал изменения.
Напомним, что необходимость применения интегральной оценки производительности вызвана тем, что сами по себе результаты тестирования (время выполнения тестовых задач) еще не дают представления о производительности ПК. Они обретают смысл лишь при возможности их сопоставления с результатами некого референсного ПК. Именно поэтому при тестировании по описанной нами методике мы традиционно используем понятия интегральной оценки производительности и референсного ПК.
Для расчета интегральной оценки производительности первоначально результаты всех тестов нормируются относительно результатов тестирования для референсного ПК:
R = tref/t , где
tref — время выполнения задачи референсным ПК, t — время выполнения задачи тестируемой системой.
Полученный таким образом безразмерный результат, по сути, представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше), чем время выполнения той же задачи референсной системой. Далее нормированные результаты тестов разбиваются на шесть логических групп (видеоконвертирование, аудиоконвертирование и редактирование, создание видеоконтента, обработка цифровых фотографий, распознавание текста, архивирование и разархивирование данных) и в каждой группе тестов рассчитывается промежуточный интегральный результат как среднегеометрическое от нормированных результатов. Для удобства представления результатов полученное значение умножается на 1000. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. Это и есть интегральная оценка производительности компьютера. Для референсного ПК интегральный результат производительности, а также интегральные результаты по каждой отдельной группе тестов составляют 1000 баллов, а для тестируемого ПК эти результаты могут быть как больше, так и меньше 1000 баллов.
Естественно, интегральный результат тестируемого ПК определяется не только его конфигурацией, но и конфигурацией референсного ПК, используемого для сравнения. Ранее в нашем тестовом скрипте в качестве референсного ПК мы применяли мощный компьютер на базе процессора Intel серии Extreme Edition. Но в скрипте ComputerPress Benchmark Script v.10.0 в качестве референсной системы мы решили использовать более «приземленную» конфигурацию ПК, а точнее игровой ноутбук ASUS G53SX.
Конфигурация ноутбука ASUS G53SX следующая:
- процессор — Intel Core i7-2630QM (базовая тактовая частота 2 ГГц; максимальная тактовая частота в режиме Turbo Boost 2,9 ГГц);
- чипсет системной платы — Intel HM65 Express;
- память — DDR3-1333;
- объем памяти — 8 Гбайт (два модуля Hynix HMT351S6BFR8C по 4 Гбайт);
- режим работы памяти — двухканальный;
- видеокарта — NVIDIA GeForce GTX 560M;
- жесткий диск — HITACHI HTS547564A9E384 (640 Гбайт).
Отметим, что в ноутбуке ASUS G53SX не реализована технология NVIDIA OPTIMUS (данная технология несовместима с технологией NVIDIA 3D VISION, которая применяется в ноутбуке ASUS G53SX), а потому нет возможности использовать встроенное в процессор графическое ядро.
При получении результатов тестирования референсной конфигурации (референсных результатов) применялась операционная система Microsoft Windows 7 Ultimate (64-bit). Для обеспечения высокой точности результатов все тесты прогонялись по десять раз.
Референсные результаты тестирования представлены в таблице.
 |
|
