Тестовый скрипт ComputerPress Benchmark Script v.11.0
Архивирование и разархивирование данных
Расчет интегральной оценки производительности
Со времени разработки последней версии нашего тестового скрипта ComputerPress Benchmark Script v.10.0 прошел уже почти год, и многие используемые в нем приложения обновились, а значит, пришло время обновить и сам скрипт.
Новая версия нашего тестового скрипта ComputerPress Benchmark Script v.11.0, как и все предыдущие, предназначена для оценки производительности процессоров, ноутбуков и домашних компьютеров. Особенность скрипта заключается в том, что в нем используются только реальные неигровые приложения, с которыми большинство домашних пользователей сталкиваются ежедневно. Отметим, что данный тестовый скрипт по набору используемых в нем приложений и тестовых задач ориентирован прежде всего на оценку производительности мультимедийных компьютеров. Дело в том, что для оценки игровых компьютеров и видеокарт предназначен специальный скрипт, а производительность офисных ПК оценивать довольно сложно, поскольку все современные компьютеры без проблем справляются с любыми офисными приложениями. Ну а рабочие станции, ориентированные на выполнение специфических задач (научные расчеты, графические станции и т.д.), — это уже совсем другая тема.
Идеология, положенная в основу нашего тестового скрипта, осталась неизменной. Как и прежде, тестовый скрипт предназначен для автоматизации всего процесса тестирования и позволяет выбрать тесты, а также задать дополнительные параметры тестирования. Скрипт совместим с операционной системой Windows 7 Ultimate (64-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии применения приложений, что обеспечивает высокую повторяемость результатов. Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов.
На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot, в которых содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы содержимое этих папок необходимо очистить, чтобы с нуля начать сбор нужной информации для оптимизации. Затем осуществляется трехкратная перезагрузка операционной системы, и каждый раз должна выдерживаться определенная пауза. Трехкратная перезагрузка ОС необходима для обеспечения возможности сбора требуемой для оптимизации операционной системы информации. Далее запускается один прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения необходим для того, чтобы опять-таки дать операционной системе возможность оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, требующуюся для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста выполняется дефрагментация жесткого диска. Затем с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, производимые операционной системой. По окончании выполнения указанной команды осуществляется оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если при тестировании применяется не один, а несколько тестов, то перед каждым новым тестом вновь производится обучение системы.
Тестовый скрипт ComputerPress Benchmark Script v.11.0 позволяет указать длительность пауз после каждой перезагрузки, количество перезагрузок, выполняемых при сборе данных и необходимых для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что их имеет смысл проводить только в том случае, если используется традиционный жесткий диск HDD. В случае твердотельного SSD-накопителя процедура обучения исключается, поскольку SSD-накопители не нуждаются в дефрагментации.
Кроме того, тестовый скрипт ComputerPress Benchmark Script v.11.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно использовать пять прогонов каждого теста.
Собственно, все перечисленные особенности тестового скрипта уже были реализованы в предыдущих версиях. Изменения коснулись лишь применяемых для тестирования приложений и самих тестовых заданий. В новой версии тестового скрипта используются следующие приложения:
- MainConcept Reference 2.2;
- CyberLink MediaEspresso 6.5;
- Xilisoft Video Converter Ultimate 7.4.0;
- Xilisoft Audio Converter Pro 6.4.0;
- Movavi Video Converter 10.2.1;
- Photodex ProShow Gold 5.0.3276;
- MAGIX Movie Edit Pro MX Premium 11.0.2.2;
- Adobe Photoshop CS 6.0;
- ABBYY FineReader 11;
- WinRAR 4.20;
- WinZip 16.0.
Все применяемые в скрипте тесты разбиты на шесть логических групп:
- видеоконвертирование;
- аудиоконвертирование;
- создание видеоконтента;
- обработка цифровых фотографий;
- распознавание текста;
- архивирование и разархивирование данных.
Видеоконвертирование
Для видеоконвертирования в нашем скрипте используются два HD-видеоролика. Первый видеоролик длительностью 2 мин 48 с и размером 150 Мбайт записан в формате WMV9 и имеет следующие характеристики:
- видео:
- азрешение — 1440*um*1080,
- идеобитрейт — 8000 Кбит/с,
- астота кадров — 23 fps;
- аудио:
- удиобитрейт — 384 Кбит/с,
- оличество каналов — 6 (5.1),
- астота сэмплирования — 48 кГц.
Второй тестовый видеоролик длительностью 2 мин 24 с и размером 176 Мбайт записан в формате MOV и имеет следующие характеристики:
- видео:
- кодек — H.264,
- разрешение — 1920*um*1080p,
- видеобитрейт — 10 137 Кбит/с,
- частота кадров — 23 fps;
- аудио:
- аудиобитрейт — 128 Кбит/с,
- количество каналов — 2 (стерео),
- частота сэмплирования — 44 кГц.
В группу «Видеоконвертирование» входят тесты, в которых исходные видеоролики с применением различных приложений конвертируются в другие форматы. Всего данная группа включает четыре теста с использованием следующих приложений:
- MainConcept Reference v.2.2;
- CyberLink MediaEspresso 6.5;
- Xilisoft Video Converter Ultimate 7.4.0;
- Movavi Video Converter 10.2.1.
В тесте с приложением MainConcept Reference v.2.2 определяется скорость конвертирования второго тестового видеоролика в формате MOV в видеоролик с иным разрешением (720*um*576) и видеобитрейтом (предустановка MPEG-2 Main).
Параметры результирующего видеофайла:
- размер — 110 Мбайт;
- контейнер — MPG;
- кодек — MPEG-2;
- разрешение — 720*um*576;
- видеобитрейт — 6000 Кбит/с;
- аудиокодек — MPEG Audio;
- аудиобитрейт — 224 Кбит/с.
Результатом данного теста является время конвертирования.
В тесте с приложением CyberLink MediaEspresso 6.5 определяется скорость конвертирования первого тестового видеоролика в формате WMV9 для последующего просмотра на планшете iPad2 (с помощью пресета iPad2). Важно отметить, что если на компьютере установлена дискретная графика NVIDIA или ATI, поддерживающая аппаратное ускорение видеокодирования с использованием ресурсов графического процессора, то в приложении CyberLink MediaEspresso 6.5 данная возможность задействуется (опция Enable hardware encoding).
В тесте с приложением Xilisoft Video Converter Ultimate 7.4.0 определяется скорость конвертирования первого тестового видеоролика в формате WMV в видеоролик в формате MP4, который используется для просмотра видео на устройстве iPod. В тесте задействуется пресет iPod — H.264 Video.
Отметим, что приложение Xilisoft Video Converter Ultimate 7.4.0 также поддерживает возможность использования средств графического процессора NVIDIA или AMD в процессе конвертирования.
Параметры результирующего видеоролика следующие:
- размер — 12,9 Мбайт;
- кодек — H.264;
- разрешение — 320*um*240.
В тесте с приложением Movavi Video Converter 10.2.1 определяется скорость конвертирования первого тестового видеоролика в формате WMV в видеоролик в формате MP4, для просмотра видео на смартфоне iPhone 4. В тесте используется пресет iPhone 4 (1280*um*720, H.264) (*.mp4).
Параметры результирующего видеоролика следующие:
- размер — 43,1 Мбайт;
- кодек — H.264;
- разрешение — 1280*um*720.
Аудиоконвертирование
Группу «Аудиоконвертирование» составляет тест на основе приложения Xilisoft Audio Converter Pro 6.4.0. С его помощью определяется скорость конвертирования аудиофайла из формата WAV в формат MP3 с битрейтом 128 Кбит/с и частотой сэмплирования 48 кГц. Исходный WAV-аудиофайл имеет размер 619 Мбайт. Результатом данного теста является время конвертирования.
Создание видеоконтента
Группа тестов «Создание видеоконтента» включает два теста на основе следующих приложений:
- Photodex ProShow Gold 5.0.3276;
- MAGIX Movie Edit Pro MX Premium 11.0.2.2.
В тесте с приложением Photodeх ProShow Gold 5.0.3276 определяется скорость создания HD-видеофильма (слайдшоу) с разрешением 1920*um*1080p (формат MPEG-2, Framerate 59,94) из 24 цифровых фотографий, отснятых камерой EOS Canon Mark II 5D и преобразованных в формат TIF. Каждая фотография имеет размер 60,1 Мбайт. Кроме того, на фильм накладывается музыка. Фильм создается с помощью Мастера (Wizard) приложения Photodeх ProShow Gold 5.0.3276. Между отдельными слайдами накладываются различные эффекты перехода, да и сами эти слайды анимированы. Нужно отметить, что создание проекта с использованием Мастера каждый раз приводит к новому результату за счет того, что применяемые анимационные эффекты и эффекты перехода выбираются произвольно. Поэтому время создания слайдшоу заметно различается. Чтобы избежать этого негативного эффекта, мы поступили следующим образом. С помощью Мастера мы каждый раз создавали новый проект, а вот в mpg-фильм всегда экспортируется один и тот же заранее созданный проект. Результатом теста является суммарное время создания проекта слайдшоу, включающее время загрузки фотографий и музыки и наложение спецэффектов, а также время экспорта проекта в фильм.
В тесте с приложением MAGIX Movie Edit Pro MX Premium 11.0.2.2 имитируется создание видеофильма. Для тестирования мы использовали проект, в котором для создания фильма применяются различные эффекты переходов между отдельными фрагментами, накладываются титры, музыка и т.д.
Параметры выходного файла следующие:
- видео:
- разрешение — 1920*um*1080,
- кодек — XviD MPEG-4,
- частота кадров — 29,97 fps;
- аудио:
- аудиобитрейт — 1536 Кбит/с,
- количество каналов — 2 (стерео),
- частота сэмплирования — 48 кГц.
Результатом данного теста является время создания фильма.
Обработка цифровых фотографий
В группу «Обработка цифровых фотографий» включены три теста на основе приложения Adobe Photoshop CS 6.0 совместно с установленным плагином Imagenomic Noiseware 5.0.
Первый тест заключается в создании панорамы из пяти отдельных кадров в RAW-формате средствами Adobe Photoshop CS 6.0. Результатом его является время создания панорамы.
Во втором тесте средствами Adobe Photoshop CS 6.0 генерируется HDR-изображение из пяти кадров (–2EV, –1EV, 0EV, +1EV, +2EV) в RAW-формате. Результат теста — время создания HDR-изображения.
Третий тест заключается в пакетной обработке 24 фотографий, сделанных камерой EOS Canon Mark II 5D в RAW-формате (размер каждой фотографии 120 Мбайт). Для пакетной обработки первоначально создается исполняемый exe-файл с помощью инструмента Create Droplet, который затем применяется к папке с тестовыми фотографиями.
К каждой фотографии, которая открывается в 16-битном формате, применяются фильтры Imagenomic Noiseware 5.0, а затем изменяется глубина цвета с 16 на 8 бит на канал и фотография сохраняется в TIF-формате. Результатом данного теста является время пакетной обработки всех фотографий.
Отметим, что во всех трех используемых тестах применяется 32-разрядная версия Adobe Photoshop CS 6.0.
Распознавание текста
В группу «Распознавание текста» также входит всего один тест на основе приложения ABBYY FineReader 11. В нем с помощью приложения ABBYY FineReader 11 производится распознавание 74-страничного PDF-документа на английском языке, содержащего большое количество графики. Результатом данного теста является время от открытия PDF-документа до полного распознавания текста.
Архивирование и разархивирование данных
Группа тестов «Архивирование и разархивирование данных» включает два теста на основе приложений WinRAR 4.2 и WinZip 16.0.
В тестах с приложениями WinRAR 4.2 и WinZip 16.0 первоначально архивируется, а потом разархивируется альбом из 24 цифровых фотографий в формате TIF (размер каждой фотографии 60,1 Мбайт). При архивировании данных используется обычная степень сжатия, а само сжатие производится без шифрования.
Результатом тестов является время архивирования и разархивирования.
Расчет интегральной оценки производительности
Понятие интегральной оценки производительности применялось нами и в предыдущих версиях тестового скрипта. Изменялись лишь референсные результаты, используемые для расчета интегральной оценки производительности, да и сам алгоритм расчета претерпевал изменения.
Напомним, что необходимость применения интегральной оценки производительности вызвана тем, что сами по себе результаты тестирования (время выполнения тестовых задач) еще не дают представления о производительности ПК. Они обретают смысл лишь при сопоставлении с результатами некого референсного ПК. Именно поэтому при тестировании по описанной нами методике мы традиционно используем понятия интегральной оценки производительности и референсного ПК.
Для расчета интегральной оценки производительности первоначально результаты всех тестов нормируются относительно результатов тестирования для референсного ПК:
где tref — время выполнения задачи референсным ПК, а t — время выполнения задачи тестируемой системой.
Полученный таким образом безразмерный результат R по сути представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше), чем время выполнения той же задачи референсной системой. Далее нормированные результаты тестов разбиваются на шесть логических групп (видеоконвертирование, аудиоконвертирование и редактирование, создание видеоконтента, обработка цифровых фотографий, распознавание текста, архивирование и разархивирование данных), и в каждой из них рассчитывается промежуточный интегральный результат как среднегеометрическое от нормированных результатов. Для удобства представления результатов полученное значение умножается на 1000. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. Это и есть интегральная оценка производительности компьютера. Для референсного ПК интегральный результат производительности, а также интегральные результаты по каждой отдельной группе тестов составляют 1000 баллов, а для тестируемого ПК эти результаты могут быть как больше, так и меньше 1000 баллов.
Естественно, интегральный результат тестируемого ПК определяется не только его конфигурацией, но и конфигурацией референсного ПК, выбранного для сравнения. В скрипте ComputerPress Benchmark Script v.11.0 в качестве референсной системы мы решили использовать следующую конфигурацию ПК:
- процессор — Intel Core i7-3770K (процессор работал в штатном режиме с активированной технологией Turbo Boost. Максимальная тактовая частота в режиме Turbo Boost 3,9 ГГц);
- материнская плата — ASUS P8Z77-VPro;
- чипсет системной платы — Intel Z77 Express;
- объем памяти — 4 Гбайт (два модуля Kingston HyperX KHX1600C8D3K2 по 2 Гбайт);
- режим работы памяти — DDR3-1600, двухканальный режим;
- видеокарта — встроенное в процессор графическое ядро;
- накопитель — Intel SSD 520 (240 Гбайт).
При получении результатов тестирования референсной конфигурации (референсных результатов) применялась операционная система Microsoft Windows 7 Ultimate (64 bit). Для обеспечения высокой точности результатов все тесты прогонялись по пять раз.
Референсные результаты тестирования представлены в таблице.
 |
|
