Тестовый скрипт ComputerPress Benchmark Script v.12.0
Архивирование и разархивирование данных
Расчет интегральной оценки производительности
Со времени разработки последней версии нашего тестового скрипта ComputerPress Benchmark Script v.11.0 прошло уже немало дней, и многие используемые нами в скрипте приложения обновились, а значит, пора обновить и сам скрипт.
Новая версия нашего тестового скрипта ComputerPress Benchmark Script v.12.0 (рис. 1), как и все предыдущие, предназначена для оценки производительности процессоров, ноутбуков и домашних компьютеров. Особенность скрипта заключается в том, что в нем используются только реальные неигровые приложения, с которыми большинство домашних пользователей сталкиваются ежедневно. Отметим, что данный тестовый скрипт по набору используемых в нем приложений и тестовых задач ориентирован прежде всего на оценку производительности компьютеров, предназначенных для создания мультимедийного контента. Дело в том, что для оценки игровых компьютеров и видеокарт предназначен специальный скрипт, а производительность офисных ПК оценивать довольно сложно, поскольку все современные компьютеры без проблем справляются с любыми офисными приложениями. Ну а рабочие станции, ориентированные на выполнение специфических задач (научные расчеты, графические станции и т.д.) — это уже совсем другая тема.
Рис. 1. Главное окно тестового скрипта
ComputerPress Benchmark Script v.12.0
Главная идеология, положенная в основу нашего тестового скрипта, осталась неизменной. Как и прежде, тестовый скрипт предназначен для автоматизации всего процесса тестирования и позволяет выбрать используемые тесты, а также задать дополнительные параметры тестирования. Скрипт совместим с операционной системой Windows 7 Ultimate (64-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии применения приложений, что обеспечивает высокую повторяемость результатов. Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов.
На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot, в которых содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы содержимое этих папок необходимо очистить, чтобы с нуля начать сбор нужной информации для оптимизации.
Затем осуществляется трехкратная перезагрузка операционной системы, после каждой из которых должна выдерживаться определенная пауза. Трехкратная перезагрузка ОС необходима для обеспечения возможности сбора требуемой для оптимизации операционной системы информации. Далее запускается один прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения необходим для того, чтобы опять-таки дать возможность операционной системе оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, необходимую для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста производится дефрагментация жесткого диска. Затем с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, производимые операционной системой. По окончании выполнения указанной команды будет произведена оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если при тестировании применяется не один, а несколько тестов, то перед каждым новым тестом вновь производится обучение системы.
Тестовый скрипт ComputerPress Benchmark Script v.12.0 позволяет указать длительность пауз после каждой перезагрузки, количество самих перезагрузок, производимых при сборе данных и необходимых для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что дефрагментацию и принудительную оптимизацию системы имеет смысл производить только в том случае, если применяется традиционный жесткий диск HDD. В случае использования твердотельного SSD-накопителя процедура обучения исключается, поскольку SSD-накопители не нуждаются в дефрагментации.
Кроме того, тестовый скрипт ComputerPress Benchmark Script v.12.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно использовать пять прогонов каждого теста.
Собственно, все перечисленные особенности тестового скрипта уже реализованы в предыдущих версиях. Изменения коснулись лишь применяемых для тестирования приложений и самих тестовых заданий. В новой версии тестового скрипта используются следующие приложения:
- Xilisoft Video Converter Ultimate 7.7.2;
- Wondershare Video Converter Ultimate 6.0.3.2;
- Movavi Video Converter 10.2.1;
- Adobe Premier Pro CS 6.0;
- Photodex ProShow Gold 5.0.3276;
- Adobe Photoshop CS 6.0;
- Adobe Audition CS 6.0;
- ABBYY FineReader 11;
- WinRAR 4.20;
- WinZip 17.0.
Все применяемые в скрипте тесты разбиты на шесть логических групп:
- видеоконвертирование;
- аудиообработка;
- создание видеоконтента;
- обработка цифровых фотографий;
- распознавание текста;
- архивирование и разархивирование данных.
Видеоконвертирование
Для видеоконвертирования в нашем скрипте используется один HD-видеоролик (контейнер mkv) длительностью 3 мин 35 с и размером 1,05 Гбайт. Этот ролик записан в формате MPEG-4 Video (H264) и имеет следующие характеристики:
- видео:
- разрешение — 1920×1080,
- видеобитрейт — 42,1 Mбит/с;
- частота кадров — 25 fps;
- аудио:
- аудиобитрейт — 128 Кбит/с,
- количество каналов — 2,
- частота семплирования — 44,1 кГц.
В группу «Видеоконвертирование» входят тесты, в которых исходные видеоролики с применением различных приложений конвертируются в другие форматы. Всего в данную группу входят четыре теста с использованием следующих приложений:
- Xilisoft Video Converter Ultimate 7.7.2;
- Wondershare Video Converter Ultimate 6.0.3.2;
- Movavi Video Converter 10.2.1.
В тесте с применением приложения Xilisoft Video Converter Ultimate 7.7.2 (рис. 2) определяется скорость переконвертирования тестового видеоролика с профайлом iPad 2 — H.264 HD Video для просмотра на планшете iPad 2.
Рис. 2. Тест с применением приложения Xilisoft Video Converter Ultimate 7.7.2
Параметры результирующего видеофайла:
- размер — 137,1 Мбайт;
- контейнер — MP4;
- кодек — MPEG-4 (H.264);
- разрешение — 1280×720;
- частота кадров — 29,97 fps;
- видеобитрейт — 5210 Кбит/с;
- аудиокодек — AAC;
- аудиобитрейт — 128 Кбит/с;
- количество каналов — 2;
- частота семплирования — 48 кГц.
Результатом данного теста является время конвертирования.
Важно отметить, что в том случае, если на компьютере используется дискретная графика NVIDIA или ATI, поддерживающая аппаратное ускорение видеокодирования с применением ресурсов графического процессора, то в приложении Xilisoft Video Converter Ultimate 7.7.2 используется данная возможность.
В тесте с применением приложения Wondershare Video Converter Ultimate 6.0.3.2 (рис. 3) также определяется скорость конвертирования тестового видеоролика для последующего просмотра на планшете iPad 2 (с использованием пресета iPad 2). При этом размер выходного файла составляет 157,6 Мбайт.
Рис. 3. Тест с применением приложения Wondershare Video Converter Ultimate 6.0.3.2
Параметры результирующего видеоролика следующие:
- размер — 157,6 Мбайт;
- видеокодек — H.264;
- видеобитрейт — 6424 Кбит/с;
- частота кадров — 24 fps;
- разрешение — 1920×1080;
- аудиокодек — AAC;
- аудиобитрейт — 128 Кбит/с;
- количество каналов — 2;
- частота семплирования — 44 кГц.
В тесте с применением приложения Movavi Video Converter 10.2.1 (рис. 4) определяется скорость конвертирования тестового видеоролика в видеоролик в формате MP4, который используется для просмотра видео на смартфоне iPhone 4. В тесте применяется пресет iPhone 4 (1280×720, H.264) (*.mp4):
Рис. 4. Тест с применением приложения Movavi Video Converter 10.2.1
- размер — 43,1 Мбайт;
- кодек — H.264;
- разрешение — 1280×720.
Аудиообработка
В группу «Аудиообработка» входит тест на основе приложения Adobe Audition CS 6.0 (рис. 5). С использованием данного приложения первоначально обрабатывается, а потом конвертируется в формат MP3 (битрейт 128 Кбит/с, частота сэмплирования 48 кГц) тестовый файл в формате WAV, размером 619 Мбайт. Обработка исходного WAV-файла заключается в применении к нему фильтра адаптивного шумоподавления (Adaptive Noise Reduction). Результатом теста является суммарное время обработки и конвертирования WAV-файла.
Рис. 5. Тест с применением приложения Adobe Audition CS 6.0
Создание видеоконтента
Группа тестов «Создание видеоконтента» включает два теста на основе следующих приложений:
- Adobe Premier Pro CS 6.0;
- Photodex ProShow Gold 5.0.3276.
В тесте с использованием приложения Adobe Premier Pro CS 6.0 (рис. 6) создается видеофильм из десяти видеоклипов суммарным объемом 1,48 Гбайт. Видеоклипы (контейнер MOV) были сняты камерой Canon EOS Mark II 5D с разрешением 1920×1080 и частотой кадров 25 fps. Между всеми видеоклипами создаются эффекты перехода, после чего производится рендеринг рабочей области и экспортирование видеофайла с пресетом Apple iPad 2, iPhone 4S — 1080p 25.
Рис. 6. Тест с применением приложения Adobe Premier Pro CS 6.0
Параметры выходного файла следующие:
- видео:
- разрешение — 1920×1080,
- кодек — H.264,
- контейнер — mp4,
- видеобитрейт — 5 Мбит/с,
- частота кадров — 25 fps;
- аудио:
- кодек — AAC,
- аудиобитрейт — 160 Кбит/с,
- количество каналов — 2 (стерео),
- частота семплирования — 48 кГц.
Результатом данного теста является суммарное время рендеринга и экспортирования фильма.
В тесте с применением приложения Photodeх ProShow Gold 5.0.3276 (рис. 7) определяется скорость создания HD-видеофильма (слайдшоу) с разрешением 1920×1080p (формат MPEG-2, Framerate 59,94) из 24 цифровых фотографий, отснятых камерой EOS Canon Mark II 5D и преобразованных в формат TIF. Каждая фотография имеет размер 60,1 Мбайт. Кроме того, на фильм накладывается музыка. Сам фильм создается с использованием Мастера (Wizard) приложения Photodeх ProShow Gold 5.0.3276. Между отдельными слайдами накладываются различные эффекты перехода, да и сами отдельные слайды анимированы. Нужно отметить, что создание проекта с использованием Мастера каждый раз приводит к новому результату за счет того, что накладываемые на слайды анимационные эффекты и эффекты перехода выбираются произвольно. Поэтому время создания слайдшоу в данном случае будет иметь очень большой разброс. Во избежание этого негативного эффекта мы поступили следующим образом. С использованием Мастера мы каждый раз создаем новый проект, а вот окончательный экспорт в mpg-фильм всегда производится с использованием одного и того же заранее созданного проекта. Результатом теста является суммарное время создания проекта слайдшоу, включающее время загрузки фотографий и музыки и наложение спецэффектов, а также время экспорта проекта в фильм.
Рис. 7. Тест с применением приложения Photodeх ProShow Gold 5.0.3276
Обработка цифровых фотографий
В группу «Обработка цифровых фотографий» включены три отдельных теста на основе приложения Adobe Photoshop CS 6.0.
Первый тест заключается в создании панорамы из пяти отдельных кадров, сделанных камерой EOS Canon Mark II 5D в RAW-формате средствами Adobe Photoshop CS 6.0. Результатом данного теста является время создания панорамы.
Во втором тесте средствами Adobe Photoshop CS 6.0 создается HDR-изображение из пяти кадров (–2EV, –1EV, 0EV, +1EV, +2EV), сделанных камерой EOS Canon Mark II 5D в RAW-формате. Результатом теста является время создания HDR-изображения.
Третий тест заключается в пакетной обработке 24 фотографий, сделанных камерой EOS Canon Mark II 5D в RAW-формате (размер каждой фотографии — 25 Мбайт). Для пакетной обработки первоначально создается исполняемый EXE-файл с использованием инструмента Create Droplet, который затем применяется к папке с тестовыми фотографиями.
К каждой фотографии, которая открывается в 16-битном формате, применяются фильтры шумоподавления (Reduce Noise) и коррекции объектива (Lens Correction), а затем изменяется глубина цвета с 16 на 8 бит на канал, и фотография сохраняется в TIF-формате (рис. 8). Результатом данного теста является время пакетной обработки всех фотографий.
Рис. 8. Обработка фотографии в тесте с применением приложения Adobe Photoshop CS 6.0
Отметим, что во всех трех используемых нами тестах применяется 64-разрядная версия Adobe Photoshop CS 6.0.
Распознавание текста
В группу «Распознавание текста» также входит всего один тест на основе приложения ABBYY FineReader 11. В данном тесте с использованием приложения ABBYY FineReader 11 производится распознавание 74-страничного PDF-документа на английском языке, содержащего большое количество графики (рис. 9). Результатом данного теста является время от открытия PDF-документа до полного распознавания текста.
Рис. 9. Тест с применением приложения ABBYY FineReader 11
Архивирование и разархивирование данных
Группа тестов «Архивирование и разархивирование данных» включает два теста на основе 64-битных версий приложений WinRAR 4.2 (рис. 10) и WinZip 17.0 (рис. 11).
Рис. 10. Тест с применением приложения WinRAR 4.2
Рис. 11. Тест с применением приложения WinZip 17.0
В тестах с применением приложения WinRAR 4.2 и WinZip 17.0 первоначально архивируется, а потом разархивируется альбом из 24 цифровых фотографий в формате TIF (размер каждой фотографии — 60,1 Мбайт).
В архиваторе WinRAR 4.2 при сжатии данных используется уровень компрессии Best (максимальное сжатие), а в архиваторе WinZip 17.0 — настройка Best method, обеспечивающая максимальное сжатие и выбор алгоритма сжатия в зависимости от типа данных.
Результатом тестов является время архивирования и разархивирования.
Расчет интегральной оценки производительности
Понятие интегральной оценки производительности применялось и в предыдущих версиях тестового скрипта. Изменялись лишь референсные результаты, используемые для расчета интегральной оценки производительности, да и сам алгоритм расчета претерпевал изменения.
Напомним, что необходимость применения интегральной оценки производительности вызвана тем, что сами по себе результаты тестирования (время выполнения тестовых задач) еще не дают представления о производительности ПК. Они обретают смысл лишь при возможности их сопоставления с результатами некого референсного ПК. Именно поэтому при тестировании по описанной нами методике традиционно используются понятия «интегральная оценка производительности» и «референсный ПК».
Для расчета интегральной оценки производительности первоначально результаты всех тестов нормируются относительно результатов тестирования для референсного ПК:
R = tref/t,
где tref — время выполнения задачи референсным ПК, t — время выполнения задачи тестируемой системой.
Полученный таким образом безразмерный результат R по сути представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше), чем время выполнения той же задачи референсной системой. Далее нормированные результаты тестов разбиваются на шесть логических групп (видеоконвертирование, аудиообработка, создание видеоконтента, обработка цифровых фотографий, распознавание текста, архивирование и разархивирование данных), и в каждой группе тестов рассчитывается промежуточный интегральный результат как среднегеометрическое от нормированных результатов. Для удобства представления результатов полученное значение умножается на 1000. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. Это и есть интегральная оценка производительности компьютера. Для референсного ПК интегральный результат производительности, а также интегральные результаты по каждой отдельной группе тестов составляют 1000 баллов, а для тестируемого ПК эти результаты могут быть как больше, так и меньше 1000 баллов.
Естественно, что интегральный результат тестируемого ПК определяется не только его конфигурацией, но и конфигурацией референсного ПК, используемого для сравнения. В скрипте ComputerPress Benchmark Script v.12.0 в качестве референсной системы мы решили использовать следующую конфигурацию ПК:
- процессор — Intel Core i7-3770K;
- материнская плата — Gigabyte GA-Z77X-UD5H;
- чипсет системной платы — Intel Z77 Express;
- память — DDR3-1600;
- объем памяти — 8 Гбайт (два модуля GEIL по 4 Гбайт);
- режим работы памяти — двухканальный режим;
- видеокарта — NVIDIA GeForce GTX 660Ti (видеодрайвер 314.07);
- накопитель — Intel SSD 520 (240 Гбайт).
При получении результатов тестирования референсной конфигурации (референсных результатов) использовалась операционная система Microsoft Windows 7 Ultimate (64-bit). Для обеспечения высокой точности результатов все тесты прогонялись по пять раз.
Референсные результаты тестирования представлены в таблице.
 |
|
