Новая методика тестирования процессоров, компьютеров и видеокарт
Тестирование на основе приложений
Windows Media Encoder 9.0 и DivX Player 7.1
MainConcept Reference v.1.6.1 и DivX Player
Total Audio Converter 3.0.1.48
Интегральная оценка производительности в скрипте ComputerPress Benchmark Script v.6.0
Интегральная оценка производительности в скрипте ComputerPress Game Benchmark Script v.4.0
Наверное, никакая другая отрасль не развивается столь стремительно, как сфера информационных технологий. Постоянно появляются новые процессоры, новые чипы и новые версии ПО. Естественно, что нам приходится подстраиваться под эти бешеные ритмы и время от времени обновлять свои методики тестирования компьютеров, процессоров и другого оборудования.
В этой статье мы расскажем о нашей обновленной методике тестирования процессоров, компьютеров и ноутбуков, которую мы будем использовать на протяжении как минимум полугода.
Тестирование на основе приложений
С момента последнего релиза нашего тестового скрипта ComputerPress Benchmark Script v.5.0 прошло достаточно много времени, и многие приложения, которые в нем применялись, уже устарели. Поэтому мы разработали новую, шестую версию тестового скрипта, которая существенно отличается от предыдущей. Изменения коснулись как набора используемых приложений (добавлены новые приложения, применяются последние версии всех приложений), так и нагрузки (Workload) в каждом отдельном тесте.
При разработке нового типа нагрузки в каждом тесте нашего тестового скрипта мы преследовали несколько целей. Во-первых, сделать тест более стабильным, а результаты его повторяемыми. Во-вторых, использовать для тестирования наиболее популярные среди конечных пользователей приложения, которые, тем не менее, способны выявить преимущества многоядерной архитектуры новых процессоров. В-третьих, при выборе приложений и нагрузок для тестирования мы руководствовались тем, что результат тестирования должен адекватно оценивать производительность универсального домашнего компьютера. Подчеркнем, что данный тестовый скрипт не предназначен для оценки производительности компьютера в играх (для этого у нас предусмотрен отдельный тестовый скрипт) и не позволяет оценивать возможности специализированных рабочих станций (например, графических).
Немаловажно отметить, что наш новый тестовый скрипт обкатывался на достаточно слабом по конфигурации компьютере и может с успехом применяться для тестирования как «навороченных» компьютеров и ноутбуков, так и их бюджетных вариантов.
Итак, после небольшого вступления давайте рассмотрим тестовый скрипт ComputerPress Benchmark Script v.6.0 более подробно.
Данный тестовый скрипт предназначен для автоматизации всего процесса тестирования и позволяет как выбрать используемые тесты, так и задать дополнительные параметры тестирования. ComputerPress Benchmark Script v.6.0 совместим с операционной системой Windows Vista (32-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии использования приложений, что обеспечивает повторяемость результатов.
Дело в том, что операционная система Windows Vista является самонастраивающейся и обладает такой замечательной функцией, как динамическая подстройка под различные сценарии использования приложений. Данная функция очень полезна для обычного пользователя, однако при тестировании производительности системы негативно влияет на стабильность его результатов, что следует учитывать. Самонастройка операционной системы Windows Vista происходит всякий раз при инсталляции и запуске нового приложения. Именно поэтому результаты тестирования, полученные после первого запуска теста, и результаты того же теста, полученные через день при последующих запусках на том же самом компьютере, могут существенно различаться.
Под динамической самонастройкой операционной системы понимаются такие функции, как оптимизация размещения файлов на жестком диске, оптимизация загрузки операционной системы (ReadyBoot), оптимизация загрузки приложений и данных (SuperFetch).
Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов. На этапе обучения системы производится сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot. В них содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы необходимо очистить содержимое этих папок с тем, чтобы с нуля начать сбор нужной информации для оптимизации. После этого осуществляется трехкратная перезагрузка операционной системы, причем после каждой перезагрузки выдерживается определенная пауза. Трехкратная перезагрузка ОС необходима для обеспечения возможности сбора необходимой для оптимизации операционной системы информации. Далее запускается один прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения нужен для того, чтобы опять-таки дать возможность операционной системе оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, необходимую для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста производится дефрагментация жесткого диска. Далее с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, производимые операционной системой. По завершении выполнения указанной команды будет произведена оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если при тестировании применяется не один, а несколько тестов, то перед каждым новым тестом вновь производится этап обучения системы.
Тестовый скрипт ComputerPress Benchmark Script v.6.0 (рис. 1) позволяет указать длительность пауз после каждой перезагрузки, количество перезагрузок, производимых при сборе данных, необходимом для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что дефрагментацию системы имеет смысл производить только в том случае, если применяется традиционный жесткий диск HDD. В случае использования твердотельного диска SSD процедура дефрагментации просто лишена смысла (SSD-диски нет нужды дефрагментировать).
Рис. 1. Главное окно тестового скрипта
ComputerPress Benchmark Script v.6.0
Кроме того, тестовый скрипт ComputerPress Benchmark Script v.6.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно использовать пять прогонов каждого теста.
В тестовом скрипте ComputerPress Benchmark Script v.6.0 для определения производительности применяются следующие приложения:
- DivX Pro v7.1 (DivX Converter, DivX Codec, DivX Player);
- Windows Media Encoder 9.0;
- MainConcept Reference v.1.6.1.;
- Apple QuikeTime Player 7.6;
- Lame 4.0 Beta;
- Total Audio Converter 3.0.1.48;
- ProShow Gold 4.2548;
- WinRAR 3.8;
- WinZip 11.2;
- ABBYY FineReader 9.0;
- Adobe Photoshop CS4;
- Imagenomic Portraiture v1.0.2 (плагин для Adobe Photoshop CS4);
- Imagenomic Noiseware 4.1.1.0 Professional (плагин для Adobe Photoshop CS4);
- Microsoft Excel 2007.
- Данные приложения используются для создания 13 тестов.
- DivX Converter 7.1
Приложение DivX Converter с кодеком DivX Codec используется для определения производительности при конвертировании видеофайла в формате WMV в видеофайл в формате DivX. Параметры исходного видеофайла следующие: размер — 150 Мбайт, формат (кодек) — WMV, разрешение — 1440x1080, видеобитрейт — 8000 Кбит/с, аудиобитрейт — 384 Кбит/с. Параметры результирующего видеофайла следующие: размер — 144 Мбайт, формат (кодек) — DivX, разрешение — 1440x1080 (используется предустановка НD1080p в приложении DivX Converter). Результатом данного теста является время конвертирования, и чем оно меньше, тем лучше.
Windows Media Encoder 9.0
Приложение Windows Media Encoder 9.0 применяется для определения производительности при конвертировании видеофайла в формате WMV в видеофайл того же формата, но с меньшим разрешением и видеобитрейтом. Параметры исходного видеофайла следующие: размер — 150 Мбайт, формат (кодек) — WMV, разрешение — 1440x1080, видеобитрейт — 8000 Кбит/с, аудиобитрейт — 384 Кбит/с. Параметры результирующего видеофайла следующие: размер — 24,7 Мбайт, формат (кодек) — WMV, разрешение — 320x240, видеобитрейт — 991 Кбит/с, аудиобитрейт — 128 Кбит/с. Результатом данного теста является время конвертирования.
Windows Media Encoder 9.0 и DivX Player 7.1
Приложение Windows Media Encoder 9.0 совместно с приложением DivX Player 7.1 используется для создания многозадачного теста. Смысл этого теста заключается в том, чтобы на фоне проигрывания видеофайла с применением приложения DivX Player 7.1 запускался процесс конвертирования этого же видеофайла с помощью приложения Windows Media Encoder 9.0. При конвертировании использовался тот же видеофайл и пресет, что и в предыдущем тесте с применением лишь одного приложения Windows Media Encoder 9.0. При тестировании приложение DivX Player настраивалось таким образом, чтобы проигрывать видеофайл в режиме циклического повтора. Результатом данного теста является время конвертирования с использованием приложения Windows Media Encoder 9.0.
MainConcept Reference v.1.6.1
Приложение MainConcept Reference v.1.6.1 применяется для определения производительности при конвертировании исходного HD-видеофайла в видеофайл с иным разрешением и видеобитрейтом.
Параметры исходного видеофайла следующие: размер — 176 Мбайт, контейнер — MOV, кодек — H.264, разрешение — 1920x1080p. Параметры результирующего видеофайла следующие: размер — 24,7 Мбайт, контейнер — MPG, кодек — H.264, разрешение — 704x576, видеобитрейт — 3000 Кбит/с, аудиокодек — AAC, аудиобитрейт — 160 Кбит/с (предустановка Н.264 Main). Результатом данного теста является время конвертирования.
MainConcept Reference v.1.6.1 и DivX Player
Приложение MainConcept Reference v.1.6.1 совместно с приложением DivX Player используется для создания многозадачного теста. Смысл этого теста заключается в том, чтобы на фоне проигрывания видеофайла с применением приложения DivX Player запускался процесс конвертирования этого же видеофайла с помощью приложения MainConcept Reference v.1.6.1. При конвертировании используется тот же видеофайл и пресет, что и в предыдущем тесте с применением лишь одного приложения MainConcept Reference v.1.6.1. При тестировании приложение DivX Player настраивается таким образом, чтобы проигрывать видеофайл в режиме циклического повтора. Результатом данного теста является время конвертирования с использованием приложения MainConcept Reference v.1.6.1.
Lame 4.0
Приложение Lame 4.0 Beta применяется для определения производительности при конвертировании аудиофайла из формата WAV в формат MP3. Исходный WAV-аудиофайл имеет размер 619 Мбайт. При конвертировании используется битрейт 192 Кбит/с (кодек запускается командой lame.exe -b 192 –h). Результатом данного теста является время конвертирования.
Total Audio Converter 3.0.1.48
Приложение Total Audio Converter 3.0.1.48 применяется для определения производительности при конвертировании аудиофайла из формата WAV в форматы MP3, AAC и OGG. Исходный WAV-аудиофайл имеет размер 619 Мбайт. При MP3-конвертировании используется битрейт 320 Кбит/с. Результатом данного теста является время конвертирования в форматы MP3, AAC и OGG.
ProShow Gold 4.2548
Приложение ProShow Gold 4.2548 применяется для создания HD-видеофильма с разрешением 1920x1080p (контейнер MPG) из 23 цифровых фотографий в формате TIF с наложением музыки. Каждая фотография имеет размер 24 Мбайт. Результатом данного теста является время создания фильма.
WinRAR 3.8
Приложение WinRAR 3.8 используется для определения производительности при архивировании и разархивировании большого количества цифровых фотографий в формате TIF. При сжатии данных с помощью программы WinRAR 3.8 используется максимальная степень компрессии и шифрование по алгоритму AES-128. Результатом данного теста является время архивирования и разархивирования.
WinZip 11.2
Приложение WinZip 11.2 применяется для определения производительности при архивировании и разархивировании большого количества цифровых фотографий в формате TIF. При сжатии данных с помощью программы WinZip 11.2 использовалась максимальная степень компрессии и шифрование по алгоритму AES-256. Результатом данного теста является время архивирования и разархивирования.
ABBYY FineReader 9.0
Приложение ABBYY FineReader 9.0 применяется для определения производительности при распознавании PDF-документа и экспортировании распознанного текста в документ Microsoft Word 2007. Для распознавания используется 74-страничный PDF-документ на английском языке, содержащий большое количество графики. Результатом данного теста является суммарное время распознавания текста и его экспортирование в документ Microsoft Word 2007.
Adobe Photoshop CS4
Приложение Adobe Photoshop CS4 совместно с установленными плагинами Imagenomic Portraiture v1.0.2 и Imagenomic Noiseware 4.1.1.0 Professional применяется для определения производительности системы при обработке цифровых фотографий.
Тест заключается в пакетной обработке 23 фотографий в RAW-формате. К каждой фотографии, которая открывается в 16-битном формате в RAW-конверторе Adobe Bridge, первоначально последовательно применяются фильтры Imagenomic Noiseware 4.1.1.0 Professional и Imagenomic Portraiture v1.0.2, затем изменяется глубина цвета с 16 на 8 бит на канал, после чего фотография сохраняется в TIF-формате. Результатом данного теста является время пакетной обработки всех фотографий.
Microsoft Excel 2007
Приложение Microsoft Excel 2007 используется для определения производительности системы при выполнении вычислений в электронных таблицах Excel. Применялись две задачи в приложении Excel. Первая из них (тест Excel 2007 BigNumberCrunch) заключается в пересчете электронной таблицы размером 6,2 Мбайт, включающей 28 тыс. записей с использованием таких математических операций, как сложение, вычитание, деление, округление и вычисление квадратного корня. Кроме того, применялись операции статистического анализа: нахождение максимального и минимального значений, среднего значения и т.п. Вторая задача (тест Excel 2007 MonteCarlo) представляет собой имитацию метода Монте-Карло для вероятностной оценки экономического риска. Имитационное моделирование по методу Монте-Карло позволяет построить математическую модель для проекта с неопределенными значениями параметров и, зная вероятностные распределения параметров проекта, а также связь между изменениями параметров, получить распределение его доходности. В данном тесте использовалось 300 тыс. итераций, а таблица Excel с исходными данными имела размер 70,1 Мбайт.
Важно отметить, что данный тест никоим образом не отражает возможности процессора при выполнении типичных офисных задач. Вообще, найти типичную офисную задачу, с которой бы современный процессор плохо справлялся, практически невозможно, и работа с электронными таблицами Excel не является исключением. Поэтому мы применили абсолютно нетипичную офисную задачу, которая позволила оценить вычислительные возможности процессора. Она представляла собой макрос по пересчету электронных таблиц, написанный на языке VBA.
Результатом данного теста является время выполнения указанных задач.
Интегральная оценка производительности в скрипте ComputerPress Benchmark Script v.6.0
Отметим, что результаты всех перечисленных тестов зависят от производительности процессора, памяти и жесткого диска. Однако на них практически никак не влияет производительность видеокарты.
Во всех перечисленных тестах результатом является время выполнения тестового задания, и чем оно меньше, тем лучше. Однако сами по себе результаты тестирования (время выполнения тестовых задач) еще не дают представления о производительности ПК. Они имеют смысл лишь при возможности их сопоставления с результатами некого референсного ПК. Поэтому при тестировании по описанной нами методике мы традиционно используем понятие интегральной оценки производительности и соответственно понятие референсного ПК.
Для расчета интегральной оценки производительности первоначально результаты всех тестов нормируются относительно результатов тестирования для референсного ПК:
R = Tref/t,
где Tref — время выполнения задачи референсным ПК, t — время выполнения задачи тестируемой системой. Полученный таким образом безразмерный результат R, по сути представляет собой нормированную скорость выполнения задачи тестируемой системой и показывает, во сколько раз время выполнения задачи тестируемой системой больше (или меньше) времени выполнения той же задачи референсной системой. К примеру, если для какого-то приложения нормированный результат (R) равен 0,6, то это означает, что данную задачу тестируемая система выполняет в 0,6 раза медленнее, чем референсная.
Далее нормированные результаты тестов разбивались на семь групп: конвертирование видео и создание фильма из фотографий (тесты DivX Converter, Windows Media Encoder 9.0, MainConcept Reference v.1.6.1, ProShow Gold 4.2548), конвертирование аудио (тесты Lame 4.0, Total Audio Converter 3.0.1.48), многозадачные тесты (тесты Windows Media Encoder 9.0 и DivX Player, MainConcept Reference v.1.6.1 и DivX Player), работа с архиваторами (тесты WinRAR 3.8, WinZip 11.2), распознавание текста (тест ABBYY FineReader 9.0), обработка фотографий (тест Adobe Photoshop CS4), работа с электронными таблицами (тест Microsoft Excel 2007). В каждой группе тестов рассчитывается промежуточный интегральный результат как среднегеометрическое от нормированных результатов. После этого рассчитывается среднегеометрическое от промежуточных интегральных результатов по всем группам тестов. Для удобства представления результатов полученное значение умножается на 1000. Полученное таким образом значение является интегральной оценкой производительности компьютера. Для референсного ПК интегральный результат производительности равен 1000 баллов, а для тестируемого ПК может быть как больше, так и меньше 1000 баллов.
Естественно, интегральный результат тестируемого ПК определяется не только его конфигурацией, но и конфигурацией референсного ПК. В качестве референсной конфигурации можно выбрать конфигурацию любого ПК. Ранее в роли референсного ПК выступал очень «навороченный» компьютер, который считался самым производительным на начало 2009 года.
Конфигурация референсного ПК была следующей:
- процессор — Intel Core i7 Extreme 965 (тактовая частота 3,2 ГГц);
- системная плата — ASUS RAMPAGE II EXTREME;
- чипсет системной платы — Intel X58 Express;
- память — DDR3-1066 (Qimonda IMSH1GU03A1F1C-10F PC3-8500);
- объем памяти — 3 Гбайт (три модуля по 1024 Мбайт);
- режим работы памяти — DDR3-1333, трехканальный режим;
- тайминги памяти — 7-7-7-20;
- видеокарта — две видеокарты GeForce GTX295 в режиме 4-Way SLI;
- видеодрайвер — ForceWare 181.20;
- жесткий диск — Intel SSD X25-M (Intel SSDSA2MH080G1GN).
Однако используемая нами для сравнения референсная конфигурация не лишена недостатков. Главный ее недостаток, на наш взгляд, заключается в том, что мы используем жесткий диск Intel SSD X25-M. На начало текущего года он действительно был одним из самых высокопроизводительных, однако, увы, наши надежды не оправдались и в продажу он так и не поступил. Более того, мы уверены в том, что и в будущем SSD-диски под торговой маркой Intel не появятся в широкой продаже. Соответственно невозможно даже приблизительно рассчитать стоимость референсной конфигурации, а ведь сопоставление различных конфигураций компьютеров интересно не только по производительности, но и по цене, а значит, и по стоимости за единицу интегральной производительности.
Именно поэтому одновременно с выпуском нового тестового скрипта мы решили изменить и конфигурацию референсного ПК, применяемого для расчета интегрального показателя производительности. Вместо экзотического SSD-диска Intel SSD X25-M в нашем новом стенде используется традиционный диск Western Digital WD2500JS. Кроме того, поскольку результаты данного тестового скрипта практически никак не зависят от производительности графической подсистемы ПК, нет смысла применять две видеокарты GeForce GTX295 в режиме 4-Way SLI. Это лишь заметно повышает стоимость референсной конфигурации, но никак не увеличивает интегральную производительность, поскольку наш тестовый скрипт, как уже отмечалось, не предназначен для тестирования игровых ПК. Итак, вместо двух видеокарт GeForce GTX295 в режиме 4-Way SLI в новом референсном стенде используется одна видеокарта GeForce GTX295. Таким образом, конфигурация референсного ПК, которая служит для расчета интегральной оценки производительности в тестовом скрипте ComputerPress Benchmark Script v.6.0, будет следующей:
- процессор — Intel Core i7 Extreme 965 (тактовая частота 3,2 ГГц);
- системная плата — ASUS RAMPAGE II EXTREME;
- чипсет системной платы — Intel X58 Express;
- Intel Chipset Device Software — 9.1.0.1007;
- память — DDR3-1066 (Qimonda IMSH1GU03A1F1C-10F PC3-8500);
- объем памяти — 3 Гбайт (три модуля по 1024 Мбайт);
- режим работы памяти — DDR3-1333, трехканальный режим;
- тайминги памяти — 7-7-7-20;
- видеокарта — GeForce GTX295;
- видеодрайвер — ForceWare 182.50;
- жесткий диск — Western Digital WD2500JS.
При получении результатов тестирования референсной конфигурации (референсных результатов) использовалась операционная система Microsoft Windows Vista Ultimate (32-bit) SP1. Для обеспечения высокой точности результатов все тесты прогонялись по пять раз. При этом максимальная погрешность результатов тестирования не превышала 1%.
Референсные результаты тестирования представлены в табл. 1.
Кроме времени выполнения тестовых задач, в табл. 1 приводится такой показатель, как стоимость единицы интегральной производительности для референсной конфигурации. Он рассчитывается как отношение стоимости (в рублях) референсной конфигурации к интегральному показателю производительности. Стоимость единицы интегральной производительности удобно использовать для оценки оптимальности конфигурации тестируемого компьютера или даже отдельного компонента (процессора, жесткого диска, памяти). В частности, на момент написания данной статьи расчетная стоимость референсной конфигурации составляла 70 тыс. руб. Соответственно стоимость единицы интегральной производительности для референсной конфигурации — 70 руб.
При расчете стоимости референсной конфигурации учитывалась только стоимость тех компонентов, от которых зависит интегральная оценка производительности, то есть в наши расчеты не включена стоимость блока питания, оптического привода и корпуса.
Тестирование на основе игр
Как правило, при тестировании домашних ПК, ноутбуков или процессоров использовать лишь 18 отдельных тестов, входящих в пакет ComputerPress Benchmark Script v.6.0, недостаточно для объективной оценки их производительности и функциональных возможностей. Дело в том, что, как уже отмечалось, данный скрипт не предназначен для оценки игровых возможностей компьютеров, тем не менее любой домашний компьютер может использоваться и для игр. Для оценки игровых возможностей ПК мы применяем тестовый скрипт ComputerPress Game Benchmark Script v.4.0 (рис. 2), который позволяет полностью автоматизировать весь процесс тестирования. Этот же скрипт используется нами и для тестирования видеокарт — он позволяет выбирать игры для тестирования, разрешение экрана, при котором запускаются игры, а также настройки игр на максимальное качество отображения или максимальную производительность.
Рис. 2. Главное окно тестового скрипта ComputerPress Game Benchmark Script v.4.0
Кроме того, скрипт ComputerPress Game Benchmark Script v.4.0 позволяет задавать количество прогонов для каждой игры. Точно так же, как скрипт ComputerPress Benchmark Script v.6.0, скрипт ComputerPress Game Benchmark Script v.4.0 реализует этап подготовки системы перед каждым новым тестом (производит необходимое количество перезагрузок, обучающий запуск теста, дефрагментацию и принудительную оптимизацию системы).
В скрипт ComputerPress Game Benchmark Script v.4.0 входят следующие игры и бенчмарки:
- Quake 4 (Patch 1.42);
- S.T.A.L.K.E.R.: Shadow of Chernobyl (Patch 1.005);
- S.T.A.L.K.E.R.: Clear Sky (Patch 1.007);
- Half-Life: Episode 2;
- Crysis v.1.2.1;
- Left 4 Dead;
- Call of Juares Demo Benchmark v. 1.1.1.0;
- 3DMark06 v. 1.1.0;
- 3DMark Vantage v. 1.0.1.
В тестах Quake 4, S.T.A.L.K.E.R.: Shadow of Chernobyl, S.T.A.L.K.E.R.: Clear Sky, Half-Life 2: Episode 2, Crysis, Left 4 Dead и Call of Juares Demo Benchmark результатом является количество отображаемых кадров в секунду (frames per second, fps), а в бенчмарках 3DMark06 и 3DMark Vantage результат представлялся в безразмерных единицах (3DMark Score).
Каждый игровой тест (за исключением 3DMark Vantage v. 1.0.1) может запускаться при разрешении экрана 1280x800, 1440x900, 1680x1050 и 1920x1200 точек. Бенчмарк 3DMark Vantage v. 1.0.1 может запускаться в каждом из четырех пресетов (Entry, Performance, High и Extreme).
Игра Crysis тестируется с двумя демо-сценами, одна из которых служит для тестирования графического процессора, а другая — для тестирования центрального процессора в совокупности с графическим, поскольку при проигрывании затрагивает физическую составляющую движка игры (обе демо-сцены входят в комплект игры).
Все игры могут запускаться в двух режимах настройки: максимальная производительность и максимальное качество. Режим настройки на максимальную производительность достигается за счет отключения таких эффектов, как анизотропная фильтрация текстур и экранное сглаживание, а также установки низкой детализации изображения и т.д. То есть данный режим направлен на то, чтобы получить максимально возможный результат (максимальное значение FPS). В данном режиме настройки результат в большей степени зависит от производительности процессора и в меньшей — от производительности видеокарты.
Режим настройки на максимальное качество достигается за счет использования высокой детализации, различных эффектов, анизотропной фильтрации текстур и экранного сглаживания. В данном режиме настройки результат в большей степени зависит от производительности видеокарты и в меньшей степени от производительности процессора.
По результатам всех прогонов для каждого теста скрипт ComputerPress Game Benchmark Script v.4.0 рассчитывает среднеарифметический результат и среднеквадратичное отклонение.
Интегральная оценка производительности в скрипте ComputerPress Game Benchmark Script v.4.0
В скрипте ComputerPress Game Benchmark Script v.4.0 также рассчитывается интегральный результат производительности, однако подход в данном случае несколько иной, нежели в скрипте ComputerPress Benchmark Script v.6.0. Первоначально для каждой игры в каждом режиме настройки рассчитывается средневзвешенный по всем разрешениям результат по формуле [1].
В данной формуле результаты для различных разрешений имеют разные весовые коэффициенты, причем максимальный весовой коэффициент имеет результат для разрешения 1440x900.
После этого рассчитывается среднегеометрическое между рассчитанными по описанной выше формуле результатами для режима максимального качества и максимальной производительности. Найденный таким образом результат представляет собой интегральную оценку производительности в отдельной игре.
Для получения интегральной оценки производительности в тесте 3DMark Vantage рассчитывается среднегеометрическое между результатами для всех пресетов по формуле [2].
Далее интегральные оценки производительности в каждой отдельной игре нормируются на аналогичные результаты для референсного ПК и рассчитывается среднегеометрическое по всем нормированным интегральным результатам. Для удобства представления результатов полученное значение умножается на 1000. Это и является интегральной оценкой производительности компьютера в играх. Для референсного ПК интегральный результат производительности в играх равен 1000 баллов.
Естественно, когда речь идет о тестировании компьютеров, удобно, чтобы для всех скриптов применялась одна и та же референсная конфигурация ПК. Поэтому в скрипте ComputerPress Game Benchmark Script v.4.0 при расчете интегрального показателя производительности мы используем ту же самую референсную конфигурацию, что и в скрипте ComputerPress Benchmark Script v.6.0. При тестировании референсной конфигурации (референсных результатов) применялась операционная система Microsoft Windows Vista Ultimate (32-bit) SP1. Для обеспечения высокой точности результатов все тесты прогонялись по пять раз. При этом максимальная погрешность результатов тестирования не превышала 1%.
Референсные результаты тестирования представлены в табл. 2.
Итак, мы подробно рассмотрели нашу новую методику тестирования процессоров, видеокарт, компьютеров и ноутбуков. В этом же номере журнала можно ознакомиться со статьями, посвященными тестированию процессоров и ноутбуков, проведенному по новой методике.
 |
|
