Новый игровой бенчмарк ComputerPress Game Benchmark Script v.6.0
Основные особенности тестового скрипта
Настройка игр и бенчмарков на максимальную производительность и максимальное качество
Aliens vs predator Benchmark v1.03
Call of Juares DX10 Benchmark v.1.1.1.0
S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0
Unigine Sanctuary Benchmark 2.3
Представление результатов в скрипте ComputerPress Game Benchmark Script v.6.0
Со времени опубликования нашей последней методики тестирования процессоров, видеокарт и игровых ПК с использованием тестового скрипта ComputerPress Game Benchmark Script v.5.0 прошло больше года. За это время обновились многие игры, более того — появились новые игры с поддержкой DirectX 11. А значит, пришло время задуматься и о новой методике тестирования видеокарт и игровых ПК с учетом произошедших в игровой индустрии изменений.
В этой статье мы расскажем об обновленной методике тестирования видеокарт, процессоров и игровых ПК на основе нового тестового скрипта ComputerPress Game Benchmark Script v.6.0.
Основные особенности тестового скрипта
Новая версия тестового скрипта ComputerPress Game Benchmark Script v.6.0 имеет некоторые отличия от предыдущей. Вопервых, добавлены новые тесты и игры; во-вторых, мы отказались от использования некоторых игр, входивших в предыдущую версию скрипта, посчитав их уже морально устаревшими и неактуальными; втретьих, некоторые тесты на основе игр были обновлены в том смысле, что применялись новые версии игр. В итоге в скрипт ComputerPress Game Benchmark Script v.6.0 включены следующие игры и бенчмарки:
- Aliens vs predator Benchmark v1.03;
- Call of Juares DX10 Benchmark v. 1.1.1.0;
- S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0;
- Crysis Warhead v.1.11.690;
- Left 4 Dead 2;
- FarCry 2;
- Unigine Heaven Benchmark 2.1;
- Unigine Sanctuary Benchmark 2.3;
- Unigine Unigine Tropics Benchmark 1.3;
- DiRT-2;
- Metro 2033.
Рассмотрим подробно наш новый тестовый скрипт ComputerPress Game Benchmark Script v.6.0.
Идеология, лежащая в его основе, осталась неизменной. Как и прежде, тестовый скрипт предназначен для автоматизации всего процесса тестирования и позволяет выбрать тесты для применения, а также задать дополнительные параметры тестирования. Скрипт совместим с операционной системой Windows 7 (32-bit) и позволяет учесть ее особенности по динамической подстройке под различные сценарии применения приложений, что обеспечивает хорошую повторяемость результатов. Для учета функции самонастройки операционной системы наша методика тестирования предполагает два этапа: обучение и получение результатов.
На этапе обучения системы производятся сбор и анализ необходимых для самонастройки операционной системы данных, а на этапе получения результатов тестирования — собственно тестирование системы.
Этап обучения системы начинается с очистки папок %SystemRoot%\Prefetch и %SystemRoot%\Prefetch\ReadyBoot. В них содержатся данные, используемые для оптимизации размещения файлов на жестком диске и упреждающей загрузки данных в оперативную память. На этапе обучения системы содержимое этих папок необходимо очистить, чтобы с нуля начать сбор нужной информации для оптимизации. После этого осуществляется трехкратная перезагрузка операционной системы, причем после каждой перезагрузки должна быть выдержана определенная пауза. Трехкратная перезагрузка ОС необходима для обеспечения возможности сбора информации, требуемой для оптимизации операционной системы. Далее запускается один прогон теста, после чего выдерживается пауза. Запуск теста на этапе обучения необходим для того, чтобы опять-таки дать операционной системе возможность оптимизировать на жестком диске размещение файлов данных и приложений, а также накопить информацию, необходимую для упреждающего чтения данных. Отметим, что результаты теста, полученные на этапе обучения, не могут считаться показательными и не учитываются при обработке результатов тестирования.
После обучающего запуска теста производится дефрагментация жесткого диска. Затем с помощью команды rundll32.exe advapi32.dll, ProcessIdleTasks принудительно завершаются все фоновые процессы оптимизации, осуществляемые операционной системой. По завершении выполнения указанной команды будет произведена оптимизация размещения файлов на жестком диске на основе накопленной информации.
Важно отметить, что если при тестировании применяется не один, а несколько тестов, то перед каждым новым тестом вновь выполняется обучение системы.
Тестовый скрипт ComputerPress Game Benchmark Script v.6.0 позволяет указать длительность пауз после каждой перезагрузки, количество самих перезагрузок, производимых при сборе данных и необходимых для оптимизации системы, а также отключить дефрагментацию и принудительную оптимизацию системы на этапе обучения. Дело в том, что дефрагментацию системы имеет смысл проводить только в том случае, если применяется традиционный жесткий диск HDD. При использовании твердотельного диска SSD процедура дефрагментации просто лишена смысла (SSD-диски нет нужды дефрагментировать).
Каждый игровой тест, входящий в скрипт ComputerPress Game Benchmark Script v.6.0, может запускаться при различном разрешении экрана. С учетом того, что в настоящее время подавляющее большинство ЖК-мониторов имеет разрешение 1920x1080 (Full HD), а для большинства ноутбуков используется разрешение 1366x768, мы решили ограничиться именно этими двумя разрешениями как наиболее актуальными.
Все игры могут запускаться в двух режимах настройки: максимальная производительность и максимальное качество.
Режим настройки на максимальную производительность достигается за счет отключения таких эффектов, как анизотропная фильтрация текстур и экранное сглаживание, а также установки низкой детализации изображения и т.д. То есть данный режим направлен на то, чтобы получить максимально возможный результат (максимальное значение FPS). В данном режиме настройки результат в большей степени зависит от производительности процессора и в меньшей — от производительности видеокарты.
Режим настройки на максимальное качество достигается за счет применения высокой детализации, различных эффектов, анизотропной фильтрации текстур и экранного сглаживания. В данном режиме настройки результат в большей мере зависит от производительности видеокарты и в меньшей — от производительности процессора.
Отметим, что тестовый скрипт ComputerPress Game Benchmark Script v.6.0 ориентирован на видеокарты с поддержкой API DirectX 11, и если в игре реализована возможность использования DirectX 11, то в режиме настройки на максимальное качество применяется именно DirectX 11. В этом плане скрипт ComputerPress Game Benchmark Script v.6.0 не совместим с видеокартами, не поддерживающими API DirectX 11.
Скрипт ComputerPress Game Benchmark Script v.6.0 позволяет задать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка компьютера и выдерживается пауза. По результатам всех прогонов теста рассчитывается среднеарифметический результат и среднеквадратичное отклонение. Как показывает практика, для получения погрешности результатов тестирования порядка 1% вполне достаточно выполнять три прогона каждого теста.
Настройка игр и бенчмарков на максимальную производительность и максимальное качество
Aliens vs predator Benchmark v1.03
Aliens vs predator Benchmark v1.03 — это специализированный игровой бенчмарк, в котором используется Direct X11. Результаты данного теста измеряются в fps.
Данный тест может запускаться при любом разрешении, которое поддерживают видеокарта и монитор. Соответственно в нашем скрипте он может запускаться при разрешении 1366x768 или 1920x1080.
Настройки бенчмарка Aliens vs predator Benchmark v1.03 на максимальное и минимальное качество представлены в табл. 1.
Call of Juares DX10 Benchmark v.1.1.1.0
Call of Juares DX10 Benchmark v.1.1.1.0 — это специализированный игровой бенчмарк, в котором используется Direct X10. Результаты данного теста измеряются в fps.
Данный тест не поддерживает разрешение 1366x768, поэтому при выборе в настройках скрипта ComputerPress Game Benchmark Script v.6.0 разрешения 1366x768 в тесте Call of Juares DX10 Benchmark v.1.1.1.0 используется ближайшее к нему разрешение 1280x720.
Настройки бенчмарка Call of Juares DX10 Benchmark v.1.1.1.0 на максимальное и минимальное качество представлены в табл. 2.
S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0
В предыдущей версии нашего тестового скрипта мы использовали игру S.T.A.L.K.E.R.: Call of Pripyat с записанной нами демо-сценой. В новой версии тестового скрипта мы отказались от установки всей игры и воспользовались готовым бенчмарком S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0.
Бенчмарк S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0 состоит из четырех подтестов. В каждом из них применяется одна и та же демо-сцена, но в различных условиях освещения: день, ночь, дождь и рассвет. Соответственно результатом бенчмарка S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0 являются результаты всех четырех подтестов (измеряются в fps). Чтобы упростить ситуацию, в нашем скрипте мы используем интегральный результат бенчмарка S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0, который рассчитывается как среднегеометрическое от результатов всех четырех подтестов.
Бенчмарк S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0, как и сама игра, предусматривает возможность применения как DirectX 11, так и DirectX 10 и DirectX 9. В настройках на минимальное качество отображения используется статичное освещение, что соответствует DirectX 9, а в настройках на максимальное качество отображения — DirectX 11.
Все остальные настройки теста S.T.A.L.K.E.R.: Call of Pripyat Benchmark 1.0, соответствующие максимальному и минимальному качеству, представлены в табл. 3.
Crysis Warhead v. 1.11.690
В игре Crysis Warhead v. 1.11.690 для тестирования мы использовали собственную демо-сцену. В режиме настройки на максимальное качество применяется DirectX 10, а в режиме настройки на минимальное качество — DirectX 9. Остальные настройки на максимальное и минимальное качество представлены в табл. 4. Стоит обратить внимание, что в обоих режимах настройки не используется сглаживание. Это связано с тем, что установка качества сглаживания производится по-разному для видеокарт NVIDIA и AMD (применяются различные команды в конфигурационных файлах), а потому, дабы иметь возможность использовать скрипт для тестирования любых видеокарт, мы отказались от применения сглаживания вообще. В этом смысле наша настройка на максимальное качество не позволяет получить максимально возможного качества.
Left 4 Dead 2
В игре Left 4 Dead 2 для тестирования применяется демо-сцена, записанная сотрудниками нашей тестовой лаборатории, а результатом теста является среднее количество fps при проигрывании демо-сцены.
Настройка игры Left 4 Dead 2 на максимальное и минимальное качество отображения представлена в табл. 5.
Отметим, что при использовании видеокарт NVIDIA для параметра ANTI-ALIASING MODE можно установить значение 16xQ CSAA в режиме настройки на максимальное качество. Однако, чтобы обеспечить совместимость с видеокартами AMD, мы применяем для этого параметра значение 8x MSAA.
FarCry 2
Игра FarCry 2 имеет собственный встроенный бенчмарк, который мы и применяли в нашем тестовом скрипте. Результатом теста является среднее количество воспроизводимых кадров в секунду (fps).
Настройка теста на основе игры FarCry 2 на максимальное и минимальное качество отображения представлена в табл. 6. Обратим внимание, что в настройках на максимальное качество используется DirectX 10, а на минимальное — DirectX 9.
Unigine Heaven Benchmark 2.1
Unigine Heaven Benchmark 2.0 — это специализированный игровой бенчмарк для тестирования видеокарт. Особенность его заключается в поддержке различных типов API: OpenGL, DirectX 9, DirectX 10 и DirectX 11.
В нашем тестовом скрипте в настройках на минимальное качество отображения используется DirectX 9, а в настройках на максимальное качество отображения — DirectX 11. Результатом бенчмарка является среднее количество воспроизводимых кадров в секунду (fps).
Подробные настройки бенчмарка в режимах максимального и минимального качества представлены в табл. 7.
Unigine Tropics Benchmark 1.3
Unigine Tropics Benchmark 1.3 — это еще один игровой бенчмарк от компании Unigine. Он основан на том же движке, что и тест Unigine Heaven Benchmark 2.1, но в нем используются иные сцены. Настройки данного теста подобны настройкам теста Unigine Heaven Benchmark 2.1. Так, в настройках на минимальное качество отображения применяется DirectX 9, а в настройках на максимальное качество отображения — DirectX 11. Подробные настройки бенчмарка в режимах максимального и минимального качества представлены в табл. 8.
Unigine Sanctuary Benchmark 2.3
Unigine Sanctuary Benchmark 2.3 — это тоже игровой бенчмарк от компании Unigine, который основан на том же движке, что и тесты Unigine Heaven Benchmark 2.1 и Unigine Tropics Benchmark 1.3. Настройки данного теста подобны настройкам тестов Unigine Heaven Benchmark 2.1 и Unigine Tropics Benchmark 1.3, однако в данном случае больше настроек, связанных с качеством изображения. В настройках на минимальное качество отображения используется DirectX 9, а в настройках на максимальное качество отображения — DirectX 11. Подробные настройки бенчмарка в режимах максимального и минимального качества представлены в табл. 9.
Dirt-2
Тест на основе новой игры Dirt-2 (гонки) предусматривает возможность использования как DirectX 11, так и DirectX 10 и DirectX 9. Поэтому в нашем скрипте ComputerPress Game Benchmark Script v.6.0 в настройках на минимальное качество отображения применяется DirectX 9, а в настройках на максимальное качество отображения — DirectX 11. Подробные настройки игры, соответствующие максимальному и минимальному качеству, представлены в табл. 10.
В игре Dirt-2 используется встроенный бенчмарк, а результатом теста является среднее количество fps при проигрывании демо-сцены.
Metro 2033
Игра Metro 2033 имеет свой встроенный бенчмарк, который мы использовали для тестирования. Поскольку данная игра поддерживает API DirectX 11, в режиме настройки на максимальное качество мы применяли именно DirectX 11, а в режиме настройки на минимальное качество — DirectX 9. Остальные настройки встроенного бенчмарка, соответствующие максимальному и минимальному качеству, представлены в табл. 11.
Представление результатов в скрипте ComputerPress Game Benchmark Script v.6.0
В предыдущих версиях нашего игрового тестового скрипта для оценки производительности игрового ПК или видеокарты мы употребляли понятие интегральной оценки производительности, которая аккумулировала в себе результаты, полученные в каждом тесте при каждом разрешении и в режимах настройки на максимальное и минимальное качество.
В принципе, удобство применения такой интегральной оценки производительности связано с тем, что с ее помощью можно легко сравнивать друг с другом производительность видеокарт по совокупности различных игр. Для получения такой интегральной оценки производительности мы использовали понятие референсной конфигурации и соответственно референсных результатов. При расчете интегральной оценки производительности полученные результаты нормировались на аналогичные результаты для референсного ПК.
Однако в тестовом скрипте ComputerPress Game Benchmark Script v.6.0 мы решили отойти от нашего традиционного способа расчета интегральной оценки производительности и не пользоваться понятием референсной конфигурации, а ограничиться расчетом интегральной оценки производительности по каждой отдельной игре (бенчмарку), которая не привязывается к референсной конфигурации.
Интегральная оценка производительности по каждой игре (бенчмарку) рассчитывается следующим образом. Первоначально вычисляется усредненный результат для режимов настройки на максимальное и минимальное качество (средне-геометрическое) при заданном разрешении. Найденный таким образом результат представляет собой интегральную оценку производительности в отдельной игре при заданном разрешении. Далее рассчитывается среднегеометрическое от интегральных оценок производительности в каждой игре. Полученный таким образом результат представляет собой интегральную оценку производительности видеокарты.
В скрипте ComputerPress Game Benchmark Script v.6.0 при тестировании видеокарт или игровых ПК используется операционная система Microsoft Windows 7 Ultimate (32-bit). Для обеспечения высокой точности результатов все тесты прогоняются трижды, при этом максимальная погрешность результатов тестирования не превышает 1%.
В заключение в качестве наглядной демонстрации приведем результаты тестирования видеокарты на базе графического процессора ATI Radeon HD 6870.
При тестировании применялся стенд следующей конфигурации:
- процессор — Intel Core i5-2500K;
- системная плата — Gigabyte H67MA-D2H;
- чипсет системной платы — Intel H67 Express;
- память — 2 Гбайт DDR3-1333 (два модуля по 1024 Мбайт);
- жесткий диск — Western Digital WD2500JS.
При тестировании использовался видеодрайвер ForceWare 196.21. Результаты тестирования представлены в табл. 12, а также на диаграмме.
Результаты тестирования видеокарты ATI Radeon HD 6870
при разрешении экрана 1920Ѕ1080
Итак, мы подробно рассмотрели новую методику тестирования видеокарт и процессоров с помощью нового тестового скрипта ComputerPress Game Benchmark Script v.6.0. В этом же номере журнала можно ознакомиться со статьями, посвященными тестированию процессоров и игрового ноутбука, проведенному по новой методике.
 |
|
