Универсальные серверы для рабочих групп отечественных производителей

Эксимер Гладиатор 12S3

Эксимер Гладиатор 12S3 компании «Инел» позиционируется изготовителем как сервер рабочей группы или Интернет-сервер.

Сервер изготовлен в корпусе Intel SC5000 Pedistal, конструкция которого позволяет устанавливать сдвоенный источник питания с возможностью горячей замены и безынерционного переключения, причем мощность каждого блока питания составляет 350 Вт. Повышению безотказности и надежности в работе способствует также возможность установки в сервер 12 SCSI-дисков, 10 из которых (с возможностью горячей замены) устанавливаются в две корзины.

Сервер собран на базе материнской платы Intel STL2 с чипсетом ServerWorks ServerSet III LE и двумя процессорами Intel Pentium III 1000EB.

В сервере установлен двухканальный RAID-контроллер AMI MegaRAID Elite 1600 (Series 493) с кэшем 128 Мбайт, а RAID-массив уровня 5 образован четырьмя SCSI-дисками IBM Ultrastar DDYS-T36950 емкостью 36,7 Гбайт каждый. Отметим, что поскольку в сервере была установлена только одна корзина для жестких дисков, то RAID-массив был построен на одном канале RAID-контроллера.

Для увеличения пропускной способности сетевой подсистемы вместо интегрированного на материнской плате сетевого адаптера Intel PRO/100+ Fast Ethernet использовался IntelPro/1000T Server Adapter.

Сервер имеет автономный контроллер управления и мониторинга, позволяющий администрировать и осуществлять аппаратную перезагрузку сервера даже при полном отказе основной операционной системы.

Тестирование сервера было проведено в двух различных конфигурациях: 512 Мбайт RAM-памяти с одним и двумя процессорами.

В тесте NetBench заметное повышение производительности сервера при работе в двухпроцессорной конфигурации наблюдается только при количестве клиентов от 6 до 18 (разница от 15 до 24%). С увеличением количества клиентов разница уменьшается и составляет в среднем 6%. Видимо, узким местом сервера при его использовании в качестве файлового является дисковая подсистема, не позволяющая реализовать возможности процессорной и сетевой подсистем сервера.

Максимальное значение сетевого трафика составляет 154 Мбит/с при 10 клиентах в двухпроцессорной конфигурации и 127 Мбит/с при 12 клиентах в однопроцессорной конфигурации. При дальнейшем увеличении числа клиентов в обоих случаях наблюдается значительное уменьшение сетевого трафика, причем при использовании двух процессоров он уменьшается до 75 Мбит/с, а при использовании одного процессора — до 67 Мбит/с.

Результаты тестирования пакетом WebBench сильно зависят от вида теста.

Тест nt_simple_cgi показал значительное преимущество двухпроцессорной конфигурации при малом количестве клиентов (прирост производительности 45% при 8 клиентах). С увеличением нагрузки на сервер разница уменьшается и составляет всего 9% при 46 клиентах. В двухпроцессорной конфигурации максимальное количество обрабатываемых сервером запросов составляет 926 при 8 клиентах и затем плавно снижается до 705 при 46 клиентах.

В однопроцессорной конфигурации количество обрабатываемых сервером запросов быстро возрастает до 650 и далее остается практически постоянным. Такой характер кривой свидетельствует о насыщении процессорной подсистемы сервера, так как в этом режиме утилизация процессора составляет 100%.

В тесте nt_simple_isapi при двухпроцессорной конфигурации максимальная производительность сервера составляет 2085 запросов в секунду при 12 клиентах, затем медленно снижается до 1968 при 20 клиентах и далее остается практически постоянной (около 1940).

В однопроцессорной конфигурации максимальная производительность в 1466 запросов в секунду достигается при 14 клиентах и далее медленно снижается до 1340 при 46 клиентах.

Заметная разница в производительности сервера в одно- и двухпроцессорной конфигурации появляется при 8 клиентах, затем быстро увеличивается и для количества клиентов от 12 до 46 составляет около 40%.

В тесте nt_simple_nsapi при небольшом количестве клиентов (до 12) производительность сервера в одно- и двухпроцессорной конфигурации плавно возрастает и практически одинакова. Заметная разница в производительности появляется при 16 клиентах, потом плавно увеличивается и для количества клиентов от 26 до 46 составляет около 56%.

Максимальная производительность в 3924 запроса в секунду для однопроцессорной и 5978 запросов в секунду достигается при 18 и 32 клиентах соответственно, с ростом количества клиентов производительность несколько снижается (до 3740 и 5913 запросов в секунду при 46 клиентах).

В тесте static при небольшом количестве клиентов (до 8) производительность сервера в одно- и двухпроцессорной конфигурации плавно возрастает и практически совпадает. Заметная разница в производительности появляется при 10 клиентах, плавно увеличивается и для количества клиентов от 18 до 46 составляет около 55%.

Максимальная производительность в 3757 запросов в секунду для однопроцессорной и 5761 запрос в секунду для двухпроцессорной конфигурации достигается при 12 и 28 клиентах соответственно. С ростом количества клиентов производительность в двухпроцессорной конфигурации практически не изменяется, а в однопроцессорной конфигурации немного снижается (до 3698 запросов в секунду при 46 клиентах).

Учитывая результаты проведенных тестов, данный сервер можно рекомендовать как универсальный сервер небольших рабочих групп, и, возможно, даже в однопроцессорной конфигурации.

Редакция выражает благодарность компании «Инел» (http://www.excimer.net/, e-mail: Inel@inel.ru, тел. 941-6100, 576-6436, факс 576-6436) за предоставленный для тестирования сервер Эксимер Гладиатор 12S3.

В начало В начало

KraftWay GEG Express 200

Сервер Express 200 производства ООО «Крафтвей Компьютерс» позиционирован как универсальный сервер уровня рабочей группы.

Сервер изготовлен в корпусе Intel SR2200, высотой 2U, и предназначен для установки в 19 дюймовую стойку. Разъемы COM и USB расположены как на задней, так и на передней панели, что повышает удобство контроля и обслуживания.

Сервер собран на базе новой материнской платы Intel SCB2 с двумя процессорами Intel Pentium III-S 1,1 ГГц.

Плата Intel SCB2 построена на новом наборе микросхем ServerWorks ServerSet III HE-SL. Поддерживается до 6 Гбайт оперативной памяти, подключенной по схеме two way interleaved, что повышает пропускную способность канала процессор-память до 2,1 Гбайт/с. Всего на плате расположено шесть DIMM-слотов. Кроме того, имеется два Triple Peer PCI-слота, каждый из которых принадлежит независимой PCI-шине. В каждый из Triple Peer PCI-слотов устанавливается riser-карта, на которой расположены три PCI-слота, два — 64-битные с частотой 66 МГц и один — 32-битный с частотой 33 МГц.

Кроме того, на плате интегрирован графический контроллер ATI Rage XL с 8 Мбайт видеопамяти, два сетевых адаптера Intel Pro/100+ (Intel 82550PM) и двухканальный SCSI-контроллер Adaptec 7899.

На плате также расположен специальный чип, реализующий на аппаратном уровне функциональные возможности по управлению сервером. Возможности материнской платы, поддерживаемые программным обеспечением Intel Server Control, значительно повышают надежность работы сервера и расширяют возможности управления сервером.

Повышение отказоустойчивости сервера достигается за счет использования двух источников питания по 350 Вт каждый с возможностью горячей замены и безынерционным переключением. К тому же в корпусе возможна установка до шести жестких SCSI-дисков с возможностью горячей замены.

Для увеличения пропускной способности сетевой подсистемы вместо интегрированных на материнской плате двух сетевых адаптеров Fast Ethernet использовался гигабитный адаптер Intel Pro/1000T Desktop Adapter.

В сервере установлен новый одноканальный RAID-контроллер Intel SRCMR, специально разработанный для серверных плат SCB2 и SDS2. Контроллер построен на основе процессора Intel 80302 c тактовой частотой 60 МГц. Отличительной особенностью такого контроллера является использование двухканального SCSI-контроллера Adaptec 7899, интегрированного на материнской плате.

RAID-массив уровня 5 был образован четырьмя SCSI-дисками Quantum Atlas 10KIII емкостью 36,7 Гбайт каждый.

Тестирование сервера было проведено в трех различных конфигурациях: 1024 Мбайт RAM-памяти с одним и двумя процессорами и 512 Мбайт RAM-памяти с двумя процессорами. Отметим, что в процессе тестирования гигабитный сетевой адаптер и RAID-контроллер устанавливались в 64-битные 66-мегагерцевые CPI-слоты, расположенные на одной raiser-карте. Попытка установить гигабитный адаптер и RAID-контроллер в различные raiser-карты приводила к незначительному ухудшению результатов тестирования.

Тестирование пакетом NetBench показало преимущество двухпроцессорной конфигурации уже начиная с 4 клиентов. При двухпроцессорной конфигурации сетевой трафик достигает максимального значения 192 Мбит/с при 14 клиентах, после чего плавно снижается до 149 Мбит/с; при однопроцессорной конфигурации максимум в 149 Мбит/с достигается при 10 клиентах и снижается до 74 Мбит/с.

Производительность сервера в этом тесте в большей степени зависит от количества процессоров, чем от объема оперативной памяти. Так, уменьшение объема RAM с 1024 Мбайт до 512 Мбайт в двухпроцессорной конфигурации практически не повлияло на результаты теста. При этом интенсивность сетевого трафика в режиме насыщения ограничивается 100% утилизацией процессорной подсистемы и, по всей видимости, возможностями дисковой подсистемы сервера.

Результаты тестирования пакетом WebBench сильно зависят от вида теста.

В тесте nt_simple_cgi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 738 запросов в секунду достигнута уже при 6 клиентах, затем производительность медленно снижается до 480 запросов в секунду при 18 клиентах и далее остается практически постоянной. В режиме насыщения утилизация процессорной подсистемы сервера достигает 100%.

Выполнение теста в максимальной конфигурации (1024 Мбайт RAM, два процессора) продемонстрировало очень сильное влияние объема RAM на производительность сервера в данном тесте. Заметное увеличение производительности появляется уже при 4 клиентах — 14%, максимальный прирост производительности 107% достигается при 26 клиентах и далее немного снижается до 84% при 46 клиентах. Максимальная производительность 1103 запроса в секунду достигается при 8 клиентах, затем производительность медленно снижается до 875 запросов в секунду при 46 клиентах.

При проведении теста в конфигурации «1024 Мбайт RAM, один процессор» производительность сервера сначала быстро растет, длительное время остается примерно постоянной (860-872 запроса в секунду при 6-30 клиентах) и медленно уменьшается до 823 запросов в секунду при 46 клиентах.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 2809 запросов в секунду достигается при 16 клиентах, далее производительность медленно снижается до 2548 запросов в секунду при 46 клиентах. Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «1024 Мбайт RAM, один процессор» производительность сервера снизилась на 25-35% при 10-46 клиентах (максимальная производительность — 2096 запросов в секунду при 16 клиентах).

В тесте nt_simple_nisapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 7268 запросов в секунду достигается при 36 клиентах, затем производительность немного снижается до 7192 запроса в секунду при 46 клиентах. Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «1024 Мбайт RAM, один процессор» производительность сервера снизилась на 31-48% при 26-46 клиентах (максимальная производительность равна 5237 запросов в секунду при 22 клиентах).

В тесте static в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 6729 запросов в секунду достигается при 20 клиентах, потом производительность медленно снижается до 6589 запроса в секунду при 46 клиентах. Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «1024 Мбайт RAM, один процессор» производительность сервера снизилась на 41-47% при 18-46 клиентах (максимальная производительность — 4728 запросов в секунду при 14 клиентах).

Редакция выражает благодарность компании ООО «Крафтвей Компьютерс» (http://www.kraftway.ru/, e-mail: gumip@kraftway.ru, тел.: 956-4980, 956-4981) за предоставленный для тестирования сервер KraftWay GEG Express 200.

В начало В начало

TS SUPER@SERVER HE34

TS SUPER@SERVER HE34 производства НПО «Техника-Сервис» позиционируется как универсальный сервер уровня рабочей группы.

Сервер собран в корпусе TS 001 собственной разработки, предназначенном для установки в стойку 19”.

Безотказность в работе сервера достигается за счет использования дублированного блока питания (2х320 Вт). Для обеспечения нормального теплового режима в корпусе установлены четыре основных вентилятора (все с возможностью горячей замены) и два дополнительных — для охлаждения плат расширения. Кроме того, корпус предусматривает одновременную установку до семи жестких дисков с возможностью горячей замены.

Для предотвращения несанкционированного доступа к отсекам сервера на дверце предусмотрен замок.

Преимуществом данного сервера является использование в нем системы температурного контроля TS Thermal@Control, обеспечивающей надежную работу компонентов системы в заданном температурном диапазоне, что обусловливает безотказное функционирование системы и позволяет использовать ее даже в помещениях без кондиционеров. На передней панели контрольного блока TS Thermal@Control, установленного в отсек 5,25``, расположены органы управления и жидкокристаллический экран индикации состояния. К контрольному блоку могут подключаться до восьми пар «термодатчик-вентилятор», обеспечивающих рабочую температуру устройств. Каждому устройству устанавливается пороговое значение температуры, при достижении которого включается соответствующий вентилятор, обеспечивающий эффективное охлаждение устройства. Вентилятор выключается, когда температура устройства оказывается ниже установленного порога. Если же температура продолжает расти, то после превышения порогового значения на 3 °С система TS Thermal@Control подает предупреждающий звуковой сигнал. Звуковой сигнал подается также при выходе из строя любого из вентиляторов. Использование системы термоконтроля TS Thermal@Control оптимизирует работу вентиляторов, вследствие чего увеличивается общий срок их службы, а также снижается уровень загрязнения внутренних компонентов корпуса пылью (благодаря уменьшению общего объема перекачиваемого воздуха).

TS SUPER@SERVER HE34 собран на базе материнской платы Supermicro P3TDE6 с двумя процессорами Intel Pentium III S 1,13 ГГц.

Плата Supermicro P3TDE6 построена на современном чипсете ServerWorks ServerSet III HE SL и в полной мере реализует все его функциональные возможности. Имеется две независимые PCI-шины: 64-битная с рабочей частотой 33 МГц (четыре слота) и 64-битная с рабочей частотой 66/33 МГц (два слота).

Поддерживается до 4 Гбайт оперативной памяти, подключенной по схеме two way interleaved, что повышает пропускную способность канала процессор-память до 2,1 Гбайт/с. Для установки графического адаптера имеется слот AGP 2X. Кроме того, на плате интегрированы сетевой контроллер Intel 82559 Ethernet и двухканальный SCSI-контроллер Ultra160 Adaptec AIC-7899W.

К достоинствам платы Supermicro P3TDE6 стоит отнести наличие семи коннекторов для датчиков скорости вентиляторов. К тому же на плате интегрированы четыре датчика напряжения на ядрах процессоров и системе ввода/вывода, поддерживается мониторинг температуры процессоров и корпуса. Имеются светодиодный индикатор и система контроля несанкционированного вскрытия корпуса.

Для увеличения пропускной способности сетевой подсистемы в сервере установлен гигабитный сетевой адаптер Intel Pro/1000XT Server Adapter.

Дисковая подсистема сервера построена на базе высокопроизводительного двухканального RAID-контроллера Mylex eXtremeRAID 2000. RAID-массив уровня 5 образован четырьмя жесткими дисками, причем к каждому каналу контроллера подключается по два диска Quantum Atlas 10KIII емкостью 36,7 Гбайт каждый. Отметим, что RAID-контроллер и сетевой адаптер установлены на различные PCI-шины, что способствует увеличению пропускной способности ввода/вывода.

Тестирование сервера было проведено в двух конфигурациях: 512 Мбайт RAM-памяти с одним и двумя процессорами.

Тестирование пакетом NetBench выявило, что при количестве клиентов меньше 12 сетевой трафик возрастает приблизительно одинаково в обеих конфигурациях. При дальнейшем росте числа клиентов ситуация меняется. При двухпроцессорной конфигурации сетевой трафик достигает максимального значения в 228 Мбит/с при 14 клиентах, некоторое время остается практически неизменным (221 Мбит/с при 24 клиентах), затем медленно снижается до 180 Мбит/с.

В однопроцессорной конфигурации производительность сервера достигает максимального значения в 223 Мбит/с при 12 клиентах, что примерно равно производительности в двухпроцессорной конфигурации, и сразу начинает падать (до 132 Мбит/с при 46 клиентах). Разница в производительности сервера в одно- и двухпроцессорной конфигурации появляется при 14 клиентах и с ростом количества клиентов увеличивается.

Сравнение производительности сервера в различных конфигурациях говорит об исчерпании возможностей дисковой подсистемы, что позволяет сделать вывод о нецелесообразности применения дисков с частотой вращения шпинделя 10 000 об./мин в дисковой подсистеме современного файл-сервера.

Во всех тестах пакета WebBench, результаты которых меньше связаны с производительностью дисковой подсистемы, сервер показал более высокие результаты.

В тесте nt_simple_cgi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 1224 запроса в секунду достигается при 10 клиентах, затем производительность медленно снижается до 1118 запросов в секунду при 46 клиентах. При изменении количества клиентов от 14 до 28 производительность практически не изменяется, оставаясь на уровне около 1190 запросов в секунду.

В однопроцессорной конфигурации производительность сервера сначала быстро возрастает до 868 запросов в секунду при 6 клиентах и далее изменяется незначительно. Максимальная производительность, равная около 885 запросов в секунду, сохраняется при изменении количества клиентов от 16 до 28.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 2763 запроса в секунду достигается при 16 клиентах. Далее производительность снижается: сначала быстро до 2584 запросов в секунду при 26 клиентах, а затем медленно до 2555 запросов в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 14-32% при 10-46 клиентах (максимальная производительность — 2110 запросов в секунду при 14 клиентах, потом она немного снижается до 1983 запросов в секунду при 14 клиентах).

В тесте nt_simple_nsapi производительность сервера при малой загрузке не зависит от числа процессоров; заметное различие производительности появляется  только при 18 клиентах.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 7045 запросов в секунду достигается при 36 клиентах, затем производительность немного снижается — до 6970 запросов в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 11-49% при 20-46 клиентах (максимальная производительность — 5022 запроса в секунду при 22 клиентах).

В тесте static, если количество клиентов до 10, производительность сервера быстро растет пропорционально количеству клиентов и не зависит от конфигурации. Начиная с 12 клиентов темп прироста производительности снижается и появляется различие производительности в одно- и двухпроцессорной конфигурации.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 6640 запросов в секунду достигается при 20 клиентах и затем снижается незначительно — 6511 запросов в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 13-47% при 14-46 клиентах (максимальная производительность равна 4642 запроса в секунду при 14 клиентах).

Сервер TS SUPER@SERVER HE34 в представленной конфигурации можно рекомендовать для использования в качестве Web-сервера. Отметим, что данный сервер имеет большой запас по производительности, который можно задействовать, заменив жесткие диски более производительными.

Редакция выражает благодарность компании НПО «Техника-Сервис» (TS Computers) (http://www.ts.ru/, e-mail: info@ts.ru, тел.: (095) 229-7754, 229-6657, 202-3545, 202-1458, факс: 291-8707) за предоставленный для тестирования сервер TS SUPER@SERVER HE34.

В начало В начало

KLONDIKE President 1500

Компанию Klondike Computers в полной мере можно отнести к числу российских брендов в производстве серверов.

Сервер KLONDIKE President 1500 позиционируется компанией как универсальный сервер среднего и начального уровня, комплектация сервера подобрана не по принципу «что есть на складе», а исходя из требований максимальной производительности и безотказности в работе.

Сервер собран в корпусе InWin Q2000. В отличие от популярного корпуса SC5000 корпус InWin Q2000 не имеет датчиков открытия передней и боковой панелей. Отсутствует также кнопка перезагрузки сервера — есть только кнопка включения. В корпусе предусмотрено девять мест для установки жестких дисков, из них четыре с возможностью горячей замены, имеется ушко для замка, существует возможность запирания дверцы передней панели. На передней панели расположены индикаторы состояния блоков питания.

Безотказность в работе достигается за счет использования двух источников питания по 300 Вт каждый с возможностью горячей замены и безынерционным переключением.

Сервер собран на базе материнской платы Supermicro P3TDE6 c двумя процессорами Intel Pentium IIIS 1,26 ГГц.

Плата Supermicro P3TDE6 построена на современном чипсете ServerWorks ServerSet III HE SL и позиционируется как плата для построения High-End-серверов, Интернет-серверов и кластерных систем.

На плате имеется две независимые PCI-шины: 64-битная с частотой 33 МГц (четыре слота) и 64-битная с частотой 66/33 МГц (два слота). Для установки графического адаптера имеется слот AGP 2X. Поддерживается до 4 Гбайт оперативной памяти, подключенной по схеме two way interleaved, что повышает пропускную способность канала «процессор-память».

Кроме того, на плате интегрированы сетевой контроллер Intel 82559 Ethernet и двухканальный SCSI-контроллер Ultra160 Adaptec AIC-7899W.

Для увеличения пропускной способности сетевой подсистемы вместо интегрированного на материнской плате сетевого адаптера использовался IntelPro/1000T Server Adapter, устанавливаемый в полноразмерный 66-мегагерцевый PCI-слот.

К достоинствам платы Supermicro P3TDE6 следует отнести наличие семи коннекторов для датчиков скорости вентиляторов. Кроме того, на плате интегрированы четыре датчика напряжения на ядрах процессоров и системе ввода/вывода, поддерживается мониторинг температуры процессоров и корпуса. Имеются светодиодный индикатор и система контроля несанкционированного вскрытия корпуса.

В сервере был установлен четырехканальный RAID-контроллер Mylex eXtremeRAID 2000, в котором применен процессор StrongARM SA110 с тактовой частотой 233 МГц. Контроллер поддерживает стандарты Ultra2 SCSI (40 Мбайт/с) и Ultra 160 LVD SCSI (160 Мбайт/с). Сам RAID-массив уровня 5 был образован четырьмя SCSI-дисками Seagate ST318452LC по 18,4 Гбайт каждый. При этом для увеличения пропускной способности дисковой подсистемы использовались два канала RAID-контроллера, к каждому из которых подключалось по два диска. Отметим, что с целью повышения пропускной способности системы ввода/вывода RAID-контроллер и сетевой адаптер устанавливались в PCI-слоты двух независимых шин.

Тестирование сервера было проведено в двух различных конфигурациях: 512 Мбайт RAM-памяти с одним и двумя процессорами.

Тестирование пакетом NetBench показало преимущество двухпроцессорной конфигурации уже начиная с 10 клиентов: при двухпроцессорной конфигурации сетевой трафик достигает максимального значения 453 Мбит/с при 16 клиентах, после чего плавно снижается до 399 Мбит/с. При однопроцессорной конфигурации максимум в 340 Мбит/с достигается при 12 клиентах и снижается до 294 Мбит/с. Такая разница в результатах для однопроцессорной и двухпроцессорной конфигураций объясняется тем, что в режиме насыщения утилизация процессора составляет 100%, то есть при трафике, превышающем 300 Мбит/с, вычислительной мощности одного процессора становится явно недостаточно.

При этом отметим, что наряду с максимальной среди всех протестированных серверов производительностью сервер показал самую лучшую нагрузочную способность. Падение производительности сервера с ростом числа клиентов от 16 до 46 составило всего 12%.

Сервер продемонстрировал лучший результат при тестировании его в качестве файл-сервера, что и позволило нам признать его «Лучшим файловым сервером».

Во всех тестах пакета WebBench сервер показал стабильно высокие результаты. При этом разница в результатах для однопроцессорной и двухпроцессорной конфигураций объясняется тем, что в режиме насыщения утилизация процессорной подсистемы сервера составляет 100%. Следует сказать, что во всех тестах WebBench пропускная способность сетевой подсистемы не является узким местом, так как канал связи загружается не более чем на 30-40%.

В тесте nt_simple_cgi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 1349 запросов в секунду достигается при 10 клиентах, а затем медленно снижается до 1201 запроса в секунду при 46 клиентах. При изменении количества клиентов от 16 до 22 производительность практически не изменяется, оставаясь на достаточно высоком уровне — около 1295 запросов в секунду.

В однопроцессорной конфигурации производительность сервера сначала быстро возрастает до 955 запросов в секунду при 6 клиентах и далее изменяется незначительно. Максимальная производительность, равная около 970 запросов в секунду, сохраняется при изменении количества клиентов от 18 до 30.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 3132 запроса в секунду достигается при 16 клиентах. Далее производительность снижается: сначала быстро — до 2909 запросов в секунду при 22 клиентах, а затем медленно — до 2816 запросов в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 11-34% при 10-46 клиентах (максимальная производительность — 2335 запросов в секунду при 14 клиентах).

В тесте nt_simple_nsapi производительность сервера при малой загрузке не зависит от числа процессоров. Заметное различие производительности появляется только при 20 клиентах.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность — 7841 запрос в секунду достигается при 36 клиентах, затем производительность несколько снижается — до 7661 запроса в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 22-42% при 26-46 клиентах (максимальная производительность — 5787 запросов в секунду при 24 клиентах).

В тесте static при количестве клиентов до 10 производительность сервера быстро растет пропорционально количеству клиентов и не зависит от конфигурации. Начиная с 12 клиентов темп прироста производительности снижается и появляется различие производительности в одно- и двухпроцессорной конфигурациях.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность — 7336 запросов в секунду достигается при 22 клиентах и затем снижается незначительно — 7123 запроса в секунду при 46 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 14-45% при 16-46 клиентах (максимальная производительность равна 5225 запросов в секунду при 16 клиентах).

Высокая разница в производительности сервера в одно- и двухпроцессорной конфигурации во всех тестах говорит о хорошем подборе комплектующих и правильной настройке сервера.

Учитывая высокие показатели сервера как в тесте NetBench, так и в тесте WebBench, его можно рекомендовать для использования и в качестве файл-сервера в рабочих группах численностью до 100 рабочих станций и в качестве Web-сервера начального и среднего уровней.

Редакция выражает благодарность компании «Клондайк Компьютерс» (http://www.klondike.ru/, e‑mail: Info@klondike.ru, тел.: (095) 363-9222) за предоставленный для тестирования сервер KLONDIKE President 1500.

В начало В начало

Техмаркет ATLANT P2104

Производство серверов является одним из важнейших направлений деятельности компании «Техмаркет Компьютерс». Atlant P2104 позиционируется как универсальный сервер уровня рабочей группы. Под универсальностью сервера понимается возможность его использования в качестве файл-, proxy-сервера, почтового сервера или сервера баз данных для малых и средних компаний, сервера приложений и host-сервера.

Сервер Atlant P2104 изготовлен на базе материнской платы Intel STL2 c чипсетом ServerWorks ServerSet III LE и двумя процессорами Intel Pentium III 1000 МГц в корпусе Intel SC5000 Pedestal с одним источником питания мощностью 300 Вт.

На плате Intel STL2 интегрирован видеоадаптер ATI Rage IIC с 4 Мбайт SGRAM памяти, двухканальный SCSI-контроллер Adaptec AIC-7899 и сетевой адаптер Intel PRO/100+ Fast Ethernet.

В сервере установлен одноканальный RAID-контроллер Intel Server RAID SRCU3-1, а RAID-массив уровня 5 образован четырьмя SCSI-дисками Quantum Atlas 10KIII емкостью 18,4 Гбайт каждый.

Для увеличения пропускной способности сетевой подсистемы вместо интегрированного на материнской плате сетевого адаптера Intel PRO/100+ Fast Ethernet использовался гигабитный сетевой адаптер IntelPro/1000T Server Adapter.

RAID-контроллер и сетевой адаптер подключен к одной PCI-шине 64 бит/66 МГц.

Тестирование сервера было проведено в трех различных конфигурациях: 512 Мбайт RAM-памяти с одним и двумя процессорами, 1024 Мбайт RAM-памяти с двумя процессорами.

При тестировании пакетом NetBench в базовой конфигурации «512 Мбайт, два процессора» сетевой трафик достигает максимума 139 Мбит/с при 10 клиентах и затем медленно снижается до 106 Мбит/с при 46 клиентах. Увеличение объема RAM до 1024 Мбайт практически не сказывается на производительности сервера.

В конфигурации с одним процессором максимальное значение в 132 Мбит/с достигается при 12 клиентах, после чего трафик убывает до 70 Мбит/с при 46 клиентах.

Результаты тестирования пакетом WebBench в значительной степени зависят от вида теста.

В тесте nt_simple_cgi в базовой конфигурации (512 Мбайт RAM, два процессора) производительность сервера сначала быстро возрастает до 955 запросов в секунду при 8 клиентах, потом, после небольшого понижения, производительность снова возрастает и достигает максимума — 957 запросов в секунду при 24 клиентах. Затем производительность некоторое время остается постоянной (до 30 клиентов) и медленно снижается до 871 запроса в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт дает прирост производительности сервера 3-4% и проявляется при количестве клиентов более 8. Максимальная производительность 985 запросов в секунду достигается при 26 клиентах.

В конфигурации «512 Мбайт RAM, один процессор» производительность сервера сначала быстро возрастает до 668 запросов в секунду при 6 клиентах и далее изменяется незначительно. Максимальная производительность, равная около 700 запросов в секунду, сохраняется при изменении количества клиентов от 16 до 40. Снижение производительности сервера относительно базовой конфигурации составляет около 30%.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность — 1941 запрос в секунду — достигается при 12 клиентах. Далее производительность снижается до 1863 запроса в секунду при 18 клиентах, а затем остается практически постоянной — около 1840 запросов в секунду.

Увеличение объема RAM до 1024 Мбайт дает прирост производительности сервера 4-5% и проявляется при количестве клиентов более 8. Максимальная производительность — 2024 запроса в секунду — достигается при 12 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 22-37% при 8-46 клиентах относительно базовой конфигурации (производительность около 1440 запросов в секунду сохраняется при 22-46 клиентах).

В тесте nt_simple_nsapi производительность сервера при малой загрузке не зависит от числа процессоров. Заметное различие производительности появляется только при 12 клиентах.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность в 5522 запроса в секунду достигается при 30 клиентах, затем она немного снижается — до 5500 запросов в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт дает прирост производительности сервера 2-3% и проявляется при количестве клиентов более 24. Максимальная производительность, равная 5706 запросов в секунду, достигается при 30 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 19-56% при 18-46 клиентах относительно базовой конфигурации (максимальная производительность — 3785 запросов в секунду при 18 клиентах).

В тесте static, если количества клиентов до 8, производительность сервера быстро растет пропорционально количеству клиентов и не зависит от конфигурации. Начиная с 10 клиентов темп прироста производительности снижается и появляется различие производительности в разных конфигурациях.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность — 5458 запросов в секунду — достигается при 24 клиентах и затем снижается незначительно — 5426 запросов в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт дает прирост производительности сервера 3-4% и проявляется при количестве клиентов более 18. Максимальная производительность — 5652 запроса в секунду при 28 клиентах.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 27-54% при 12-46 клиентах относительно базовой конфигурации (максимальная производительность — 3593 запроса в секунду при 12 клиентах).

Редакция выражает благодарность компании «Техмаркет Компьютерс» (http://corp.techmarket.ru, e-mail: corp@techmarket.ru, тел.: (095) 363-9333, факс: (095) 363-9333) за предоставленный для тестирования сервер Техмаркет Atlant P2104.

В начало В начало

Альтаир Multi SH 430

Альтаир Multi SH 430 производства компании «Формоза» позиционируется как универсальный сервер масштаба предприятия и может выступать в качестве сервера баз данных, файл-сервера, сервера электронной коммерции, Web-сервера, сервера кластерных систем, а также терминального сервера с поддержкой 20-450 клиентов. Сервер собран на платформе Intel SPKA4, основу которой составляет четырехпроцессорная плата Intel SKA2 (Koa) с процессорами Intel Pentium III Xeon 700 МГц и кэш-памятью второго уровня 1 Мбайт и частотой системной шины (FSB) 100 МГц.

Основу серверной платы составляет набор микросхем ServerWorks ServerSet II HE, специально разработанный для построения серверов масштаба предприятия. Отличительными особенностями этого чипсета являются и максимальный объем адресуемой памяти Registered SDRAM PC 100 ECC в 16 Гбайт, что достигается за счет использования технологии четырехканальной памяти с чередованием, и поддержка трех независимых PCI-шин, две из которых являются полноразмерными (64 бит) с частотой 66 МГц и поддерживают технологию горячей замены, а одна — обычной PCI-шиной (32 бит/33 МГц).

Серверная плата Intel SKA2 дает прекрасные возможности для масштабирования системы. Всего имеется восемь PCI-слотов, реализованных на трех независимых PCI-шинах. Два слота являются 64-битными с частотой 66 МГц и поддержкой режима горячей замены, четыре слота — также 64-битными, но с частотой 33 МГц и возможностью горячей замены, а два — обычными, то есть 32-битными с частотой 33 МГц.

На самой серверной плате интегрированы два LVD Ultra160 SCSI-контроллера и WIDE SCSI-контроллер. Кроме того, имеются интегрированный видеоадаптер ATI c 2 Мбайт видеопамяти и сетевой адаптер Intel PRO/100+. На серверной плате интегрированы также интерфейсы IDE, LPT и два последовательных порта, один из которых используется в качестве порта аварийного управления (EMP).

Конструкция корпуса предусматривает возможность установки до десяти жестких дисков с функцией горячей замены, которые устанавливаются в две корзины.

Безотказность в работе серверов достигается в том числе и за счет использования шести вентиляторов с возможностью горячей замены, датчиков температурного контроля и трех сбалансированных блоков питания по 375 Вт каждый с безынерционным переключением и функцией горячей замены.

В сервере Multi SH 430 установлен одноканальный RAID-контроллер Mylex Accele RAID 170, а сам RAID-массив уровня 5 образован четырьмя SCSI-дисками Quantum Atlas 10KIII.

Как и все серверы на Intel-платформах, Multi SH 430 поставляется с пакетом Intel Server Control, предназначенным для удаленного мониторинга и управления сервером.

Тестирование сервера было проведено в трех различных конфигурациях: 4096 Мбайт RAM-памяти с двумя процессорами и 512 Мбайт RAM-памяти с одним и двумя процессорами.

При тестировании пакетом NetBench в базовой конфигурации «512 Мбайт, два процессора» сетевой трафик достигает максимума 211 Мбит/с при 16 клиентах и затем медленно снижается до 163 Мбит/с при 46 клиентах. Увеличение объема RAM до 1024 Мбайт привело даже к небольшому снижению производительности сервера.

В конфигурации с одним процессором максимальное значение в 193 Мбит/с достигается при 10 клиентах, после чего трафик убывает до 112 Мбит/с при 46 клиентах.

Результаты тестирования пакетом WebBench сильно зависят от вида теста.

В тесте nt_simple_cgi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 1076 запросов в секунду достигается при 8 клиентах, а затем медленно снижается до 950 запросов в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

В конфигурации «512 Мбайт RAM, один процессор» производительность сервера достигает максимума в 709 запросов в секунду уже при 6 клиентах и далее изменяется незначительно. Максимальная производительность, равная около 700 запросов в секунду, сохраняется при изменении количества клиентов от 6 до 30. Снижение производительности сервера относительно базовой конфигурации составляет около 45%.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 2567 запросов в секунду достигается при 14 клиентах. Далее она снижается — до 2380 запросов в секунду при 24 клиентах и затем остается практически постоянной — около 2340 запросов в секунду.

Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 25-42% при 10-46 клиентах относительно базовой конфигурации (максимальная производительность — 1814 запросов в секунду — достигается при 12 клиентах).

В тесте nt_simple_nsapi производительность сервера при малой загрузке не зависит от числа процессоров. Заметное различие производительности появляется только при 16 клиентах.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность 5771 запрос в секунду достигается при 38 клиентах, а потом несколько снижается — до 5733 запросов в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 24-61% при 18-46 клиентах относительно базовой конфигурации (максимальная производительность 3760 запросов в секунду при 18 клиентах).

В тесте static производительность сервера при малой загрузке не зависит от числа процессоров. Заметное различие производительности появляется только при 10 клиентах.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность, равная 5543 запроса в секунду, достигается при 18 клиентах и затем медленно снижается — до 5328 запросов в секунду при 46 клиентах.

Увеличение объема RAM до 1024 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 28-61% при 12-46 клиентах относительно базовой конфигурации (максимальная производительность — 3663 запроса в секунду при 10 клиентах).

Редакция выражает благодарность компании «Формоза» (http://www.formoza.ru, e-mail: info@formoza.ru, тел.: (095) 234-2165) за предоставленный для тестирования сервер Альтаир Multi SH 430.

В начало В начало

Ф-Центр МИР 7S-1800MP

МИР 7S-1800MP производства компании «Ф-Центр» позиционируется как универсальный сервер для рабочих групп.

Сервер собран в корпусе Intel SC5000 (стоечный вариант) с одним блоком питания мощностью 450 Вт. Несмотря на использование корпуса Intel, сам сервер построен базе материнской платы Tyan Thunder K7 с набором микросхем AMD 760MP и двумя процессорами AMD Athlon MP 1800+  (1,5 ГГц).

Сервер МИР 7S-1800MP оказался единственным в нашем тестировании, построенным на плате с чипсетом AMD 760MP, поэтому остановимся на особенностях этого чипсета несколько подробнее.

По своему названию чипсет AMD 760MP похож на обычный чипсет AMD 760, хотя различия между ними носят принципиальный характер. AMD 760MP обладает двумя важными функциями, благодаря которым двухпроцессорные системы на его основе имеют высокую производительность. Это — системная шина с топологией «точка-точка» и поддержка MOESI-протокола. В отличие от SMP-систем, построенных на процессорах от Intel, в которых оба процессора подключаются к общей системной шине и разделяют между собой ее пропускную способность, каждому процессору Athlon MP в SMP-системе, основанной на чипсете AMD 760MP, выделяется своя отдельная шина. При таком соединении каждый процессор может передавать до 2,1 Гбайт/с, а пропускная способность двух процессоров возрастает до 4,2 Гбайт/с. Казалось бы, узким местом при наличии двух независимых шин для каждого процессора может стать пропускная способность шины памяти, к которой в конечном итоге обращаются оба процессора (ведь при использовании памяти PC2100 DDR SDRAM пропускная способность составит всего 2,1 Гбайт/с). Но все дело в том, что процессоры в таких системах умеют обмениваться данными между собой, минуя оперативную память, то есть наличие собственной шины для каждого из процессоров в двухпроцессорной системе позволяет осуществлять пересылки данных непосредственно из кэша одного процессора в кэш другого, без обмена с оперативной памятью. Для этого в системах Dual Athlon MP используется MOESI-протокол.

Другой важной особенностью используемой серверной платы является то, что в отличие от всех остальных серверных плат, присутствовавших в нашем обзоре, плата Tyan Thunder K7 рассчитана на установку DDR-памяти PC2100, причем поддерживается установка до 3 Гбайт памяти. На плате расположено пять полноразмерных 33-мегагерцевых PCI-слота. Кроме того, здесь интегрированы два сетевых адаптера 3Com 3C920 Fast Ethernet и двухканальный Ultra160 SCSI-контроллер Adaptec AIC-7899W.

В сервере установлен двухканальный RAID-контроллер Mylex AcceleRAID 352, а RAID-массив уровня 5 образован четырьмя SCSI-дисками Seagate CheetahX15/36LP ST336752LC емкостью 36,7 Гбайт каждый. Нужно отметить, что в сервере используются две корзины для установки жестких дисков, каждая из которых подключается к одному из каналов RAID-контроллера. Таким образом, при установке в каждую корзину по два жестких диска используются оба канала RAID-контроллера, что способствует увеличению пропускной способности дисковой подсистемы.

В дополнение к этому для увеличения пропускной способности сетевой подсистемы вместо интегрированных на материнской плате cетевых адаптеров использовался адапетр IntelPro/1000T Server Adapter.

Тестирование сервера было проведено в трех различных конфигурациях: 2048 Мбайт RAM-памяти с двумя процессорами и 512 Мбайт RAM-памяти с одним и двумя процессорами.

Тестирование сервера пакетом NetBench выявило, что при количестве клиентов до 6 сетевой трафик возрастает пропорционально числу клиентов одинаково во всех конфигурациях, то есть не зависит от числа процессоров и объема оперативной памяти. При дальнейшем увеличении числа клиентов характер зависимости сетевого трафика от числа клиентов определяется конфигурацией сервера.

В базовой конфигурации «512 Мбайт, два процессора» сетевой трафик достигает максимума в 267 Мбит/с при 16 клиентах, некоторое время остается практически постоянным (до 24 клиентов) и затем снижается — до 195 Мбит/с при 46 клиентах. Увеличение объема RAM до 2048 Мбайт практически не сказывается на производительности сервера.

В конфигурации с одним процессором максимальное значение в 240 Мбайт/с достигается при 12 клиентах, после чего трафик равномерно убывает — до 172 Мбит/с при 46 клиентах.

Отмечена нестабильность работы сервера при количестве клиентов от 28 до 44 при всех конфигурациях.

Результаты тестирования пакетом WebBench в большой степени зависят от вида теста.

В тесте nt_simple_cgi наблюдалась сложная зависимость производительности сервера от нагрузки в различных конфигурациях.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность, равная 1144 запроса в секунду, достигается при 8 клиентах. Затем производительность снижается — до 950 запросов в секунду при 22 клиентах, некоторое время остается неизменной (до 28 клиентов), потом медленно снижается до 899 запросов в секунду при 42 клиентах и, наконец, резко падает — до 811 запросов в секунду при 46 клиентах.

В однопроцессорной конфигурации производительность сначала резко возрастает до 869 запросов в секунду при 6 клиентах, потом медленно увеличивается до максимальной производительности в 930 запросов в секунду при 22 клиентах, остается на этом уровне при увеличении количества клиентов до 28 и далее медленно снижается до 888 запросов в секунду при 46 клиентах.

Производительность сервера в однопроцессорной конфигурации при больших нагрузках даже выше, чем при двухпроцессорной конфигурации.

В тесте nt_simple_isapi в базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность в 2717 запросов в секунду достигается при 16 клиентах, затем снижается до 2578 запросов в секунду при 22 клиентах и далее остается почти постоянной (2540 запросов в секунду при 46 клиентах). Увеличение объема RAM до 2048 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 24-43% при 10-46 клиентах (максимальная производительность — 1891 запрос в секунду при 16 клиентах).

В тесте nt_simple_nisapi производительность сервера при малой загрузке не зависит от числа процессоров и объема оперативной памяти.

В базовой конфигурации (512 Мбайт RAM, два процессора) максимальная производительность — 7733 запроса в секунду — достигается при 34 клиентах, затем производительность несколько снижается до 7616 запросов в секунду при 46 клиентах. Увеличение объема RAM до 2048 Мбайт практически не повлияло на производительность сервера.

При проведении теста в конфигурации «512 Мбайт RAM, один процессор» производительность сервера снизилась на 20-41% при 28-46 клиентах (максимальная производительность — 5800 запросов в секунду при 26 клиентах).

В тесте static при количестве клиентов до 10 производительность сервера быстро растет пропорционально количеству клиентов и не зависит от конфигурации. Начиная с 12 клиентов темп прироста производительности снижается.

В однопроцессорной конфигурации максимальная производительность, равная 5432 запроса в секунду, достигается при 18 клиентах и затем снижается незначительно — 5347 запросов в секунду при 46 клиентах.

В двухпроцессорных конфигурациях производительность сервера достигала максимума 7507 и 7384 запроса в секунду при 24 клиентах (512 и 2048 Мбайт RAM соответственно), после чего резко падала до уровня значительно ниже производительности в однопроцессорной конфигурации.

В конфигурации «512 Мбайт RAM, два процессора» тест был повторен несколько раз, но поведение сервера не менялось. И только в одном из повторов после провала производительность стабилизировалась на уровне производительности однопроцессорной конфигурации.

Не вполне понятное поведение сервера в одно- и двухпроцессорных конфигурациях можно объяснить тем, что «старый» BIOS серверной платы еще не «знает» о существовании новых процессоров Athlon MP 1800+ и поэтому целенаправленно блокирует использование MOESI-протокола при работе в двухпроцессорной конфигурации. По всей видимости, именно поэтому в некоторых тестах результаты в однопроцессорной конфигурации превосходят аналогичные результаты для двухпроцессорной конфигурации.

Редакция выражает благодарность компании «Ф-Центр» (http://www.fcenter.ru/, тел.: (095) 472-64-01) за предоставленный для тестирования сервер Ф-Центр МИР 7S-1800MP.

КомпьютерПресс 2'2002

Наш канал на Youtube

1999 1 2 3 4 5 6 7 8 9 10 11 12
2000 1 2 3 4 5 6 7 8 9 10 11 12
2001 1 2 3 4 5 6 7 8 9 10 11 12
2002 1 2 3 4 5 6 7 8 9 10 11 12
2003 1 2 3 4 5 6 7 8 9 10 11 12
2004 1 2 3 4 5 6 7 8 9 10 11 12
2005 1 2 3 4 5 6 7 8 9 10 11 12
2006 1 2 3 4 5 6 7 8 9 10 11 12
2007 1 2 3 4 5 6 7 8 9 10 11 12
2008 1 2 3 4 5 6 7 8 9 10 11 12
2009 1 2 3 4 5 6 7 8 9 10 11 12
2010 1 2 3 4 5 6 7 8 9 10 11 12
2011 1 2 3 4 5 6 7 8 9 10 11 12
2012 1 2 3 4 5 6 7 8 9 10 11 12
2013 1 2 3 4 5 6 7 8 9 10 11 12
Популярные статьи
КомпьютерПресс использует