Сравнительное тестирование: Intel PRO 1000MT Server Adapter против Broadcom NetXtreme Gigabit Ethernet

Сергей Пахомов

Участники тестирования

   Intel PRO 1000MT Server Adapter (Intel 82545EM)

   Broadcom NetXtreme Gigabit Ethernet

Методика тестирования

Результаты тестирования

   Режим передачи данных

   Режим приема данных

   Дуплексный режим

Заключение

 

В прошлом номере нашего журнала мы опубликовали отчет о сравнительном тестировании двух гигабитных однопортовых серверных адаптеров: интегрированного на серверной плате SE7501BR2 адаптера Intel 82540EM Based Server Adapter и PCI-адаптера Intel PRO 1000MT Server Adapter. В этой статье мы приведем результаты сравнительного тестирования интегрированного на системной плате гигабитного адаптера Broadcom NetXtreme Gigabit Ethernet и гигабитного PCI-адаптера Intel PRO 1000MT Server Adapter.

Просматривая регулярные отчеты всемирно известной тестовой лаборатории eTesting Labs, мы натолкнулись на статью (http://www.etestinglabs.com/clients/reports/broadcom/broadcom_iometer.pdf), в которой сравнивался новый в то время гигабитный сетевой адаптер Broadcom NetXtreme Gigabit Ethernet на основе чипа BCM5701 с гигабитным адаптером Intel PRO 1000 T Server Adapter на основе чипа Intel 82543GC. Из статьи следовали неутешительные для адаптера Intel PRO 1000 T Server Adapter выводы: его пропускная способность в режимах передачи, приема, а также в дуплексном режиме обмена данными явно уступала адаптеру Broadcom NetXtreme Gigabit Ethernet. Аналогичные выводы делались и насчет индекса эффективной производительности, определяемого как отношение максимальной пропускной способности адаптера, измеряемой в мегабитах в секунду (Мбит/с), к степени утилизации процессора, измеряемой в процентах (%).

Собственно говоря, мы не собираемся оспаривать полученные результаты, однако один момент в этом тестировании показался нам довольно спорным. Дело в том, что в тестировании участвовали новый адаптер Broadcom и далеко не новый адаптер Intel, что, на наш взгляд, не вполне корректно. Поэтому мы решили отчасти компенсировать подобную несправедливость и сравнить адаптер Broadcom NetXtreme Gigabit Ethernet с адаптером Intel PRO 1000MT.

Участники тестирования

Intel PRO 1000MT Server Adapter (Intel 82545EM)

Гигабитный сетевой адаптер Intel PRO 1000MT Server Adapter построен на основе нового однокристального чипа Intel 82545EM, выполняющего функции контроллера физического уровня (PHY), контроллера Ethernet 10/100/1000 Мбит/с (MAC-уровень) и контроллера интерфейса PCI.

На плате адаптера имеется также флэш-память 39VF020 производства Silicon Storage Technology емкостью 128 Кбайт (2 Мбит х 8) для поддержки технологии Adaptive Technology (адаптивная технология), которая осуществляет загрузку микрокода в контроллер. Загрузка микрокода производится драйвером и необходима для подстройки контроллера на уровне кремния под конкретную операционную систему.

В соответствии со спецификацией чип Intel 82545EM поддерживают PCI-шина разрядностью 32 бит с тактовыми частотами 33, 66 МГц и PCI-X-шина с тактовой частотой 100 и 133 МГц и разрядностью 64 бит.

Управление доступом к среде осуществляется на основе архитектуры Intel четвертого поколения, а согласование с физической средой передачи позволяет реализовать поддержку стандартов 10Base-T, 100Base-TX и 1000Base-T (IEEE 802.3, IEEE 802.3u, IEEE 802.3ab).

Канал Gigabit Ethernet имеет 64 Кбайт встроенной буферной памяти и может осуществлять предварительную загрузку до 64 дескрипторов пакетов, что снижает нагрузку на интерфейс PCI.

Как и в чипе Intel 82540EM, здесь реализована технология объединения прерываний для высвобождения процессорных ресурсов (Advanced interrupt moderation) за счет сокращения числа прерываний и группировки пакетов.

Для расширения возможностей по управлению и мониторингу в контроллере имеется порт Smbus (System Management Bus — шина управления системой), который представляет собой двухпроводной последовательный интерфейс, основанный на протоколе Philips I2C. С его помощью устройства могут сообщать информацию о фирме-изготовителе, серийном номере, выполняемых функциях, замеченных ошибках и собственном состоянии.

Все остальные характеристики контроллера и соответственно сетевого адаптера типичны для всех гигабитных адаптеров и определяются самим стандартом.

В начало В начало

Broadcom NetXtreme Gigabit Ethernet

Гигабитный сетевой адаптер Broadcom NetXtreme Gigabit Ethernet построен на основе однокристального чипа BCM5701, выполняющего функции контроллера физического уровня (PHY), контроллера Ethernet 10/100/1000 Мбит/с (MAC-уровень) и контроллера интерфейса PCI. Данный чип является продолжением развития чипа BCM5700.

В соответствии со спецификацией чип BCM5701 поддерживает шину PCI v. 2.2 разрядностью 32/64 бит с тактовой частотой 33/66 МГц и шину PCI-X v. 1.0a с тактовой частотой 66/100/133 МГц и разрядностью 32/64 бит.

Согласование с физической средой передачи позволяет осуществить поддержку стандартов 10Base-T, 100Base-TX и 1000Base-T (IEEE 802.3, IEEE 802.3u, IEEE 802.3ab).

Канал Gigabit Ethernet имеет 96 Кбайт встроенной буферной памяти и поддерживает до 16 Мбайт внешней памяти.

Для снижения нагрузки на центральный процессор в чипе BCM5701 реализована функция проверки контрольной суммы TCP/UDP/IP-пакетов. Кроме того, на уровне адаптера производится расчет TCP-сегментации.

Все остальные характеристики сетевого адаптера являются типичными для всех гигабитных адаптеров и определяются в соответствии со стандартом.

В начало В начало

Методика тестирования

Сетевые адаптеры принято характеризовать по абсолютной пропускной способности в режимах передачи, приема и дуплексного обмена данными, а также по индексу эффективной производительности. Основной задачей нашего тестирования было измерение именно этих характеристик.

Для проведения тестирования был собран стенд, состоявший из 20 рабочих станций, компьютера-контроллера, сервера и коммутатора. На всех рабочих станциях и компьютере-контроллере были установлены сетевые адаптеры Fast Ethernet 100Base-TX, а на сервере — гигабитный сетевой адаптер 1000Base-T. Использование именно 20 рабочих станций позволяло (даже с некоторым запасом) полностью загрузить гигабитный сетевой адаптер, устанавливаемый в сервере, так как посредством программных эмуляторов сетевого трафика возможно создать скорость потока порядка 80-90 Мбит/с на каждой рабочей станции.

На всех рабочих станциях устанавливалась операционная система Microsoft Windows 2000 Professional SP3, а на сервере и компьютере-контроллере — Microsoft Windows 2000 Server SP3.

Для объединения рабочих станций, контроллера и сервера в сеть использовался коммутатор Allied Telesyn AT-8236GB, предоставленный для проведения тестирования представительством компании Allied Telesyn (www.alliedtelesyn.ru). Этот коммутатор имеет 24 порта 100Base-TX и два порта 1000Base-T. К одному из гигабитных портов коммутатора подключался сервер с гигабитным сетевым адаптером, а порты 10/100Base-TX использовались для подключения рабочих станций с адаптерами 10/100Base-TX.

В качестве сервера использовался двухпроцессорный сервер DEPO Storm 3000C компании ЗАО «Компания Дилайн» в следующей конфигурации:

  • системная плата — SuperMicro P4DL6;
  • процессоры — 2 х Intel Xeon 2,8 ГГц;
  • чипсет системной платы — ServerWorks Grand Champion LE Chipset;
  • частота системной шины — 400 МГц;
  • оперативная память — 2 Гбайт DDR266 SDRAM с ECC;
  • Intel PRO 1000MT Server Adapter (82545EM) с версией драйвера 6.2.21.0;
  • Broadcom NetXtreme Gigabit Ethernet (BCM5701) с версией драйвера 2.67.0.0.

Адаптер Broadcom NetXtreme Gigabit Ethernet интегрирован на системной плате SuperMicro P4DL6. В соответствии с архитектурой чипсета ServerWorks Grand Champion LE Chipset на системной плате использованы два моста ввода-вывода CIOBX2, каждый из которых поддерживает две независимые шины PCI-X; одна из шин PCI-X используется интегрированным гигабитным сетевым адаптером Broadcom NetXtreme Gigabit Ethernet. В случае использования гигабитного адаптера Intel PRO 1000MT Server Adapter он устанавливался в соответствующий слот PCI-X (64 бит/133 МГц).

Для проведения тестирования в качестве программного генератора трафика использовалась утилита IOmeter 1999.10.20 компании Intel.

IOmeter — это синтетический тест, который является программным генератором сетевого трафика и позволяет измерять практически все необходимые параметры: абсолютную пропускную способность сетевого адаптера как в режиме передачи, так и в режиме приема; скорость передачи/приема пакетов, количество операций ввода-вывода; степень утилизации процессора и многое другое. Утилита IOmeter позволяет не только измерять указанные параметры, но и эмулировать необходимую модель сетевого доступа. Настройке подлежат такие параметры, как размер запроса приема/передачи, процентное соотношение между случайным и последовательным распределением запросов, процентное соотношение между распределением операций приема/передачи.

При проведении тестирования мы использовали следующие настройки утилиты IOmeter: в режимах приема и передачи данных на всех клиентах запускалось по одному программному генератору (Dynamo) и все они генерировали запросы на передачу или прием данных на сервер или с сервера. При этом на самом сервере никаких специальных приложений не запускалось, что соответствует идеологии сервера.

Для достижения максимально возможного сетевого трафика все запросы носили стопроцентно последовательный характер, а время задержки между запросами устанавливалось равным нулю. Единственным изменяемым в данном случае параметром был сам размер запроса на передачу/прием данных, который составлял 64 байт, 128, 256, 512 байт, 1 Кбайт, 2, 4, 8, 16, 32, 64, 128 и 256 Кбайт.

При эмуляции дуплексного режима работы на каждом из клиентов создавалось по два программных генератора, один из которых генерировал передачу данных, а второй  — запросы на прием данных с сервера.

Измеряемыми параметрами во всех случаях являлись сетевой трафик, проходящий через тестируемый гигабитный адаптер, и утилизация процессорной подсистемы сервера.

Исходя из максимальной пропускной способности адаптера и степени утилизации процессора, определялся индекс эффективной производительности Р/Е (Performance/Efficiency Index Ratio) как отношение пропускной способности адаптера (измеряемой в мегабитах в секунду) к степени утилизации центрального процессора (измеряемой в процентах). Значение индекса эффективной производительности позволяет сравнивать адаптеры между собой: чем выше индекс, тем производительнее адаптер.

Учитывая, что процессоры Intel Xeon (Prestonia) поддерживают технологию HyperThreading, тестирование возможно проводить как при активации через настройки BIOS технологии HyperThreading, так и при ее запрещении. В первом случае операционная система определяет в сервере четыре логических процессора, а во втором — два логических процессора. Однако, как показывает опыт проведения подобных тестирований, использование технологии HyperThreading негативно отражается на максимально достигаемом сетевом трафике, но в то же время положительно сказывается на степени утилизации процессора и индексе эффективной производительности. Принимая во внимание то обстоятельство, что большинство серверов на сегодняшний день использует процессоры, не поддерживающие технологию HyperThreading, мы провели тестирование гигабитных адаптеров без использования этой технологии. Кроме того, следует учитывать и то, что при активизации HyperThreading меняются лишь абсолютные значения пропускной способности и индекса эффективной производительности, причем в равной степени для обоих адаптеров, поэтому для сравнения адаптеров друг с другом использование режима HyperThreading не является принципиальным.

В начало В начало

Результаты тестирования

Рассмотрим результаты тестирования адаптеров в каждом из трех режимов обмена данными.

Режим передачи данных

В режиме передачи (табл. 1, рис.1 и 2) сетевой трафик для обоих гигабитных адаптеров возрастает пропорционально размеру запроса, достигая насыщения при размере запроса 4 Кбайт. Такое поведение легко объяснить тем, что при малых размерах запроса степень утилизации процессорной подсистемы сервера близка к 100%, то есть в данном случае узким местом является не сетевая подсистема сервера, а его процессорная подсистема.

Рис. 1. Сравнение пропускной способности адаптеров Intel 82545EM и Broadcom BCM5701 в режиме передачи

Рис. 2. Сравнение индексов эффективной производительности адаптеров Intel 82545EM и Broadcom BCM5701 в режиме передачи

Характерным для адаптера Intel 82545EM в режиме передачи данных является и то обстоятельство, что при размере запроса 32 Кбайт наблюдается провал в сетевом трафике. Учитывая, что при таком размере запроса процессорная подсистема сервера утилизируется всего на 64%, можно предположить, что наблюдаемое падение пропускной способности адаптера связано с особенностями его архитектуры.

Для адаптера Broadcom BCM5701 при размере запроса 32 Кбайт также наблюдается уменьшение сетевого трафика, однако в значительно меньшей степени, чем для адаптера Intel 82545EM.

Максимальный сетевой трафик, зафиксированный для адаптера Intel 82545EM, составляет 902 Мбит/с при размере запроса 8 Кбайт. Для адаптера Broadcom BCM5701 максимальный сетевой трафик составил 903 Мбит/с при размере запроса 128 Кбайт.

В целом, сравнивая пропускную способность адаптеров, можно сделать вывод, что при размерах запроса до 1 Кбайт с незначительным преимуществом лидирует адаптер Intel 82545EM, а при больших размерах запроса опять же с небольшим преимуществом лидирует Broadcom BCM5701.

Если же усреднить сетевой трафик по всем запросам, то для адаптера Intel 82545EM усредненное значение составит 628,48 Мбит/с, а для адаптера Broadcom BCM5701  — 657,52 Мбит/с, что на 4,6% больше, чем для адаптера Intel 82545EM. Впрочем, относиться к такому усреднению следует весьма настороженно, поскольку в реальных операциях сетевого ввода-вывода присутствуют различные по размеру запросы и их процентное соотношение может быть далеко не равномерным.

Таблица 1. Сравнение сетевого трафика и индекса эффективной производительности в режиме передачи данных

Размер запроса Intel 82545EM Broadcom BCM5701
Трафик, Мбит/с Утилизация процессора, % P/E Трафик, Мбит/с Утилизация процессора, % P/E
64 байт 53,48 100,00 0,53 44,01 99,60 0,44
128 байт 103,21 99,92 1,03 88,43 99,88 0,89
256 байт 200,40 99,90 2,01 198,27 99,82 1,99
512 байт 364,19 99,76 3,65 358,87 99,76 3,60
1 Kбайт 646,15 99,70 6,48 626,46 99,85 6,27
2 Kбайт 744,02 99,68 7,46 759,13 99,76 7,61
4 Kбайт 878,22 98,28 8,94 892,67 98,66 9,05
8 Kбайт 902,28 83,82 10,76 899,81 91,36 9,85
16 Kбайт 869,44 88,71 9,80 879,73 84,88 10,36
32 Kбайт 602,28 63,61 9,47 860,28 59,38 14,49
64 Kбайт 831,20 57,84 14,37 888,84 61,96 14,35
128 Kбайт 869,53 49,21 17,67 903,61 56,36 16,03
256 Kбайт 877,79 47,79 18,37 902,17 52,40 17,22
512 Kбайт 856,48 42,33 20,23 903,00 48,44 18,64

Из табл. 1 видно, что индекс эффективной производительности выше для адаптера Intel 82545EM при любом размере запроса, кроме 16 и 32 Кбайт, то есть кроме таких размеров запросов, при которых у адаптера Intel 82545EM наблюдается падение пропускной способности. Если же сравнивать усредненные по всем запросам индексы эффективной производительности, то они оказываются равными 9,34 для обоих гигабитных адаптеров.

В начало В начало

Режим приема данных

В режиме приема данных (табл. 2, рис. 3 и 4) сетевой трафик для обоих гигабитных адаптеров также возрастает пропорционально размеру запроса вплоть до значения запроса 4 Кбайт. После этого трафик достигает насыщения и практически не меняется. Максимальная пропускная способность в режиме насыщения для обоих адаптеров примерно одинакова и составляет 903-904 Мбит/с.

 

Рис. 3. Сравнение пропускной способности адаптеров Intel 82545EM и Broadcom BCM5701 в режиме приема

Рис. 4. Сравнение индексов эффективной производительности адаптеров Intel 82545EM и Broadcom BCM5701 в режиме приема

При размере запроса менее 4 Кбайт преимущество имеет адаптер Intel 82545EM. Учитывая, что при больших размерах запросов оба адаптера имеют равную пропускную способность, усредненный трафик получается немного больше для адаптера Intel 82545EM — 693,35 Мбит/с против 692,11 Мбит/с для адаптера Broadcom BCM5701. Впрочем, это преимущество крайне мало, поэтому можно утверждать, что в режиме приема данных оба адаптера обладают одинаковой пропускной способностью при любых размерах запросов.

Таблица 2. Сравнение сетевого трафика и индекса эффективной производительности в режиме приема данных

Размер запроса Intel 82545EM Broadcom BCM5701
Трафик, Мбит/с Утилизация процессора, % P/E Трафик, Мбит/с Утилизация процессора, % P/E
64 байт 70,25 91,43 0,77 69,08 85,80 0,81
128 байт 152,51 97,30 1,57 164,53 94,28 1,75
256 байт 286,28 99,74 2,87 250,04 90,79 2,75
512 байт 472,11 99,90 4,73 400,14 89,09 4,49
1 Kбайт 717,47 99,87 7,18 708,31 99,90 7,09
2 Kбайт 783,53 93,49 8,38 870,91 83,01 10,49
4 Kбайт 902,15 53,99 16,71 902,25 61,01 14,79
8 Kбайт 902,19 39,60 22,78 902,24 41,03 21,99
16 Kбайт 902,93 35,19 25,66 902,78 38,68 23,34
32 Kбайт 903,98 34,07 26,54 904,64 36,99 24,46
64 Kбайт 903,92 31,86 28,37 904,02 33,77 26,77
128 Kбайт 903,09 31,32 28,83 903,59 33,18 27,23
256 Kбайт 903,18 31,49 28,68 903,39 33,45 27,01
512 Kбайт 903,25 32,20 28,05 903,66 33,45 27,01

Отметим также то обстоятельство, что в режиме приема данных оба адаптера имеют большую пропускную способность, чем в режиме передачи.

Сравнение индексов эффективной производительности адаптеров в режиме приема позволяет выявить небольшое преимущество адаптера Intel 82545EM. Усредненный индекс эффективной производительности для адаптера Broadcom BCM5701 составляет 15,71, а для адаптера Intel 82545EM — 16,51, то есть всего на 5% выше.

В начало В начало

Дуплексный режим

В дуплексном режиме передачи (табл. 3, рис. 5 и 6) зависимость сетевого трафика от размера запроса несколько иная по сравнению с режимами приема и передачи. Так, если для режима приема и передачи максимальная пропускная способность адаптеров близка к теоретически возможной, то есть к 1000 Мбит/с, то в дуплексном режиме максимально достигаемый трафик для обоих адаптеров далек от теоретически возможного.

Рис. 5. Сравнение пропускной способности адаптеров Intel 82545EM и Broadcom BCM5701 в дуплексном режиме

Рис. 6. Сравнение индексов эффективной производительности адаптеров Intel 82545EM и Broadcom BCM5701 в дуплексном режиме

Для адаптера Intel 82545EM наблюдается постепенное возрастание сетевого трафика по мере увеличения размера запроса. Режим насыщения практически отсутствует, но заметно незначительное уменьшение сетевого трафика при размере запроса 32 Кбайт. Видимо, именно этот размер запроса является своего рода ахиллесовой пятой для адаптера Intel 82545EM.

Таблица 3. Сравнение сетевого трафика и индекса эффективной производительности в дуплексном режиме обмена данными

Размер запроса Intel 82545EM Broadcom BCM5701
Трафик, Мбит/с Утилизация процессора, % P/E Трафик, Мбит/с Утилизация процессора, % P/E
64 байт 66,70 100,00 0,67 52,90 99,96 0,53
128 байт 135,08 99,95 1,35 103,25 99,96 1,03
256 байт 253,44 99,84 2,54 250,25 99,80 2,51
512 байт 444,66 99,86 4,45 422,32 99,88 4,23
1 Kбайт 700,28 99,92 7,01 676,19 99,87 6,77
2 Kбайт 754,70 99,77 7,56 732,99 99,63 7,36
4 Kбайт 925,19 99,74 9,28 900,95 99,85 9,02
8 Kбайт 1033,42 99,40 10,40 1011,04 99,87 10,12
16 Kбайт 1085,65 99,35 10,93 1120,51 99,75 11,23
32 Kбайт 1011,30 82,59 12,24 1266,34 93,98 13,48
64 Kбайт 1149,77 74,92 15,35 1317,53 72,92 18,07
128 Kбайт 1279,97 68,18 18,77 1229,96 70,31 17,49
256 Kбайт 1322,15 68,87 19,20 1216,70 70,91 17,16
512 Kбайт 1366,81 65,72 20,80 1218,98 65,69 18,56

Максимальный сетевой трафик, равный 1367 Мбит/с для адаптера Intel 82545EM, достигается при максимальном размере запроса 512 Кбайт.

Для адаптера Broadcom BCM5701 наблюдается постепенное возрастание сетевого трафика вплоть до размера запроса 64 Кбайт. При дальнейшем увеличении размера запроса сетевой трафик постепенно снижается. Таким образом, если максимальный сетевой трафик составляет 1317 Мбит/с при размере запроса 64 Кбайт, то при размере запроса 512 Кбайт трафик уменьшается до 1218 Мбит/с, то есть на 100 Мбит/с.

Если же говорить о средней пропускной способности адаптеров, то она практически одинакова и составляет 823,5 Мбит/с для адаптера Intel 82545EM и 822,8 Мбит/с для адаптера Broadcom BCM5701.

Сравнение индексов эффективной производительности обоих адаптеров показывает, что и здесь нет явного лидера. Лишь при размерах запросов более 128 Кбайт незначительное преимущество имеет адаптер Intel 82545EM. Усредненное значение индекса P/E для адаптера Intel 82545EM составляет 10, а для адаптера Broadcom BCM5701 — 9,83.

В начало В начало

Заключение

Итак, проведенный сравнительный анализ адаптеров Intel PRO 1000MT Server Adapter (Intel 82545EM) и Broadcom NetXtreme Gigabit Ethernet (BCM5701) показывает, что ни один из адаптеров не имеет явного преимущества перед другим. В каких-то условиях обмена данными в более выгодном положении оказывается адаптер Intel PRO 1000MT Server Adapter, а в каких-то — адаптер Broadcom NetXtreme Gigabit Ethernet. Все зависит от распределения размера запросов на прием и передачу данных, которое, в свою очередь, зависит от конкретного приложения. К примеру, для типичного файл-сервера процентное распределение размера запросов выглядит так, как показано в табл. 4.

Таблица 4. Типичное распределение размера запросов для файл-сервера

Размер запроса, Кбайт Весовой коэффициент запроса, %
0,5 10
1 5
2 5
4 60
8 2
16 4
32 4
64 10

При этом 80% всех операций приходится на передачу данных, а 20% — на получение данных. С учетом приведенной модели доступа усредненный трафик для адаптера Intel PRO 1000MT Server Adapter (Intel 82545EM) составит 803,17 Мбит/с, а для адаптера Broadcom NetXtreme Gigabit Ethernet (BCM5701) — 822 Мбит/с, то есть всего на 2,3% больше, что, конечно же, несущественно.

 

Редакция выражает благодарность компании ЗАO «Компания Дилайн» (http://www.depo.ru/, http://www.dealine.ru/, e-mail: info@depo.ru, тел.: (095) 969-2222, факс: 969-2299) за предоставление для тестирования сервера DEPO Storm 3000C.

Редакция выражает признательность российскому представительству компании Allied Telesyn (http://www.alliedtelesyn.ru/) за предоставление коммутатора Allied Telesyn AT-8236GB для проведения тестирования.

КомпьютерПресс 2'2003


Наш канал на Youtube

1999 1 2 3 4 5 6 7 8 9 10 11 12
2000 1 2 3 4 5 6 7 8 9 10 11 12
2001 1 2 3 4 5 6 7 8 9 10 11 12
2002 1 2 3 4 5 6 7 8 9 10 11 12
2003 1 2 3 4 5 6 7 8 9 10 11 12
2004 1 2 3 4 5 6 7 8 9 10 11 12
2005 1 2 3 4 5 6 7 8 9 10 11 12
2006 1 2 3 4 5 6 7 8 9 10 11 12
2007 1 2 3 4 5 6 7 8 9 10 11 12
2008 1 2 3 4 5 6 7 8 9 10 11 12
2009 1 2 3 4 5 6 7 8 9 10 11 12
2010 1 2 3 4 5 6 7 8 9 10 11 12
2011 1 2 3 4 5 6 7 8 9 10 11 12
2012 1 2 3 4 5 6 7 8 9 10 11 12
2013 1 2 3 4 5 6 7 8 9 10 11 12
Популярные статьи
КомпьютерПресс использует