Новая память FB-DIMM

Олег Татарников

Технологии производства оперативной памяти сегодня нуждаются в серьезных изменениях. Однако путь повышения частот и скоростей ведет в тупик, к тому же при таком подходе нельзя одновременно увеличивать и скорость, и емкость модулей. В секторе корпоративных вычислительных систем, таких как серверы и мощные рабочие станции, проблема недостаточной производительности подсистемы памяти стоит наиболее остро. Впрочем, недостаток производительности подсистемы памяти испытывают все современные многоядерные процессорные технологии. Прежде всего это связано с тем, что использование традиционных параллельных интерфейсов приводит к тому, что добавление новых объемов памяти вызывает значительное снижение скорости обмена информацией. В связи с этим разработчики вычислительных систем вынуждены были искать компромисс между производительностью подсистемы памяти и производительностью системы в целом.

Решение данной проблемы предложила корпорация Intel — это память FB-DIMM (Fully Buffered Dual In-Line Memory Module). В отличие от обычной памяти, имеющей параллельный интерфейс подключения (архитектура multi-drop-bus), FB-DIMM подразумевает последовательное соединение буферов модулей памяти высокоскоростными каналами передачи данных, точнее — использует возможности, аналогичные PCI Express (PCI-E). Каждый модуль памяти имеет буфер, а для передачи данных между элементами применяется соединение «точка-точка» (Point-to-Point) — собственно говоря, именно так и работает шина PCI-E, данные в которой передаются в пакетном режиме с помощью специальных протоколов. Такая архитектура делает загрузку шины не зависимой от скорости ввода-вывода оперативной памяти (DRAM). Это позволяет не только повысить быстродействие, но и увеличить количество модулей, подключенных к шине (можно использовать до восьми модулей на канал вместо двух или четырех, как раньше, при этом скорость работы не снижается), освобождая разработчиков от забот о возможной деградации сигнала. Объединенная цепочка модулей памяти подключается к контроллеру и обеспечивает увеличение объема ОЗУ до значений, не доступных для технологий параллельного подключения модулей. Например, FB-DIMM позволяет системе (при использовании шести каналов с восемью модулями в каждом при двухрядном расположении в них DRAM-устройств емкостью 1 Гбит) без потери производительности работать с оперативной памятью объемом 192 Гбайт! Пропускная способность памяти при этом повышается до 40 Гбайт/с. А при применении более емких DRAM-чипов размер оперативной памяти будет еще выше!

Ранее в серверных платформах уже использовалась буферизованная память (registered DIMM), но основным преимуществом новой памяти перед традиционными подходами является полная буферизация. При помощи специальной микросхемы — установленного на модуле быстродействующего буфера AMB (Advanced Memory Buffer) — происходит буферизация всех сигналов (синхронизации, адреса, команд и данных), и таким образом повышается скорость работы памяти. На микросхему AMB, располагающуюся на каждом FB-DIMM, возлагаются задачи по сбору и распределению данных между микросхемами модуля, буферизации и перенаправлению их следующему модулю или контроллеру (доступ к регистрам AMB может осуществляться по шине SMBus). По сути, AMB выступает в качестве своеобразного распределительного центра, обеспечивающего координацию передачи данных не только с чипами «своего» модуля, но и с чипами AMB других модулей памяти. При этом операции записи и чтения могут происходить одновременно, что устраняет задержки передачи, присущие памяти с параллельным интерфейсом.

В начале 2005 года компания Intel представила наборы инструментальных средств разработчиков и лабораторные программы для ускорения внедрения новой архитектуры памяти. Набор инструментальных средств разработок для платформы Bensley предназначен для производителей модулей памяти, OEM-поставщиков и независимых разработчиков. Он позволит сократить время разработки совместимой продукции на базе набора микросхем с кодовым наименованием Blackford, который используется для платформы Bensley. Набор инструментальных средств состоит из системной платы на базе компонентов платформы Bensley, совместимой с несколькими операционными системами, и обеспечивает гибкую среду для разработчика. Дополнительную информацию можно получить по адресу: http://www.intel.com/design/servers/buildingblocks/bensleyPDK.htm.

Серверная платформа Bensley построена на базе процессоров Intel Xeon DP. Выход процессора Itanium со встроенным контроллером FB-DIMM Intel ожидается не ранее 2008 года. Компания AMD пока не торопится внедрять поддержку FB-DIMM в свои продукты, мотивируя это отсутствием перспективы для буферизованной оперативной памяти на рынке персональных компьютеров, хотя ранее она объявила о том, что планирует выпустить четырехъядерные процессоры с поддержкой FB-DIMM, предназначенные для серверных систем и рабочих станций, во второй половине 2008 года. Впрочем, сегодня внедрение новой памяти — прерогатива не только Intel. Для координации действий создан Memory Implementers Forum, в который входит более 150 компаний, в том числе все известные производители памяти. В мае текущего года организация JEDEC (http://www.jedec.org/), чьей основной задачей является утверждение стандартов памяти, одобрила окончательную спецификацию FB-DIMM.

В принципе, память FB-DIMM выпускалась и ранее, однако первой о производстве модулей, полностью соответствующих стандарту, объявила компания Crucial. Вот только заявленные ею цены на подобную память оказались поистине астрономическими: модуль объемом 4 Гбайт, работающий на частоте 667 МГц, стоил более 7 тыс. долл., а такого же объема с частотой 533 МГц — около 6 тыс. долл. (для сравнения: процессоры Itanium 2 стоят менее 3 тыс. долл.). Модули меньшего объема, конечно, имели более демократичную цену: модуль FB-DIMM объемом 512 Мбайт, работающий на частоте 533 МГц, продавался за 140-145 долл., что дороже разве что процессоров Celeron D начального уровня. Цену FB-DIMM емкостью 1 Гбайт тоже не назовешь заоблачной — около 250 долл. Такой разброс цен объясняется тем, что производители чипов памяти только начали предлагать продукцию, позволяющую реализовывать модули FB-DIMM, особенно чипы большой емкости.

Сейчас ситуация более или менее нормализуется. Линейку модулей FB-DIMM, полностью соответствующих стандарту JEDEC, представил крупнейший производитель оперативной памяти — компания Samsung. Пропускная способность буфера в них находится в пределах от 3,2 до 4,8 Гбит/с. Максимально достигаемая скорость новой FB-DIMM от Samsung — 4,8 Гбит/с, что вдвое превышает скорость регистровых модулей памяти предыдущего поколения DDR2-400, изготовленных с использованием компонентов технологии DDR2-800.

Затем о начале поставок модулей FB-DIMM, выполненных на микросхемах DDR2-667, объявила компания Micron (http://www. micron.com/). Этот американский производитель сегодня выпускает линейку модулей емкостью от 256 Мбайт до 2 Гбайт в различных скоростных модификациях.

Кроме того, FB-DIMM производят японский конкурент Micron — компания Elpida и тайваньская компания A-DATA (http://www.adata.com.tw/).

Новые модули компании Elpida позволяют установить в системы с восемью слотами до 32 Гбайт памяти, работающей со скоростью передачи данных до 21,2 Гбайт/с. Модули FB-DIMM построены на базе одногигабитных микросхем DDR2, изготавливаемых с применением уникальной технологии Elpida stacked FBGA (sFBGA). Благодаря этому удалось значительно уменьшить толщину модулей по сравнению с требованиями спецификации JEDEC (6,7 против 9,8 мм). Как отмечает производитель, уменьшенная толщина помогает улучшить вентиляцию памяти. Модули DDR2-667 FB-DIMM компании A-DATA полностью соответствуют стандарту JEDEC, имеют высококачественный радиатор и низкопрофильный дизайн, что улучшает рассеивание тепла и увеличивает надежность и стабильность компактных серверных кластерных систем. Модули компании A-DATA включают AMB от IDT, NEC и Intel, что обеспечивает потребителям широкую возможность выбора. Все эти модули прошли тесты Intel на совместимость и стабильность.

Компания Kingston (http://www.kingston.com/) также выпускает модули нового поколения памяти для серверов и рабочих станций FB-DIMM, выполненные на микросхемах DDR2 SDRAM. Для повышения скорости обработки данных в FB-DIMM-модулях значительно увеличена плотность потока обрабатываемых данных регистровой памяти. По заявлению этого производителя, именно ему удалось «разрешить проблему обратной зависимости между скоростью и объемами модулей, не отходя от стандартов JEDEC».

Компания Other World Computing продает специальные модули FB-DIMM 667MHz DDR2 72-bit ECC для увеличения объема оперативной памяти новых профессиональных настольных компьютеров Apple Mac Pro с процессорами Intel Xeon. Наборы состоят из пар соответствующих модулей FB-DIMM, отвечающих спецификациям Apple, которые выдвигают к ОЗУ более высокие требования, чем стандарт JEDEC.

И наконец, компания Samsung недавно представила полностью буферизованные модули FB-DIMM объемом 8 Гбайт, при производстве которых используется 80-нанометровая технология. Эти модули также сделаны на базе технологии DDR2, но для повышения скорости обработки данных в FB-DIMM-модулях значительно увеличена плотность потока обрабатываемых данных регистровой памяти.

В настоящий момент на российском рынке можно купить модули объемом от 256 Мбайт (которые продавались и ранее, еще до утверждения стандарта) до 4 Гбайт. С помощью последних можно оснастить серверную платформу Intel Bensley оперативной памятью объемом до 192 Гбайт.

Для примера приведем цены на память Kingston FB-DIMM на российском рынке:

• 256 Мбайт на базе DDR2, 533 МГц — 60-70 долл.;
• 512 Мбайт на базе DDR2, 533 МГц — 100-110 долл.;
• 512 Мбайт на базе DDR2, 667 МГц — 120-140 долл.;
• 1 Гбайт на базе DDR2, 533 МГц — 180-210 долл.;
• 1 Гбайт на базе DDR2, 667 МГц — 200-250 долл.;
• 2 Гбайт на базе DDR2, 533 МГц — 370-420 долл.;
• 2 Гбайт на базе DDR2, 667 МГц — 390-500 долл.;
• 4 Гбайт на базе DDR2, 533 МГц — 1000-1400 долл.;
• 4 Гбайт на базе DDR2, 667 МГц — 1600-1700 долл.

Ожидается, что теперь, после утверждения стандарта и с распространением платформы Intel Xeon DP, где памяти FB-DIMM отводится одно из ключевых мест, вырастут и спрос, и объемы производства, а соответственно цены упадут еще больше. Если говорить о массовых поставках, то разница в цене между FB-DIMM и регистровыми DIMM очень быстро станет сравнимой с той прибавкой к стоимости памяти, которую дает сейчас технология ECC.

Интересно, что новая технология памяти упрощает не только работу контроллера, но и монтаж на плате — теперь проектировщики освобождены от необходимости разводки каждого контакта от чипа памяти к контроллеру. Кстати, количество контактов (pin), которые служат для передачи сигнала модуля памяти, у FB-DIMM значительно уменьшилось: при тех же габаритах теперь их 69 против 240 у DDR2 (столько памяти FB-DIMM просто не нужно). А ведь уменьшение числа контактов эффективно снижает уровень шума и с помощью последовательной шины упрощает передачу данных между большим количеством каналов на материнской плате. Для дополнительного снижения шума в новых модулях FB-DIMM задействована технология LVDS (Low-voltage Differential Signaling).

Количество памяти в системе может быть значительно увеличено посредством присоединения внешних модулей — шина позволяет подключать устройства через повторитель (максимальное расстояние между памятью и контроллером при одном повторителе — 24 дюйма). При примерно одинаковом количестве контактов (480 у DDR2 против 420 у FB-DIMM) там, где использовалась DDR2, было 8 Гбайт памяти со скоростью обмена 10 Гбайт/с, а в системе с FB-DIMM будет 192 Гбайт со скоростью передачи данных около 40 Гбайт/с. Разница, согласитесь, существенная.

Впрочем, новая архитектура обладает высокой латентностью (как раз из-за наличия на пути между чипами памяти и контроллером дополнительной микросхемы AMB за вышеперечисленные преимущества придется заплатить более высоким временем задержки при обращении), так что для небольших объемов памяти домашней системы выигрыш от применения FB-DIMM сомнителен. Зато в серверном сегменте, где размеры ОЗУ значительно больше, производительность FB-DIMM будет существенно выше при изначально более высокой надежности и отказоустойчивости.

Из технологических решений, направленных на повышение надежности FB-DIMM, стоит отметить защиту контрольных сумм (не только для данных, но и для команд), коррекцию переключения сигнальных линий при сбоях, фиксацию и возврат кодов кратковременных ошибок в сигнальных линиях, а также процедуры автоматического тестирования AMB.

Отметим, что FB-DIMM фактически является метастандартом памяти и способна работать и с DDR-, и с DDR2-, и с DDR3-чипами. Собственно, и выглядят модули FB-DIMM как соответствующая DDR DRAM, отличие заключается лишь в том, что в центре такого модуля находится AMB (Advanced Memory Buffer). При этом, конечно, конструктивно модули FB-DIMM и слоты для них выполнены так, чтобы полностью исключить возможность ошибочной установки.

Отметим также, что модули FB-DIMM поддерживают коррекцию ошибок ECC (Error Checking и Correction) и включают CRC (Cyclic Redundancy Check). Более того, их можно подключать на лету (при включенном компьютере), что позволит системным администраторам увеличивать объем памяти, не мешая работе системы.

Таким образом, благодаря применению FB-DIMM повышается эффективность системы в целом за счет оптимизации архитектуры: системным администраторам обещают повышение удобства использования, производителям материнских плат — существенное упрощение дизайна, а сборщикам не придется приобретать новый процессор (и одновременно плату для нового разъема), если они захотят сменить ОЗУ на более производительное.

Итак, FB-DIMM — это новая архитектура памяти, которая позволяет устранять задержки, связанные с чтением ОЗУ. Теперь технология памяти будет соответствовать возросшим скоростям работы процессора и подсистемы ввода-вывода, что особенно важно в промышленных платформах.

Кроме того, технология FB-DIMM позволит достичь необходимого уровня скорости и надежности для получения максимальной производительности от многоядерных процессоров. Скоро произойдет резкий рост объемов оперативной памяти серверных систем. Применение модулей FB-DIMM позволит увеличить их в несколько раз по сравнению с нынешними решениями, и это должно стать реальностью в ближайшее время.

Пока FB-DIMM планируется использовать лишь в серверных системах и высокопроизводительных многопроцессорных рабочих станциях, где важны масштабируемость и чрезвычайно высокая производительность подсистемы памяти (например, во флагманских компьютерах компании Apple Mac Pro применяются FB-DIMM с процессорами Dual-Core Intel Xeon Woodcrest), но рост производительности персональных компьютеров и постоянно повышающиеся требования к объему системной памяти со стороны современных игровых приложений в будущем поставят вопрос об использовании указанной технологии в настольных ПК. Устанавливать FB-DIMM сначала будут лишь энтузиасты, примеру которых последуют и владельцы игровых ПК, а со временем технология может стать массовой.

Прогнозы относительно перспектив новой технологии выглядят оптимистично, но, видимо, на первых порах применение FB-DIMM ограничится платформами Intel, так как компания AMD не собирается поддерживать новую технологию, утверждая, что при нынешнем контроллере памяти выигрыша в производительности у систем с FB-DIMM по сравнению с DDR2 не будет. Таким образом, ситуация с FB-DIMM напоминает историю с DDR2, поддержка которой появилась в продуктах Intel еще в июне 2004-го, а у AMD — лишь в 2006-м. Возможно, пересмотреть свою позицию AMD придется в 2008 году, когда цены на пока недешевую полностью буферизованную память упадут, что сделает ее более привлекательной в глазах конечных пользователей (во всяком случае, контроллер памяти FB-DIMM уже лицензирован AMD у Rambus).

КомпьютерПресс 12'2006