Центры обработки данных: вчера, сегодня, завтра
Адаптивная инженерная инфраструктура ЦОД
Примеры коммерческих дата-центров
Дата-центры Stack Data Network
В современном понимании дата-центр (data center), или центр обработки данных (ЦОД), — это комплексное организационно-техническое решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. В более узком смысле ЦОД — это помещение, предназначенное для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к быстрым каналам связи. Для того чтобы полнее раскрыть суть понятия ЦОД, начнем с истории его возникновения.
В принципе, вычислительные центры, знакомые многим по ЕС-машинам, которые получили распространение в нашей стране еще 30 лет назад, — это в определенном смысле прародители современных ЦОД. Общей для нынешних ЦОД и старых ВЦ является идея консолидации ресурсов. При этом ВЦ имели достаточно сложные подсистемы обеспечения необходимой для вычислительной техники среды, которая состояла из подсистем охлаждения, электропитания, безопасности и т.п., многие из которых используются и в современных ЦОД.
С распространением ПК в середине 1980-х годов наметилась тенденция к рассредоточению вычислительных средств — настольные компьютеры не требовали особых условий, а следовательно, вопросам обеспечения специальной среды для вычислительной техники уделялось все меньше внимания. Однако с развитием клиент-серверной архитектуры в конце 90-х годов возникла необходимость установки серверов в специальных помещениях — серверных комнатах. Нередко случалось так, что серверы размещали на площади старых ВЦ. Примерно в это время появился термин «дата-центр» (data center), применяемый к специально спроектированным компьютерным помещениям.
Расцвет дата-центров пришелся на период бума дот-комов. Компании, которым требовались быстрый интернет-доступ и непрерывность ведения бизнеса, стали проектировать специальные помещения, обеспечивающие повышенную безопасность обработки и передачи данных, — Интернет-дата-центры (Internet Data Centers). Поскольку все современные дата-центры обеспечивают доступ к Интернету, первое слово в названии было упразднено. Со временем появилось отдельное научное направление, которое занимается вопросами оптимизации строительства и эксплуатации дата-центров.
В начале XXI века многие крупные компании как за рубежом, так и у нас в стране пришли к необходимости внедрения ЦОД — для одних первостепенным стало обеспечение непрерывности бизнеса, для других ЦОД-решения оказались очень эффективными вследствие экономии эксплуатационных затрат. Многие крупные компании пришли к выводу, что централизованная модель вычислений обеспечивает лучший показатель TCO.
За последнее десятилетие многие крупные ИТ-компании обзавелись целой сетью ЦОД. Например, старейший глобальный оператор Cable & Wireless в 2002 году купил американскую компанию Digital Island — владельца 40 ЦОД по всему миру, а европейский оператор Interoute в 2005 году приобрел оператора и хостинг-провайдера PSINet, подключив к своей панъевропейской сети 24 ЦОД.
Практика применения риск-ориентированных подходов к ведению бизнеса стимулирует использование ЦОД. Компании начали понимать, что вложения в организацию бесперебойной работы критичных ИТ-систем обходятся для многих видов бизнеса гораздо дешевле, чем возможный ущерб от потери данных в результате сбоя. Внедрению ЦОД способствует также принятие законов, требующих обязательного резервирования ИТ-систем, появление рекомендаций по применению модели аутсорсинга ИТ-инфраструктуры, необходимость защиты бизнеса от природных и техногенных катастроф.
Отдельные ЦОД стали занимать все большие территории. Например, недавно появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова площадью 22,3 га, потратив на него 600 млн долл., который заработает уже весной 2009 года.
В России строительство ЦОД (в современном понимании этого термина) началось в конце прошлого — начале нового века. Одним из первых крупных российских ЦОД был Центр Сбербанка. Сегодня собственные ЦОД имеют многие коммерческие структуры (прежде всего финансовые организации и крупные операторы связи).
При этом солидные российские Интернет-компании имеют уже по нескольку дата-центров. Например, в сентябре текущего года появилось сообщение о том, что Яндекс открыл новый (уже четвертый по счету) дата-центр на 3 тыс. серверов (занимаемая площадь — 2 тыс. кв.м, подведенная мощность — 2 МВт). Новый комплекс оснащен прецизионными системами охлаждения, позволяющими снимать до 10 кВт со стойки, источниками бесперебойного питания и дизельными генераторами. Дата-центр подключен к московскому оптическому кольцу Яндекса, которое соединяет другие дата-центры и офисы Яндекса, а также к М9 и М10 — традиционным точкам обмена трафиком с провайдерами.
Одновременно с этим российский оператор «Синтерра» объявил о начале одного из самых крупных проектов (не только по российским, но и по европейским меркам) — строительстве национальной сети собственных ЦОД. Проект получил название «40x40». Создав крупные дата-центры в узлах широкополосной сети в большинстве регионов России, оператор намерен превратить их в точки локализации клиентов и продаж всего спектра услуг.
До середины 2009 года в 44 центрах субъектов Федерации будут открываться вновь создаваемые ЦОД. Первыми станут Москва, Санкт-Петербург, Казань, Самара и Челябинск. Оператор планирует, что до конца 2008 года будут введены в эксплуатацию первые 20 площадок, остальные — к середине 2009-го. Интеграторами проекта являются «Крок», «Техносерв А/С» и Integrated Service Group (ISG).
Площадь каждого ЦОД, в зависимости от потребностей региона, будет варьироваться от 500 до 1000 кв.м по фальшполу и вмещать 200-300 технологических стоек. К ЦОД должны быть подключены по два кольца сети общей пропускной способностью каналов 4x10 Гбит/с, что обеспечит клиентам высокий уровень резервирования и доступности сервисов.
Проект «40x40» ориентирован на широкий круг клиентов, имеющих потребность в аутсорсинге ИТ-инфраструктуры в масштабах всей страны, — операторов связи, «сетевых» корпоративных клиентов, разработчиков контента и приложений, операторов IP-TV и телевизионных компаний, а также на госструктуры, отвечающие за реализацию национальных ИКТ-программ.
Собственные ЦОД у нас в стране имеют не только коммерческие, но и государственные структуры, такие как МВД, МЧС и ФНС.
По данным IDC, количество дата-центров в США достигнет к 2009 году 7 тыс. — по мере перевода компаниями распределенных вычислительных систем на централизованные.
Наряду со строительством новых дата-центров на повестке дня стоит проблема модернизации старых. По данным Gartner, к 2009 году 70% оборудования ЦОД перестанет отвечать эксплуатационным требованиям и требованиям к производительности, если не будет проведена соответствующая модернизация. Средний срок обновления компьютерного оборудования в ЦОД — примерно три года. Инфраструктура ЦОД проектируется с учетом срока эксплуатации порядка 15 лет.
Назначениеи структура ЦОД
В зависимости от назначения современные ЦОД можно разделить на корпоративные, которые работают в рамках конкретной компании, и ЦОД, предоставляющие сервисы сторонним пользователям.
Например, банк может иметь дата-центр, где хранится информация по транзакциям его пользователей, — обычно он не оказывает услуг сторонним пользователям. Даже если ЦОД не предоставляет подобных услуг, он может быть выделен в отдельную организационную структуру компании и оказывать ей услуги по доступу к информационным сервисам на базе SLA. Многие крупные компании имеют ЦОД того или иного вида, а международные компании могут иметь десятки ЦОД.
ЦОД может также использоваться для предоставления услуг профессионального ИТ-аутсорсинга ИТ-решений на коммерческих условиях.
Все системы ЦОД состоят из собственно ИТ-инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.
ИТ-инфраструктура
Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС (рис. 1).
Рис. 1. ИТ-инфраструктура современного ЦОД
Рассмотрим организацию серверного комплекса и системы хранения данных.
Серверный комплекс ЦОД
Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов (см. рис. 1):
- ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
- серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы; например, серверы, выполняющие модули SAP R/3;
- серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
- служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.
К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.
Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.
Системы хранения данных
Наиболее перспективным решением организации системы хранения данных (СХД) является технология SAN (Storage Area Network), обеспечивающая отказоустойчивый доступ серверов к ресурсам хранения и позволяющая сократить совокупную стоимость владения ИТ-инфраструктурой за счет возможности оптимального онлайнового управления доступа серверов к ресурсам хранения.
СХД состоит из устройств хранения информации, серверов, системы управления и коммуникационной инфраструктуры, обеспечивающей физическую связь между элементами сети хранения данных (рис. 2).
Рис. 2. Система хранения данных на базе технологии SAN
Подобная архитектура позволяет обеспечить бесперебойное и безопасное хранение данных и обмен данными между элементами сети хранения данных.
В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel (FC). Техническую основу сети хранения данных составляют волоконно-оптические соединения, FC-HBA и FC-коммутаторы, в настоящее время обеспечивающие скорость передачи 200 Мбайт/с.
Применение SAN в качестве транспортной основы системы хранения данных дает возможность динамической реконфигурации (добавление новых устройств, изменение конфигураций имеющихся и их обслуживание) без остановки системы, а также обеспечивает быструю перегруппировку устройств в соответствии с изменившимися требованиями и рациональное использование производственных площадей.
Высокая скорость передачи данных по SAN (200 Мбайт/с) позволяет в реальном времени реплицировать изменяющиеся данные в резервный центр или в удаленное хранилище. Удобные средства администрирования SAN дают возможность сократить численность обслуживающего персонала, что снижает стоимость содержания подсистемы хранения данных.
Адаптивная инженерная инфраструктура ЦОД
Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.
Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.
Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDC, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.
Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.
Проектирование, строительство и эксплуатация ЦОД — весьма сложный и трудоемкий процесс. Существует множество компаний, предлагающих необходимое оборудование — как компьютерное, так и вспомогательное, но для построения индивидуального решения без помощи интеграторов здесь не обойтись. Созданием дата-центров в России занимается целый ряд крупных отечественных системных интеграторов, таких как IBS Croc OpenTechnologies, а также специализированные компании: DataDome, IntelinePro и др.
ЦОД и ИТ-аутсорсинг
По данным IDC, мировой рынок только хостинговых услуг в ЦОД растет очень быстро и к 2009 году составит 22-23 млрд долл.
Наиболее комплексная услуга ИТ-аутсорсинга — это аутсорсинг информационных систем. Он предоставляется по долговременному соглашению, по которому поставщик услуг получает в полное управление всю ИТ-инфраструктуру клиента или ее значительную часть, в том числе оборудование и установленное на нем программное обеспечение. Это проекты с широким вовлечением исполнителя, которые предполагают ответственность за системы, сеть и отдельные приложения, входящие в ИТ-инфраструктуру. Обычно аутсорсинг ИТ-инфраструктуры оформляется долгосрочными контрактами, которые длятся более года.
Для создания собственной ИТ-инфраструктуры с нуля компаниям необходимы большие средства и высокооплачиваемые специалисты. Аренда инфраструктуры дата-центра позволяет снизить TCO за счет разделения ресурсов между клиентами, обеспечивает доступ к новейшим технологиям, дает возможность быстрого развертывания офисов с возможностями наращивания ресурсов. Для многих компаний надежность бесперебойного функционирования оборудования и сетевой инфраструктуры становится сегодня критичным фактором для функционирования бизнеса. Аутсорсинг ИТ-инфраструктуры позволяет обеспечить высокий уровень надежности данных при ограниченной стоимости, предоставляя клиентам возможность аренды серверных стоек и мест в стойке для размещения оборудования заказчика (co-location), аренды выделенного сервера (dedicated server), лицензионного ПО, каналов передачи данных, а также получения технической поддержки.
Заказчик освобождается от множества процедур: технической поддержки и администрирования оборудования, организации круглосуточной охраны помещений, мониторинга сетевых соединений, резервного копирования данных, антивирусного сканирования ПО и т.д.
ЦОД также может оказывать услугу аутсорсингового управления приложениями. Это позволяет заказчикам использовать сертифицированных специалистов, что гарантирует высокий уровень обслуживания программных продуктов и обеспечивает легкий переход с одного ПО на другое при минимальных финансовых затратах.
В режиме аутсорсинга приложений клиенты ЦОД могут получить аутсорсинг почтовых систем, интернет-ресурсов, систем хранения данных или баз данных.
Передавая свои корпоративные системы на аутсорсинг для резервирования, заказчики снижают риск потери критичной информации за счет использования профессиональных систем возобновления работоспособности ИТ-систем, а в случае аварии получают возможность страхования информационных рисков.
Обычно клиентам ЦОД предлагается несколько уровней обеспечения непрерывности бизнеса. В простейшем случае это размещение резервных систем в дата-центре с обеспечением должной защиты. Кроме того, может быть вариант, при котором клиенту также предоставляется аренда программно-аппаратных комплексов для резервирования. Наиболее полный вариант услуги предполагает разработку полномасштабного плана восстановления систем в случае аварии (Disaster Recovery Plan, DRP), который подразумевает аудит информационных систем заказчика, анализ рисков, разработку плана восстановления после аварии, создание и обслуживание резервной копии системы, а также предоставление оборудованного офисного помещения для продолжения работы в случае аварии в основном офисе.
Примеры коммерческих дата-центров
Дата-центры Stack Data Network
Сеть Stack Data Network объединяет три дата-центра, построенных с учетом зарубежного опыта.
Два из них (дата-центр Stack и дата-центр M1) общей емкостью 700 стоек расположены в Москве, а третий (дата-центр PSN) емкостью 100 стоек — в 100 км от столицы.
Существуют партнерские договоренности с рядом европейских дата-центров о возможности использования их ресурсов через Stack Data Network.
Дата-центры Stack Data Network предоставляют услугу обеспечения непрерывности бизнеса — disaster recovery, а также качественный хостинг: услугу collocation — размещение серверов (рис. 3) и услугу dedicated server — выделенный сервер (рис. 4).
Рис. 3. ЦОД Stack: размещение серверов
(server collocation)
Рис. 4. ЦОД Stack: аренда выделенного сервера
Дата-центры обладают системами автономного электропитания с источниками бесперебойного питания и мощными дизель-генераторными установками (рис. 5), системами климат-контроля и кондиционирования (рис. 6), системами круглосуточного мониторинга состояния инфраструктурных элементов и системами газового пожаротушения. Для обеспечения надежности систем жизнеобеспечения все системы зарезервированы по схеме N+1. Особый режим безопасности достигается за счет нескольких периметров доступа с использованием индивидуальных пластиковых магнитных карт, биометрической системы контроля доступа, системы видеонаблюдения и датчиков движения.
Рис. 5. ЦОД Stack: дизель-генератор
Рис. 6. ЦОД Stack: кондиционер Liebert
В сети дата-центров Stack Data Network организована круглосуточная служба эксплуатации (дежурные операторы и специалисты), в том числе по системам жизнеобеспечения. Функционируют системы круглосуточного мониторинга систем жизнеобеспечения, телекоммуникационного и серверного оборудования, сети и состояния каналов связи. Дата-центры соединены с основными телекоммуникационными узлами Москвы и объединены между собой собственными резервированными волоконно-оптическими линиями связи.
Sun Microsystems предлагает новую концепцию «ЦОД в коробке» Процесс создания традиционных ЦОД весьма затратный и длительный. Для его ускорения компания Sun Microsystems предложила решение, получившее название Blackbox («Черный ящик»). Система Blackbox монтируется в грузовой контейнер стандартной длины, в который можно упаковать до 120 серверов SunFire T2000 или до 250 серверов SunFire T1000 (в сумме - 2 тыс. ядер) либо до 250 серверов SunFire x64 (тысяча ядер), а также системы хранения, емкость которых может доходить до 1,5 Пбайт на жестких дисках и до 2 Пбайт на лентах. К контейнеру можно подключить до 30 тыс. терминалов Sun Ray.
Система работает под управлением Solaris 10. Оборудование размещено в контейнере очень плотно, для циркуляции воздуха просто нет места. В связи с этим воздушное охлаждение крайне неэффективно, поэтому применяется водяное охлаждение. По данным SUN, размещение оборудования внутри грузового контейнера позволяет снизить удельную стоимость вычислительной мощности на единицу площади в пять раз по сравнению с обычным центром обработки данных. Решение Blackbox, как минимум, на порядок дешевле по сравнению с традиционной организацией ЦОД, при этом оно обеспечивает многократное ускорение процесса инсталляции. Следует отметить, что такой центр может быть реализован далеко не везде, поскольку не в каждое здание можно внести подобный контейнер. Продажа решения бала начата в этом году. |
Дата-центр IBS DataFort
В 2001 году IBS и Cable & Wireless объявили о начале предоставления российским и зарубежным компаниям комплексных услуг по схеме ASP в рамках совместного проекта DATA FORT на базе дата-центра. Чуть позже DATA FORT зажил самостоятельно, а в 2003-м IBS объявила о запуске собственного ДЦ, который принадлежит дочерней компании IBS — IBS DataFort. ЦОД IBS DataFort ориентирован на обслуживание клиентов с критичными требованиями к конфиденциальности и защите данных, обеспечивает высокую степень доступности данных, современные аппаратно-программные средства, надежное энергоснабжение, скоростные каналы передачи данных и высокий уровень технической поддержки. Периметр имеет усиленную охрану (рис. 7).
Рис. 7. Охраняемая территория ЦОД IBS DataFort
Внутри здания находятся технический модуль площадью более 130 кв.м, двухэтажный резервный офис площадью около 150 кв.м, а также операторский пост. Для предотвращения рисков заливов и пожаров технический модуль дата-центра построен из стальных сандвич-панелей и поднят на полметра над уровнем пола (рис. 8).
Рис. 8. Технический модуль дата-центра IBS DataFort
Технический модуль представляет собой пожаробезопасную, сейсмоустойчивую конструкцию, оборудованную высокопрочным фальшполом, системами гидроизоляции и заземления. Модуль рассчитан на 1500 Rack-серверов, размещаемых в 19-дюймовых промышленных стойках АРС.
В дата-центре установлен автоматический комплекс газового пожаротушения, состоящий из оборудования Fire Eater, «Шрак» и ГОС «Инерген», световой и звуковой сигнализации (предупреждающей о пуске газа и требующей покинуть помещения дата-центра), а также эффективной системы дымоудаления (рис. 9).
Рис. 9. Системы пожаротушения дата-центра
IBS DataFort
Система климатического контроля (рис. 10) состоит из промышленных кондиционеров с автоматическим поддержанием заданной температуры в районе 22±0,5 °C и влажности на уровне 50±5 %, включенных по схеме N+1 (при выходе из строя одного из кондиционеров расчетные параметры всей системы не нарушаются). Приток свежего воздуха с улицы осуществляется с помощью специальной установки, препятствующей проникновению пыли внутрь дата-центра.
Рис. 10. Система климатического контроля
дата-центра IBS DataFort
IBS DataFort специализируется на услугах комплексного аутсорсинга ИТ, принимая на себя все функции ИТ-подразделений заказчика, и предлагает следующие виды услуг:
- аутсорсинг ИТ-инфраструктуры — размещение оборудования заказчика или предоставление в аренду инфраструктуры дата-центра, обеспечение работоспособности корпоративных информационных систем;
- управление приложениями — квалифицированное администрирование и управление различными приложениями;
- аутсорсинг ИТ-персонала — предоставление квалифицированных специалистов для решения различных ИТ-задач;
- обеспечение непрерывности бизнеса — организация отказоустойчивых решений для восстановления информационных систем после аварий и сбоев;
- ИТ-консалтинг и аудит — услуги аудита и инвентаризации в области ИТ, а также построение промышленных технологий эксплуатации ИТ-систем;
- функциональный аутсорсинг — управление отдельными ИТ-функциями по оговоренным стандартам и утвержденному уровню сервиса.
В статье использованы материалы компаний IBS (http://www.ibs.ru/) и Stack (http://www.stack.net).
 |
|
