ЦОД как Кубик Рубика

Изменились принципы построения не только инженерной, но и вычислительной инфраструктуры. Традиционные рабочие лошадки середины 2000-х – это hi-end-системы, рассчитанные на «тяжелые» бизнес-приложения. Но на сегодняшний день серверы стандартной архитектуры не уступают им по своим возможностям, а стоимость их несколько ниже. Архитектура x86 может быть виртуализована, создаваемые логические серверы при этом обладают необходимым ресурсом процессоров и памяти. Что мы имеем в результате? х86 постепенно вытеснили из дата-центров «элиту», зональное заполнение ЦОД кануло в Лету. Сейчас один тип «железа» равномерно распределяется по всему серверному залу.

Но залы ЦОД десятилетней выдержки с точки зрения инженерной инфраструктуры остались прежними – они просто не приспособлены к новым условиям жизни. Теперь зоны, где раньше находились hi-end, обладают избыточным инженерным ресурсом, который полностью не используется, а секторы, изначально предназначенные для «второстепенного» железа, наоборот, обеспечены им не полностью. Это реальная проблема. Например, для московских ЦОД остро стоит вопрос дефицита электроэнергии. Поскольку баланс «инженерки» нарушен, тепловыделение концентрируется на отдельных элементах инфраструктуры, а в отдельных стойках повышается потребление электроэнергии. То есть в одном углу серверной «живет» вся производительность и все тепловыделение, а в другом – арктическая пустыня. Переместить оборудование на свободный участок ЦОДовладелец не может просто потому, что там нет нужных коммуникаций или воздуховода нужного диаметра. Он получает в своем дата-центре «черную дыру», ежемесячно засасывающую тысячи евро. Эта дыра – следствие так называемой фрагментации ЦОД. Ресурсы простаивают, в то время как мы по полной программе оплачиваем их эксплуатацию. Мы разобрались с тем, кто виноват. Следующий вопрос – что делать?

Резьба по металлу

Как и в случае с обычным жестким диском, нужно провести дефрагментацию дата-центра, причем на уровне как инженерной, так и вычислительной инфраструктуры. Необходима перестройка инженерных систем – прокладка новых кабельных трасс, замена системы кондиционирования и т.д. Но реализовать все это вы не сможете без понимания, где именно и в какой степени загружена существующая инфраструктура. Это позволяют сделать автоматизированные DCIM-системы. Потребность в их использовании четко обозначилась 3–4 года назад – с переходом к наращиванию мощностей дата-центра по мере необходимости.

Отметим, что когда инженерная инфраструктура создавалась «на вырост» вычислительных ресурсов, а типы ИТ-оборудования были четко иерархизированы и известны, потребность в подобных системах отсутствовала. ЦОДовладельцы ограничивались, например, установкой климатических датчиков. Если же мы строим инженерную инфраструктуру по запросу, нужно заранее знать, когда может поступить такой запрос, чтобы быть готовыми к изменениям и уметь моделировать развитие ситуации. Сегодня в масштабном ЦОД это невозможно осуществить без DCIM – Data Center Infrastructure Management.

Решения этого класса делятся на 2 группы. Первая включает в себя комплексные системы с широким функционалом, позволяющие провести детальную инвентаризацию, предоставляющие средства планирования размещения оборудования, прогнозирования, оперативного мониторинга энергопотребления и пр. Вторая – специализированные решения, предназначенные, например, для сбора детальных данных с датчиков и сенсоров в ЦОД или управления активными патч-панелями. По отношению к системам первой категории вторые являются дополнительными.

Но в любом случае нужно понимать, что ключевой функционал DCIM – это инвентаризация физических ресурсов. Должны быть инвентаризированы помещения дата-центров компании, в систему должны быть введены, в том числе, поэтажные планы, также должно быть отражено деление помещений на зоны разного назначения – транспортные, складские, под оборудование и пр. Инвентаризируется оборудование ЦОД – инженерное (системы электропитания и охлаждения, предохранители, переключатели и пр.), пассивное (кабели, стойки), активное – серверы, системы хранения, коммутаторы с указанием их размещения по серверным комнатам и стойкам. В результате мы понимаем, какими именно ресурсами обладает дата-центр. Это могут быть свободные площади пола, юниты в стойках, мощности электропитания и охлаждения на помещение и на каждую стойку в отдельности и т.д. Для того чтобы располагать информацией о своем ЦОД в формате «здесь и сейчас», необходимо постоянно поддерживать реестр в актуальном состоянии.

Полученные данные можно использовать по-разному. Например, для планирования размещения нового ИТ-оборудования. Иногда выясняется, что на участке, ресурсы которого считались исчерпанными, есть свободные мощности питания и охлаждения, и там можно разместить больше серверов. Также можно вести статистику заполнения места в залах и стойках, энергопотребления, тепловыделения. На основании этой информации прослеживают тенденции, прогнозируют скорость и направление развития ЦОД, ожидаемые потребности в электричестве и теплоотводе на конкретный момент времени. Также можно смоделировать инфраструктурные потребности дата-центра при различных вариантах его заполнения.

Теперь поговорим о дефрагментации дата-центра на уровне вычислительной инфраструктуры. Баланса здесь можно добиться с помощью виртуализации, это тот путь, который на данный момент мы считаем наиболее эффективным. Что это подразумевает? В дата-центре создается ферма из однотипных серверов х86, на них размещается система виртуализации, позволяющая управлять виртуальными машинами. В то же время ЦОД находится под присмотром DCIM-решения. Допустим, DCIM регистрирует в какой-то точке повышение температуры на 5 °C. Мы можем реализовать несколько вариантов управления дальнейшими событиями. Например, можно скорректировать систему охлаждения или расширить воздуховоды.

А можно, принимая в расчет тот факт, что на наших серверах развернуты виртуальные машины, перетащить лишние процессы с загруженного сервера на менее загруженный – переместить в то место, где стойка с серверами относительно свободна. В данном случае мы оперируем не следствием, а причиной дисбаланса, то есть не увеличиваем мощность охлаждения, а перераспределяем нагрузку и выравниваем температурный фон и электропотребление.

Два в одном?

В то же время на рынке пока не существует единого апробированного решения, объединяющего в себе возможности мониторинга и управления вычислительной и инженерной инфраструктурой ЦОД. Параллельно с производителями DCIM-систем, произошедших от средств управления инженерными компонентами дата-центра, существуют компании, изначально занимавшиеся общими системами управления ИТ-активами. Это IBM, HP, BMC, CA и др. Помимо задач учета ИТ-инфраструктуры и управления серверной конфигурацией они пытаются охватить и управление нагрузкой на инженерную инфраструктуру ЦОД за счет перемещения вычислительных нагрузок внутри него. Некоторые вендоры развивают собственные DCIM-решения, но большинство идет по пути обеспечения стыковки с решениями других производителей, создает технологические альянсы с разработчиками специализированных систем.

За последнее время появились два блока технологий, в принципе, способных решить проблему стыковки управления ИТ- и инженерной частями дата-центра. Первый – методы аналитики, в первую очередь оперативной, больших объемов данных, собираемых из множества источников. Второй – решения по оркестрации, которые позволяют на основе анализа полученной информации комплексно управлять всеми компонентами инфраструктуры.

Но основная загвоздка здесь заключается в том, что динамики изменения физической и виртуальной сред сильно различаются. Среда, документируемая DCIM, относительно стабильна, поэтому допустимо внесение информации в систему в полуручном режиме. Иное дело – виртуализованная вычислительная среда ЦОД. Пока ни одна из существующих сегодня систем DCIM не позволяет обеспечить скорость изменений, существующую в мире виртуальных машин.

Кручу, верчу, оптимизировать хочу

Подводя итог, отметим, что за последние несколько лет требования, которые предъявляются к инфраструктуре ЦОД их владельцами, кардинально изменились. Раньше инженерные ресурсы, построенные по избыточному принципу, должны были обеспечивать «привольную жизнь» разным, четко разделенным на зоны типам ИТ-оборудования. Сегодня вычислительная инфраструктура становится более однородной по своему составу, при этом инженерная часть, строящаяся по запросу, должна уметь гибко подстраиваться под новые условия. И вычислительные, и инженерные ресурсы оперативно перемещаются по требованию ЦОДовладельца для оптимизации затрат и повышения производительности. Фактически это реализация принципа кубика Рубика – с многовариантным перемещением граней – в каждом отдельном дата-центре.