Данные не горят: как построить ЦОД, который все выдержит

• Для более чем 54% компаний последний серьезный сбой в ЦОД обошелся в сумму, превышающую 100 тыс. долл. А каждый пятый респондент отметил, что суммарный ущерб для его организации составил более миллиона долларов.
• Проблемы с электропитанием — главная причина инцидентов, которые приводили к тяжелым последствиям. Вместе с тем доля значимых сбоев, вызванных ИТ- и сетевыми проблемами, в 2024 году достигла 23%.
• Большинство инцидентов в ЦОД, связанных с человеческим фактором, обусловлено тем, что сотрудники игнорировали инструкции либо эти документы были некачественно составлены.
• 80% операторов ЦОД считают, что более качественное управление позволило бы избежать последнего сбоя, что говорит о необходимости инвестирования в подготовку персонала.
• За период с 2020 по 2024 год количество публично известных сбоев в компаниях финансовой отрасли снизилось с 11 до 3 случаев. Это связано с ужесточением нормативов, которое произошло после ряда крупных инцидентов.
• Активное развитие сервисов на базе искусственного интеллекта значительно увеличивает нагрузку на энергетические и охлаждающие системы ЦОД.

Для того чтобы не допускать инцидентов, необходимо повышать надежность работы центров обработки данных. Это позволит значительно сократить ущерб либо полностью его избежать.

«Надежность любой технической системы, включая ЦОД, —это скорее качественный показатель, который не получится оценить в числовом выражении. Другое дело — такие параметры, как отказоустойчивость и работоспособность. Они зависят не только от топологии ЦОД, но и от оборудования, на котором она реализована. Важен при этом и человеческий фактор, поскольку неверные действия операторов могут привести к краху даже самую совершенную в техническом плане систему — например, вследствие отсутствия необходимого обслуживания либо из-за нарушения эксплуатационных процедур. То же самое касается физической безопасности, без обеспечения которой на объект могут проникнуть злоумышленники и устроить диверсию».

Игорь Дорофеев,

президент Ассоциации участников отрасли ЦОД

Выработка концепции и проектирование ЦОД — этапы, которые определяют облик будущего объекта. В связи с этим важен и выбор ИТ-решений, используемых при его строительстве. Поэтому на таких этапах стоит сосредоточить максимум внимания, заложив базу для эффективной отказоустойчивой эксплуатации и удобства обслуживания техники. Вместе с тем заказчик зачастую встает перед выбором: сделать ставку на объект с низкими капитальными затратами, но требующий более дорогостоящей эксплуатации, либо вложиться в более капиталоемкий на этапе строительства вариант, который будет обслуживаться с меньшими затратами.

Чаще всего окончательное решение по этому вопросу зависит от сферы, к которой относится организация. В частности, для государственных заказчиков логичнее вложить максимум средств на этапе строительства ЦОД, минимизировав дальнейшие расходы на его эксплуатацию. А для коммерческих компаний дорогое обслуживание будет более приемлемым в условиях увеличения прибыли, получаемой на фоне роста клиентского потока. Кроме того, для организаций важно время, которое требуется для запуска ЦОД в эксплуатацию. Как правило, ускорить этот процесс можно за счет использования более дешевых и менее энергоэффективных технологий.

Важно учитывать и возможность масштабирования нового ЦОД, которая должна соответствовать стратегии развития ИТ-инфраструктуры компании. В противном случае в какой-то момент организация может столкнуться с непреодолимыми технологическими барьерами, когда, например, новые стойки в ЦОД будет физически невозможно разместить из-за отсутствия необходимых ресурсов. Планировать развитие ЦОД рекомендуется с учетом всего его жизненного цикла, который в настоящее время составляет 15–17 лет, а в скором будущем может достигнуть 20 лет и более.

«Всегда нужно помнить о том, что ЦОД — достаточно сложный технический объект, в котором взаимодействуют большое количество систем. Поэтому их работа должна быть согласована и сбалансирована уже на этапе проектирования. Если же этого не сделать, то в технологической цепочке образуется слабое звено, и усилить его станет непростой задачей, которую придется выполнять уже в ходе эксплуатации. К тому же достигнутый баланс работы также придется поддерживать весь срок эксплуатации ЦОД, постоянно выявляя и устраняя узкие места».

Игорь Дорофеев,

президент Ассоциации участников отрасли ЦОД

В уровнях отказоустойчивости дата-центров заказчикам помогают ориентироваться так называемые классификации инженерной инфраструктуры. В мире таких классификаций несколько, самыми известными на базе стандартов являются ISO/IEC 22237 c делением на Class 1–4, ANSI/TIA-942 c делением на Rate 1-4, а также справочный документ частной американской консалтинговой компании Uptime Institute c делением на Tier I-IV. При этом модели и методики хоть и отличаются, но в отношении отказоустойчивости четыре категории по смыслу гармонизированы друг с другом. Так, если центры обработки данных начального класса 1 при поломке отключаются, то ЦОД категории 4 продолжает работать в отказоустойчивой топологии.

Отказоустойчивость VS экономия: как найти баланс

Отказоустойчивость можно формировать на уровне инженерных систем или ИТ-инфраструктуры, а можно использовать комплексный подход — учитывать и то и другое. Выбор необходимого пути здесь будет зависеть от того, на чьей стороне решается эта задача. Например, организации, управляющие ЦОД, в которых установлена ИТ-инфраструктура клиента, могут влиять лишь на инженерные системы. Если же говорить с позиции клиента, то для усиления устойчивости он может, например, размещать собственную ИТ-инфраструктуру в различных ЦОД, выстраивая распределенную систему. При этом метрикой, на которую ориентируется бизнес, будет являться не только надежность систем, но и стоимость владения ими.

«Разумеется, экономические показатели всегда будут сдерживать рост уровня отказоустойчивости ЦОД. Центры обработки данных никогда не приблизятся по этому показателю к космическим кораблям и подводным лодкам, в системах которых используется многократное резервирование, требующее дополнительных затрат. И это неудивительно, ведь ЦОД сейчас фактически массовый продукт, к которому предъявляются совсем иные требования. Никто не будет защищать такие объекты от нашествия инопланетян, ведь при наступлении этого события ЦОД уже не понадобится. Если же говорить о типовых рисках, то их учитывают. В частности, это могут быть такие события, как одиночные отказы. А вот в защиту от каскадных отказов компании уже вряд ли будут вкладываться».

Игорь Дорофеев,

президент Ассоциации участников отрасли ЦОД

Кроме того, по словам эксперта, при выборе ЦОД необходимо принимать во внимание ситуацию в компании и возможные внутренние риски, включая спор относительно прав собственности между владельцами объекта или дефицит средств, который приведет к невозможности обслуживания ИТ-инфраструктуры и последующим проблемам.

Почему резервирование не панацея для надежности

В области отказоустойчивости особое место занимает выбор схем резервирования ЦОД. И в этом вопросе стоит разделять техническую и маркетинговую составляющие, поскольку зачастую применение определенной схемы подается как конкурентное преимущество дата-центра.

«На деле использование той или иной схемы резервирования зависит скорее от условий эксплуатации и технического окружения объекта. Однако заказчик не должен забывать и о других аспектах — в частности, таких значимых, как пожарная безопасность или эксплуатационные процедуры. Ведь никому не нужен сгоревший ЦОД, пусть и с хорошей схемой резервирования».

Игорь Дорофеев,

президент Ассоциации участников отрасли ЦОД

С другой стороны, слабое резервирование инженерных систем зачастую подразумевает наличие дежурных бригад эксплуатации, содержание которых может себе позволить далеко не каждая организация, особенно если речь идет о небольшом объекте. В этом случае уровень резервирования имеет смысл повысить, увеличив время реакции на выход из строя оборудования. Тогда ЦОД будет способен работать после поломки до момента прибытия аварийной бригады, которая устранит неисправность. Такой же подход следует реализовывать и в ситуациях, когда временный выход ЦОД из строя не будет критичным для организации либо время простоя не обойдется слишком дорого для бизнеса.

Важно учитывать, что далеко не все сложные топологические решения и системы автоматизации повышают отказоустойчивость. Как правило, самая трудная задача в проектировании — сделать систему как можно более простой и элегантной. Простота конструкции сама по себе придает ей надежность за счет снижения количества точек отказа.

Вопросы энергии: почему дешевле не значит экономичнее

Энергоэффективность — один из ключевых показателей при оценке ЦОД потребителями. Любой такой объект необходимо питать электроэнергией, одновременно отводя вырабатываемое им тепло с помощью систем охлаждения. Через этот процесс проходит колоссальное количество энергии.

Более того, ЦОД сам является источником воздействия на окружающую среду: оборудование издает шум, а резервные дизельные генераторы заправляются топливом, которое теоретически может протечь и загрязнить почву, грунтовые воды и ближайшие водоемы. Наконец, ЦОД потребляет большое количество воды (особенно в случае, если в нем установлена система испарительного охлаждения) и выбрасывает в атмосферу углекислый газ. Все эти факторы оцениваются с помощью соответствующих показателей:

Интересно, что PUE учитывает как объем электричества, который потребовался непосредственно для работы ИТ-систем, так и тот, что пошел на обеспечение этой работы. Однако при вычислении такого коэффициента не принимается во внимание факт того, что оборудование может потреблять электричество и в режиме ожидания, и при активных вычислениях. По этой причине для расчетов эффективности необходимы дополнительные показатели — в частности, оценивающие, сколько электроэнергии ЦОД затрачивает на выполнение определенного количества операций. Анализ таких показателей позволяет компаниям оптимизировать работу ЦОД и в сфере инженерных систем, и в области ИТ-инфраструктуры.

«Более энергоэффективный ЦОД, как правило, будет дороже объекта, который потребляет больше электричества для совершения того же количества операций. И его востребованность напрямую зависит от тарифов на электричество в той или иной стране. Поэтому в Европе такие ЦОД намного более востребованы, чем в России, где вопросы экономии энергии часто отходят на второй план, уступая место стоимости оборудования. Энергоэффективные решения зачастую просто не окупаются на территории РФ. Но с ростом стоимости ресурсов отношения и подходы к вопросу существенно меняются».

Игорь Дорофеев,

президент Ассоциации участников отрасли ЦОД

Особое значение эксперты придают параметру PUE, показывающему, сколько из выделенной мощности будет использовано для полезной работы серверного оборудования.

«Именно PUE играет решающую роль при выборе оптимальной площадки и архитектуры ЦОД. Энергопотребление лишь расширяется с ростом нагрузок, которые принимает на себя современная ИТ-инфраструктура. А необходимость снизить энергозатраты на работу систем охлаждения приводит, например, к развитию технологии жидкостного охлаждения, а также направления free cooling (свободное охлаждение с помощью наружного воздуха). Наряду с этим жидкостное охлаждение имеет особенно низкий PUE и применяется в стойках повышенной вычислительной мощности на 100–150 киловатт, в частности используемых под ИИ».

Всеволод Воробьев,

руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»

Когда энергия рядом

Одна из перспективных тенденций в области энергоэффективности — строительство ЦОД рядом с электростанциями различного типа (как тепловыми, так и АЭС/ГЭС). При этом близость к таким объектам сама по себе обеспечивает высокий уровень физической безопасности, поскольку они являются стратегическими и хорошо защищены. К тому же данная связка ЦОД с электростанцией резко повышает его энергоэффективность, поскольку минимизирует потери, связанные с передачей электроэнергии на большие расстояния.

Такая стратегия в полной мере вписывается в ресурсоориентированную модель размещения ЦОД и, помимо перечисленных преимуществ, имеет свои слабые места — в частности, сложности с выстраиванием каналов связи и набором квалифицированного персонала для удаленных объектов. Подобный вариант может подойти компании в случае, если ЦОД используется для очень ресурсоемких операций — например, обучения моделей искусственного интеллекта, для чего необходимы огромные затраты энергии.

Если же говорить о клиентоориентированной модели, то в ее рамках заказчики стремятся разместить ЦОД поближе к центрам потребления, которые чаще всего находятся в крупных городах.

Бремя управления: ИИ советует, человек решает

Эффективно управлять ЦОД невозможно без понимания происходящих в нем процессов, мониторинг которых необходимо вести постоянно. С другой стороны, тотальный контроль с помощью тысяч датчиков на всех уровнях инфраструктуры будет избыточным и слишком дорогостоящим. Золотая середина на сегодняшний день состоит в мониторинге ключевых параметров ЦОД с помощью ИИ.

Результаты ИИ-анализа будут предоставлены операторам: они увидят целостную картину происходящего, а также с помощью предиктивной аналитики получат прогнозы вероятных событий. Как правило, такая схема работы позволяет грамотно распределить ресурсы на обслуживание ЦОД и, таким образом, обеспечить его надежную и бесперебойную работу. В настоящее время уже началось внедрение ИИ для анализа процессов в крупных ЦОД, и это направление имеет хорошие перспективы развития.

По словам экспертов компании «Инфосистемы Джет», каждый современный ЦОД необходимо в обязательном порядке оснащать системами автоматизации, диспетчеризации и резервного управления. Только с их помощью можно контролировать огромное количество параметров, поступающих от многочисленных устройств и механизмов. Эти системы собирают показатели, анализируют их и выдают соответствующие рекомендации. А если в их работе задействован искусственный интеллект, специалисты могут получить детальные прогнозы технического состояния устройств и подготовиться к их возможному выходу из строя — в частности, запланировав для службы эксплуатации проведение технических работ.

«В настоящее время ИИ пробуют использовать для управления работой ЦОД, однако такие попытки являются скорее смелым экспериментом. Мы же пока придерживаемся консервативных взглядов: окончательные управленческие решения всегда должен принимать человек, который может руководствоваться множеством показателей и подсказок, в том числе от систем искусственного интеллекта».

Всеволод Воробьев,

руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»

Надежность малых форм

Основная задача периферийных ЦОД — сбор и предобработка данных, которые компаниям невыгодно отправлять из региона в центральный ЦОД (например, находящийся в Москве). С другой стороны, такие объекты необходимы для тех сфер применения, где для работы техники требуется низкая задержка (Latency) при передаче информации, что актуально, например, для беспилотного транспорта. В этом случае периферийные ЦОД должны стоять вдоль дорог — например, по одному объекту на каждые 100 километров пути, что обеспечит приемлемую задержку, не превышающую 5 миллисекунд.

«В качестве периферийных часто могут выступать модульные ЦОД: высокая скорость их производства и удобство транспортировки позволяют разместить такие дата-центры максимально близко к объектам генерации данных, в том числе удаленным. При этом ЦОД сразу же находится в состоянии заводской готовности, что само по себе является гарантией его высокой отказоустойчивости. Как правило, модульные ЦОД ставят в филиалах и вблизи различных промышленных объектов — например, месторождений полезных ископаемых, где ведется их добыча. Нередко подобные ЦОД объединяют в распределенную корпоративную сеть, конфигурация которой обеспечивает надежность хранения и обработки данных компании».

Всеволод Воробьев,

руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»

От неопределенности к адаптивности

В настоящее время центры обработки данных развиваются в условиях технологической неопределенности. С одной стороны, это значительный рост энергопотребления и производительности вычислительной инфраструктуры, а с другой — кратное увеличение нагрузки и задач, которые должны выполняться в ЦОД (включая обеспечение работы ИИ-сервисов, чему посвящена отдельная статья в этом номере).

Такое положение вещей еще больше повышает значимость работы дата-центров и ужесточает требования к их отказоустойчивости и гибкости. Проектировать и строить такие объекты, закладывая в них большую адаптивность и надежность, — приоритетные задачи инженеров. И от их решения во многом зависит развитие и модернизация российской ИТ-инфраструктуры в будущем.