Подписаться
Читать в телеграм
По данным аналитиков McKinsey, 78% компаний уже используют искусственный интеллект для решения бизнес-задач. Для массового внедрения ИИ-сервисов необходима развитая ИТ-инфраструктура, обеспечивающая их работу. В первую очередь речь идет о центрах обработки данных, спрос на которые в России растет на 10–15% в год. Однако обычный дата-центр «заточить» под нагрузки ИИ не получится. Почему — разбираемся в нашей статье.
ЦОД с особыми условиями
Технологии искусственного интеллекта «перестраивают» дата-центры, так как требуют экстремальной вычислительной плотности. Ее не могут обеспечить процессоры, которыми оснащены обычные ЦОД. Для обработки задач машинного обучения необходимы графические процессоры (GPU). Серверы с графическими ускорителями, объединенные высокоскоростной сетевой инфраструктурой, образуют GPU-кластеры. Они предназначены для ресурсоемких параллельных вычислений, характерных для обработки больших данных, обучения и поддержки работы больших языковых моделей (LLM) и других систем искусственного интеллекта. Из набора GPU-кластеров и состоит дата-центр для ИИ.
Для таких ЦОД необходимы специализированные комплектующие, современное жидкостное охлаждение серверных стоек и продвинутые системы управления, способные обеспечить эффективную работу высоконагруженного оборудования в различных режимах и предотвратить возможные инциденты. Но главное — эти объекты «съедают» значительно больше электроэнергии.
«ИИ-нагрузки принципиально меняют логику проектирования дата-центров. Если стандартная стойка сегодня потребляет 5–10 кВт, то для решения задач машинного обучения этот показатель увеличивается до 40–60 кВт — то есть речь идет о кратном росте плотности энергопотребления. Средняя нагрузка на стойку у наших клиентов уже составляет 12 кВт, а в ряде контрактов превышает 20 кВт. Воздушное охлаждение перестает справляться: при размещениях с плотностью от 50 кВт это становится либо технически невозможным, либо экономически невыгодным. Поэтому мы проектируем новые объекты с возможностью гибридного — воздушного и водовоздушного — охлаждения. В Москве в Южном кампусе IXcellerate спроектирован отдельный зал с водяным охлаждением мощностью 1 Мвт».
Сергей Вышемирский,
технический директор IXcellerate
Эксперт отметил, что при строительстве таких объектов важно и то, что ИИ-вычисления допускают кратковременные остановки без потери данных — это позволяет отказаться от избыточного резервирования вычислительных мощностей и оптимизировать капитальные затраты. Главный принцип — закладывать архитектурный и энергетический запас уже на этапе концепции: в дальнейшем адаптировать готовый объект под высокоплотные нагрузки практически невозможно.
«Физику обмануть нельзя, ведь меньшая проектная мощность — это иное оборудование. Даже кабели используются неподходящие для ИИ — обладающие меньшим сечением. Поэтому, чтобы получить большую мощность на стойку при переходе на обслуживание ИИ-приложений, необходимо кардинально менять инженерную инфраструктуру либо распределять нагрузку по большому количеству стоек. Кроме того, не стоит забывать о наличии необходимых для ИИ генерирующих мощностей и готовности энергетических компаний адаптировать выработку электричества для вашего объекта. Все эти решения значительно затрудняют изменение классических ЦОД под задачи обслуживания ИИ-приложений. В большинстве случаев проще построить новый объект с нуля».
Сергей Андронов,
директор центра сетевых решений компании «Инфосистемы Джет»
В то же время нецелесообразно использовать специализированный ЦОД для ИИ для стандартных задач: получается слишком дорого из-за графических ускорителей. Впрочем, на российском рынке есть гибридные дата-центры: часть площадей отдается под обработку задач искусственного интеллекта, а какой-то зал оборудован под стандартные технологии.
Из Москвы — в регионы: в погоне за энергией
ЦОД для ИИ логичнее всего обеспечивать энергией напрямую от АЭС, гидро- или газовых электростанций. Строительство последних, например, уже запустили такие ИТ-гиганты, как Google, Microsoft и Meta, и это привело к дефициту газовых турбин на рынке. Интересно, что для питания дата-центров даже планируется проектировать АЭС нового типа: они будут иметь относительно небольшой срок эксплуатации при форсированной генерации электричества. Однако пока ощущается нехватка электроэнергии для ИИ-ориентированных дата-центров.
«Электроэнергии в крупных российских городах становится все меньше и меньше. В Москве ее практически не осталось. По нашим прогнозам, в ближайшее время строительство ЦОД для ИИ будет массово смещаться в Московскую и близлежащие области, например Калужскую, Тверскую. Либо в совсем удаленные от столицы регионы, где электричества больше и есть возможность строить такие крупные энергоемкие объекты».
Всеволод Воробьев,
руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»
Однако в регионах должен быть выбор провайдеров высококачественных, разносторонних каналов связи для обмена информационным трафиком, который генерируют дата-центры, добавил эксперт.
Полное погружение: как охладить самый горячий ЦОД
Помимо энергетического вопроса, российским операторам ЦОД для ИИ при проектировании объектов приходится учитывать и аспекты, связанные с введением санкций. Ограниченная доступность импортного оборудования стала для них одним из ключевых вызовов. Именно этот фактор побудил IXcellerate развивать собственный R&D-центр.
«Мы искали решения, которые позволили бы ускорить запуск новых объектов в условиях, когда привычная компонентная база перестала быть доступной в прежних объемах. В результате были разработаны и запатентованы собственные технологии кондиционирования машинных залов — воздухоохладительная камера статического давления (ВОК), обеспечивающая равномерное распределение воздушных потоков. Решение прошло независимую экспертизу Роспатента и уже эксплуатируется на действующих объектах с суммарной нагрузкой свыше 30 МВт».
Сергей Вышемирский,
технический директор IXcellerate
Без передовых систем охлаждения эксплуатация ИИ-ориентированных ЦОД становится невозможной из-за экстремальной плотности тепловыделения GPU-кластерами. На первый план сейчас выходят иммерсионные системы, использующие жидкости для отвода тепла. Сервер погружается непосредственно в охлаждающую среду, находящуюся максимально близко к точкам нагрева. Сейчас это один из способов дать большие нагрузки на оборудование. Для упрощения этой задачи производители серверов объединяют усилия с разработчиками ПО и инженерного оборудования. Результат — появление высокотехнологических серверов, которые имеют контуры охлаждения прямо на борту.
«Возможностей воздушного охлаждения и свободного охлаждения за счет окружающей среды (технологии free cooling) действительно недостаточно для поддержания работы современных микропроцессоров, использующихся для задач ИИ. Поэтому иммерсионное охлаждение серверов становится все более востребованным. Например, данную технологию тестирует Hewlett Packard Enterprise на своих суперкомпьютерах, а также Meta1 — на стандартных серверах. Ее основное преимущество в том, что тепло передается жидкости не через воздух, а непосредственно от нагревающихся элементов: процессоров, материнских плат, блоков питания, дисков и т. д. Это намного эффективнее».
Всеволод Воробьев,
руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»
Иммерсионные системы охлаждения бывают двух типов:
- однофазные — в них хладагент всегда остается в жидком состоянии и циркулирует между резервуаром и сервером с помощью насосов;
- двухфазные — предполагают закипание хладагента при контакте с нагретыми компонентами сервера, вследствие чего хладагент поднимается в виде пара и конденсируется в охлаждаемом водой теплообменнике.
Интересно, что горячий хладагент можно применять для решения задач, которые напрямую не связаны с работой ЦОД, — например, для отопления офисов и технических помещений.
При использовании иммерсионной системы охлаждения сервер должен соответствовать определенным требованиям. В первую очередь это отсутствие вентиляторов и наличие антикоррозионной защиты разъемов и блоков питания. Кроме того, может потребоваться замена некоторых компонентов — например, вместо жестких дисков (HDD) лучше подойдут твердотельные накопители (SSD). А перед полноценным запуском рекомендуется тщательно протестировать инфраструктуру.
Необходимо подумать и о физической безопасности объектов с таким типом охлаждения. Для ее обеспечения требуется:
- использовать наклонные полы, специальные стоки, аварийные поддоны под резервуарами, а также датчики протечек — на случай утечки жидкости;
- применять химически стойкие материалы в местах контакта с хладагентом;
- задействовать систему хранения и утилизации отработанной жидкости.
Если же говорить о внешней инфраструктуре, то для обслуживания серверов с иммерсионным охлаждением необходимы специальные подъемники и высококвалифицированный технический персонал. А эффективная работа систем требует постоянного многоуровневого мониторинга, данные для которого должны собираться многочисленными датчиками давления, температуры и чистоты хладагента.
В будущем альтернативой иммерсионным системам могут стать разработки на основе графеновых технологий охлаждения: их теплопроводность в 2,5 раза больше, чем у меди. Согласно испытаниям IBM, графеновые радиаторы охлаждают на 40% эффективнее, чем классические системы при тех же габаритах. Тепловые трубки из графена уже установлены на суперкомпьютере Fugaku в Японии.
На долю рынка систем охлаждения, вероятно, смогут претендовать и решения, которые используют магнитокалорический эффект изменения температуры под действием магнитного поля. Однако они требуют дорогостоящих материалов (например, гадолиния и его сплавов), которые способны нагреваться при намагничивании и охлаждаться при размагничивании. Согласно исследованию EU Magnetica, подобные решения по эффективности втрое превосходят чиллеры с водяным охлаждением.
Распределение нагрузки и цифровой самописец
Немаловажным в работе ИИ-ориентированного дата-центра является качественное управление ресурсами. Классический ЦОД — это объект с хорошо прогнозируемыми показателями энергопотребления и мощности охлаждающих систем. При этом режим его работы не сильно зависит от времени дня и различных сезонных событий. С ИИ-ориентированным ЦОД дело обстоит иначе. Его работу можно четко разделить на две фазы: первая связана с обучением ИИ-модели и требует максимальной мощности и энергопотребления, а вторая обеспечивает эксплуатацию приложений и не «съедает» такого количества ресурсов.
Для перехода между режимами необходима интеллектуальная система управления, регулирующая работу инженерной инфраструктуры. Чтобы автоматизировать управление операциями и сетевыми ресурсами, создают программно-определяемые центры обработки данных (Software-Defined Data Centers, SDDC). Зачастую они используют ИИ для мониторинга событий, происходящих в инженерной инфраструктуре, и регулировки нагрузки на подсистемы ЦОД.
Кроме того, следует предусмотреть и планируемое введение в России законодательных норм, устанавливающих ответственность за ущерб, причиненный ИИ. Они изменят роль инфраструктуры: она будет не просто вычислительной базой, а системой доказательств.
«Организациям потребуется поддерживать архив с различными версиями данных, моделей и параметров, а также документировать одобрения и результаты проверок и фиксировать все действия в защищенных журналах. Помимо этого, придется вести мониторинг производительности и качества, реагировать на инциденты, обеспечивать возможность откатить или остановить работу модели. В обязательный перечень войдут и требования по контролю доступа и управлению сторонними решениями. Фактически ИИинфраструктура должна будет функционировать как цифровой самописец, обеспечивающий прозрачность и аудируемость всего жизненного цикла модели».
Максим Андрианов,
руководитель дирекции по разработке и внедрению ПО компании «Инфосистемы Джет»
Важны не только технологии, но и люди
Необходимость запуска все большего числа центров обработки данных для искусственного интеллекта повышает спрос на высококвалифицированных электриков, сантехников и строителей. По мнению генерального директора Nvidia Дженсена Хуанга, такие специалисты будут получать шестизначные зарплаты.
Как отметил Хуанг на Всемирном экономическом форуме в Давосе в 2026 году, бум в этой области уже наблюдается, зарплаты выросли почти вдвое. Он подчеркнул, что каждый сможет хорошо зарабатывать и для этого не нужна докторская степень по информатике.
Однако пока специалистов в этой области не хватает и кадровая ситуация напряженная. К примеру, за 2025 год штат IXcellerate вырос примерно на треть — пришли около 80 новых сотрудников. В компании рассказали, что поиск опытного специалиста с высокой квалификацией может занимать от двух до трех месяцев.
«В 2026 году, в связи с запуском двух новых дата-центров, у нас открыто несколько десятков вакансий, которые необходимо закрыть к моменту ввода объектов в эксплуатацию. Для решения кадрового вопроса в долгосрочной перспективе мы развиваем сотрудничество с профильными вузами — в первую очередь с НИУ МЭИ. Наши специалисты участвуют в адаптации учебных программ и выступают в роли гостевых лекторов, а студенты проходят у нас стажировку. По итогам 2025 года первая группа практикантов была трудоустроена на постоянной основе: из 5–7 стажеров технического департамента 4–5 человек остались в компании».
Сергей Вышемирский,
технический директор IXcellerate
Обмен опытом, поддержка со стороны коллег и вендоров особенно важны в решении кадрового вопроса, уверен и Всеволод Воробьев. Он уточнил, что в отношении ЦОД для ИИ корректнее говорить о поиске даже не сантехников широкого профиля, а более узких специалистов по климатике.
«Системы вентиляции и кондиционирования на таких объектах отличаются от тех, что используются в обычных дата-центрах. Эти технологии мало распространены на рынке, поэтому дефицит сервис-менеджеров и инженеров, которые могут их обслуживать, остро чувствуется, причем не только в регионах, но и в крупных городах, в том числе в российской столице».
Всеволод Воробьев,
руководитель направления ЦОД центра сетевых решений компании «Инфосистемы Джет»
Впрочем, эксперт считает, что специалиста по бытовым кондиционерам, как и электрика, достаточно быстро можно переобучить для работы в ИИ-ориентированном ЦОД. И в России уже есть несколько организаций, которые предлагают такие курсы. К тому же в вузах открываются кафедры со специализацией по ЦОД.
А вот привлечение мигрантов вряд ли подойдет для восполнения дефицита кадров в этой области, потому что ЦОД являются частью критической инфраструктуры, что накладывает ограничения на допуск иностранных граждан.
ЦОД для искусственного интеллекта сегодня — отдельная инженерная цивилизация. Пока индустрия спорит, чей чип быстрее, настоящая битва за ИИ разворачивается на стройплощадках.
