ЦОД для аудитора: «узкие места»

Согласно международному стандарту TIA-942, все ЦОДы классифицируются по четырем уровням надежности: TIER-I, TIER-II, TIER-III и TIER-IV. ЦОД, претендующий на тот или иной уровень, должен соответствовать его требованиям. Отметим, что TIER предъявляет требования не только к инженерной, но и к внешней инфраструктуре ЦОДа, а также к его месторасположению. В России в большинстве своем строят дата-центры, соответствующие уровню надежности TIER-III, поэтому мы рассмотрим основные ошибки, которые допускают проектировщики и строители при возведении подобного ЦОДа (включая распространенные нарушения, имеющие место при внедрении инженерных систем).

Вода, огонь и электромагнитные излучения

Защита от пожара

Чаще всего ограждающие конструкции машинного зала – железобетонные, хотя можно встретить и гипсокартонные стены (факт, вызывающий сожаление). При нагреве бетон выделяет воду, что является существенным недостатком первого варианта. В последнее время проектировщики в качестве ограждающих конструкций применяют сэндвич-панели отечественного производства, которые соответствуют принятым в нашей стране строительным нормам. Сэндвич-панели способны защитить ЦОД и от пожара, и от проникновения противопожарной жидкости, пыли и грязи. Единственный существенный недостаток таких конструкций и одновременно их характерная особенность состоит в том, что они каркасные: их применение уменьшает полезную площадь машинного зала ЦОДа. Импортные аналоги являются бескаркасными, но несоизмеримы по стоимости с отечественными решениями.

В помещение машинного зала заходит большое количество кабельных трасс и коммуникаций. Все вводы коммуникаций выполнены в стенах в специально подготовленных отверстиях, которые по требованию нормативов после завершения прокладки кабельных линий должны быть заделаны противопожарными составами. Но иногда этого не происходит, и это явление остается для нас загадкой. В случае аварии через эти отверстия в машинный зал попадет не только огонь, но и вода, и пыль.

Защита от воды

Не хотим повторяться, но только применение защитных конструкций предотвратит проникновение воды в машинный зал, при этом все коммуникации, которые могут стать причиной появления воды, должны располагаться за его пределами.

Если ограждающие конструкции не применяются, все связанные с водой коммуникации тем более должны быть вынесены за пределы машинного зала ЦОДа. Но в большинстве случаев сделать это не представляется возможным по тем или иным причинам, и коммуникации оставляют внутри. При этом ошибочно полагают, что установка сигнализации поможет защитить от попадания воды в машзал. На самом деле ни одна система сигнализации на это не способна, она лишь проинформирует о наличии воды в помещении ЦОДа.

Теперь представим себе вполне распространенную ситуацию: соответствующие коммуникации оставлены внутри машинного зала, в местах возможного появления воды установлены датчики протечки, и в один прекрасный момент у транзитного трубопровода происходит разгерметизация сварного шва. Вода под давлением 5 атмосфер начинает поступать в машзал, а датчики протечки просигнализируют о наличии воды, и только. Большая удача, если авария произойдет в рабочее время, и службе эксплуатации удастся быстро перекрыть воду и приступить к ремонтным работам. Но если авария случится в ночное время, как вы полагаете, через какой промежуток времени эксплуатационщики смогут прибыть на объект? Скорее всего, к тому моменту все дорогостоящее оборудование будет безвозвратно потеряно.

Другой способ, которым можно защитить помещение от воды, – гидроизоляция. Обычно ее устраивают по всему периметру машинного зала, изнутри покрывая гидроизоляционными материалами стены и потолок. Но здесь имеет место один нюанс: гидроизоляция потолка должна выполняться на полу этажом выше машинного зала (так, по крайней мере, предписывает технология). Даже если вы выполнили гидроизоляцию изнутри помещения, каким образом вы будете крепить к стенам и потолку элементы инженерной инфраструктуры, не повредив эту же самую гидроизоляцию?

Защита от электромагнитных излучений

Для обеспечения защиты от электромагнитных излучений в ЦОДе должна применяться потенциаловыравнивающая сетка, уложенная по стенам, потолку и полу. Наличие сетки легко определяется при помощи обычного мобильного телефона: если телефон ловит сигнал внутри ЦОДа – защита от электромагнитных излучений отсутствует, не ловит – сетка уложена.

Итак, мы можем констатировать: для обеспечения физической безопасности машинного зала и соответствия ЦОДа требованиям TIER-III необходимо устанавливать ограждающие конструкции, которые обеспечат защиту от пожара, воды, противопожарной жидкости, электромагнитного излучения, вандализма, падающих обломков. Какими именно будут эти конструкции, решать только владельцу ЦОДа.

Транспортировка: легкость исполнения

Нередко бывает, что место строительства ЦОДа заказчик выбирает, исходя из наличия свободных площадей. В итоге помещение дата-центра может располагаться как в подвале, так и на верхних этажах здания. При строительстве ЦОДа необходимо учитывать пути ввоза/вывоза оборудования, начиная от места его разгрузки и заканчивая входными дверями в машинный зал. Нередки случаи, когда ЦОД располагается на 8-м этаже, в здании отсутствует грузовой лифт, и для того, чтобы завезти оборудование в дата-центр, приходится разбирать стены и устраивать всевозможные подъемники.

Обязательно учитывайте при проектировании такой, кажущийся на первый взгляд второстепенным, аспект, как пути транспортировки оборудования. Это убережет вас от головной боли, когда заказанное оборудование приедет, и необходимо будет занести его в машинный зал.

На чем стоим

В этом разделе речь пойдет о нюансах, которые необходимо знать и учитывать при проектировании фальшпола.

Плиты фальшпола

Плиты фальшпола можно разделить на два типа: первый – с ПВХ-покрытием, второй – с ламинатным покрытием. Отличие между ними, помимо стоимости, заключается в том, что ПВХ-покрытие легко загрязняется. Иногда в только что построенном ЦОДе возникает ощущение, что плиты фальшпола давно не меняли, и их необходимо подвергнуть обработке, хотя они установлены буквально на днях. Дело в том, что в период строительства никто не позаботился о том, чтобы накрыть плиты оргалитом или другим материалом во избежание загрязнения. Самое удивительное в том, что никакой моющей химией эти загрязнения не вывести.

Все вышеописанное не относится к плитам фальшпола, имеющим ламинатное покрытие. Поверхность ламината грязь не впитывает, после завершения строительства достаточно провести влажную уборку, и плиты будут выглядеть так, словно их только вчера привезли и смонтировали на объекте.

Вентиляционные плиты

Необходимо отметить, что стоимость вентиляционных плит существенно отличается от стоимости обычных, поэтому некоторые владельцы ЦОДов идут на покупку продуктов неизвестных вендоров, часто отечественного производства. Преступления в применении подобных вентиляционных плит, конечно, нет, но их внешний вид оставляет желать лучшего, да и качество не идет ни в какое сравнение с импортными аналогами. Складывается впечатление, что они изготовлены кустарным способом без соблюдения какой-либо технологии. Нередко бывает, что вентиляционные плиты российского производства отличаются от стандартного размера (600x600 мм) на несколько миллиметров. В свое время мы являлись свидетелями того, как была забракована только что купленная партия плит фальшпола отечественного производителя: дело в том, что их размер отличался от стандартного на 2–3 мм.

Положительный момент в применении отечественных вентиляционных плит заключается в том, что процент перфорации у них составляет 50%, в то время как у импортных аналогов не превышает 38%.

Основание фальшпола

В ЦОДах традиционно применяют два типа основания фальшпола. В первом случае используются стойки, соединенные стрингерами, во втором – так называемый самонесущий фальшпол, основание которого составляют продольные и поперечные силовые элементы. Подробно говорить обо всех плюсах и минусах решений мы не будем, но остановимся на одном немаловажном моменте, который необходимо учитывать при проектировании. Силовые элементы самонесущего фальшпола сокращают свободное пространство под ним на величину своего размера. Простой пример: при заявленной высоте фальшпола 600 мм свободное пространство при применении стоек будет больше, нежели при использовании самонесущего фальшпола. Этот аспект необходимо учитывать, поскольку под фальшполом в большинстве случаев проложены силовые и слаботочные кабельные трассы и прочие элементы инженерной инфраструктуры. Вкупе с уменьшенной высотой подфальшпольного пространства это уменьшает свободную зону для прохождения воздушных масс от систем кондиционирования.

Пандус

Пандус предназначен для ввоза/вывоза оборудования из помещения ЦОДа. Основной параметр, учитываемый при проектировании пандуса, – угол наклона, который рассчитывается, исходя из типа установленного внутри ЦОДа оборудования: как инженерного, так и серверного. Общеизвестно, что определенное серверное оборудование нельзя наклонять, либо оно имеет разрешенный угол наклона в несколько градусов. Но обычно при его проектировании учитывают лишь то, чтобы через пандус можно было завозить и вывозить технологическое оборудование инженерных систем, серверное оборудование при этом в расчет не берут.

Трубопроводы: выбираем правильный цвет

При проектировании системы газового пожаротушения стандартно допускают две ошибки: первая касается защищаемого объема, вторая – цвета трубопроводов.

Цвет трубопроводов

Как это ни банально звучит, но проектировщики (или строители) предпочитают красить технологические трубопроводы системы газового пожаротушения в какой угодно цвет, но только не в тот, который жестко прописан в нормативах, т.е. в желтый. Для нашей страны не характерен дефицит желтой краски, ее можно купить в любом магазине в неограниченных количествах, но даже несмотря на это, трубопроводы продолжают красить в разные цвета. В ЦОДах можно увидеть технологические трубопроводы красной, зеленой, коричневой, бежевой и других расцветок.

Защищаемый объем

При проектировании установки газового пожаротушения обычно защищают основной объем машинного зала, т.е. то пространство, где находится все технологическое и телекоммуникационное оборудование. При этом редко защищают пространство под фальшполом и очень редко – за фальшпотолком, если таковой имеется внутри машинного зала. В то же время, согласно требованиям нормативов, системой автоматической установки газового пожаротушения должны защищаться все объемы (подфальшпольное пространство, общий объем помещения, пространство за фальшпотолком). Если вы по-пробуете согласовать в Главмосэкспертизе России проект на систему газового пожаротушения, где установкой защищается только основной объем, вам это не удастся.

Хотелось бы также упомянуть о таком важном моменте, как подключение баллонов с огнетушащим составом к системе газового пожаротушения. Часто после того, как ЦОД сдан в эксплуатацию, баллоны не подключают и переводят систему на автоматический режим работы. На систему потрачены значительные средства, и она должна полноценно работать, но в итоге выполняет функции лишь пожарной сигнализации. Не опасайтесь подключения баллонов, они не представляют угрозы.

Заземлить по всем правилам

Если внимательно изучить стандарт TIA-942 в части требований, которые предъявляет уровень TIER-III, станет понятно, что он не говорит о том, какой именно должна быть степень резервирования того или иного элемента системы. Сказано лишь, что в любой момент времени любой элемент может быть изъят без последствий для всей системы электроснабжения.

Система заземления

Согласно требованиям, шкафы с серверным оборудованием должны иметь отдельный контур заземления. Что же мы наблюдаем в реальности: шкафы заземлены откуда угодно, но только не от собственного контура. Для того, чтобы в буквальном смысле закопать контур заземления, необходимо получить множество согласований с надзорными органами, что влечет за собой увеличение сроков строительства в среднем на несколько месяцев. Не каждый владелец ЦОДа согласится добровольно пойти на это.

По аналогичной причине не выполняют установку отдельного контура заземления на дизель-генераторную установку. Проще и быстрее подвести «землю» от уже существующего контура здания или трансформаторной подстанции.

Электроснабжение системы кондиционирования

Еще одна ошибка, которую допускают при строительстве ЦОДа, относится к обеспечению бесперебойного электроснабжения системы кондиционирования. Для удешевления и экономии места внутренние блоки системы кондиционирования часто запитывают от тех же источников бесперебойного питания, что и стойки с серверным оборудованием. Это является грубейшим нарушением требований стандартов.

Итак, проектировщикам Центров обработки данных необходимо доказывать и обосновывать заказчикам недопустимость отклонений от принятых стандартов. Любое упрощение и удешевление проектных решений впоследствии обернется дополнительными тратами для «экономного» заказчика, поэтому целесообразно учитывать все возможные уязвимости на этапе проектирования, чтобы в итоге не платить дважды.