Академический Документы
Профессиональный Документы
Культура Документы
Новости 4
Центр информационных
технологий
для Сочи-2014
Первая очередь
ЦОД банка ВТБ24
Сертификация
Мега ЦОД «Сбербанк»
завершена
Рост спроса на
контейнерные ЦОД
Экскурсия в ЦОД
«Компрессор» 7
компании КРОК
Общее описание
ЦОД «Компрессор»
Карточка ЦОД
Фотоэкскурсия по ЦОД
Интервью
Муфты для
соединения
трубопроводов 18
в ЦОД
2 www.TierLife.ru
Новости
Центр информационных технологий для
Сочи-2014
Компания «Энвижн-Краснодар» (филиал «Энвижн-Груп»)
по заказу «Ростелеком» построила центр информацион-
ных технологий. В сентябре состоялось открытие специ-
ализированного комплекса, в котором будут сосредото-
чены управление единой сетью Игр, обработка данных,
а также интеграция и отладка решений и технологий по
каждому виду спорта и т. д.
«Можно сказать, что первый олимпийский рекорд в этих
играх поставила наша компания. Обычно комплексы тако-
го масштаба строят примерно 2,5 года. Мы это сделали в
феноменально короткий срок – почти за 10 месяцев. Все
строительно-монтажные и пусконаладочные работы ве-
лись круглосуточно, без выходных и праздников. Каждый
день на объекте одновременно работали до 100 человек.
При этом мы показали не только скорость, но и качество
– инженерный комплекс успешно прошел тестовые испы-
тания», – подчеркивает Алексей Тарасенко, генеральный
директор «Энвижн Груп».
Сертификация
МегаЦОД
«Сбербанк» завершена
В августе 2012 года была завершена сертификация цен-
тра обработки данных «Южный порт» Сбербанка России
на уровень надежности Tier III, которую провела Uptime
Institute. Данный факт подтверждается выданным Сбер-
банку сертификатом.
Процесс проверки надежности ЦОД на соответствие уровню
надежности Tier III занял 5 дней, в течение которых моде-
лировались различные аварийные ситуации. Отметим, что
пройти сертификацию в пятидневный срок весьма сложно,
Рост спроса
на контейнерные ЦОД
Согласно новому отчету IMS Research поставки контейнер-
ных центров обработки данных (ЦОД), как ожидается, вы-
растут на 40% в 2013 году по сравнению с текущим годом
после почти удвоения рынка в 2012 году. Контейнерные
решения появились семь лет назад, но эксперты IMS счи-
тают, что в последние два года рынок модульных конструк-
ций только начал формироваться.
Банк Goldman Sachs, концерн BMW и другие крупные ком-
пании уже анонсировали использование контейнерных
ЦОД. Модульные конструкции начинают проникать на кор-
поративный рынок. IMS утверждает, что Северная Америка
будет оставаться крупнейшим рынком для контейнерных
ЦОД, но прогнозирует, что поставки в Китай будут ежегодно
удваиваться в течение следующих пяти лет в связи с бы-
стрым ростом отрасли ЦОД в регионе и необходимостью
быстрого развертывания вычислительных центров. Ожида-
ется рост спроса на контейнерные решения и в России.
По оценкам компании 451 Research, изучавшей экономи-
"Преимущества контейнерных дата-центров значительны: ку модульных конструкций, стоимость модульных ЦОД мо-
мобильность, быстрота развертывания и ввода в эксплу- жет варьироваться, но обычно они могут обеспечить мень-
атацию", - объясняет старший аналитик IMS Лиз Круз (Liz шие авансовые затраты на развертывание. "Основываясь
Cruz). К сожалению, нынешняя высокая цена контейнер- на нашем исследовании, мы считаем, что можно получить
ных решений по сравнению с традиционными версиями от 10 до 30% экономии на капитальных затратах, применяя
сводит эти достоинства на нет. Тем не менее, IMS Research технологию предварительно собранных модулей", - отметил
считает, что стандартизация продукции и рост производ- Джон Стэнли (John Stanley), аналитик экологической эффек-
ства позволят снизить цены. тивности IT компании 451 Research.
Экскурсия в ЦОД
«Компрессор»
компании КРОК
№2 ОКТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
8 www.TierLife.ru Next PREVIOUS
Общее описание
ЦОД «Компрессор»
ЦОД «Компрессор» расположен в Москве. Вмещает в себя чить пропуск и пройти КПП. Дальше можно пройти только в
около 800 стоек со средней мощностью 6 кВт. Площадка сопровождении сотрудника ЦОД, который лично пропуска-
для дата-центра была выбрана с учетом основных требова- ет посетителя в зону технологических помещений и, далее,
ний: наличие электричества (рядом с ЦОДом расположено в машинный зал. По желанию заказчика можно добавить
две ТЭЦ), транспортная доступность, а также удаленность пятый периметр, дополнительно ограничив доступ в его
от госучреждений, мест посадки самолетов, больших транс- стойки. Все зоны просматриваются камерами, данные с
портных развязок и т.д. которых хранятся минимум 30 суток.
В планировке ЦОД реализованы идеи разделения зон от- Одна из самых незаметных, но при этом и одна из самых
ветственности заказчиков и обслуживающего персонала: важных систем – система пожаротушения. Классические
например, из машинных залов выведены системы конди- способы тушения (вода и порошок) не подходят, т.к. они
ционирования, пожаротушения, электрощиты и пр. Второе сразу же выводят из строя оборудование. Поэтому в ЦОД
важное архитектурно-планировочное решение – разделе- устанавливаются системы газового пожаротушения. Мы
ние ЦОД на три секции. Первая – системы, относящиеся используем Хладон 125, это нетоксичный газ, который свя-
к электроснабжению, вторая – машинные залы, третья – зывает кислород. Газ хранится в отдельном помещении:
системы, отвечающие за холодоснабжение (то есть работа- оттуда расходятся трубопроводы в технологические поме-
ющие с жидкостью). Это позволило максимально изолиро- щения.
вать друг от друга электричество и воду.
Помимо этого, в ЦОД есть система раннего обнаружения
Электроснабжение обеспечивают два независимых ввода возгораний. Классические датчики обнаружения срабаты-
из города. Кроме того, есть резервная линия – дизель-гене- вают либо при повышении температуры (выше 60 граду-
раторы. Внутри системы полностью задублированы. Одного сов), либо при появлении дыма. В машинном зале воздух
топливного бака хватает на 24 часа непрерывной работы постоянно перемешивается, что затрудняет работу таких
ДГУ, то есть при своевременном поступлении топлива ди- датчиков. Система, которая используется у нас, проводит
зели могут работать в течение неограниченного времени. не только температурный и визуальный, но и химический
ИБП работают автономно 15 минут при полной загрузке. анализ – благодаря этому она гораздо более чувствитель-
на, чем классические аналоги. С ее помощью сотрудники
Охлаждение машинных залов осуществляется с помощью
ЦОД на раннем этапе узнают о задымлении и могут выклю-
воздуха. Кондиционеры забирают воздух из-за фальшпо-
чить оборудование, при необходимости - воспользоваться
толка: над горячими коридорами потолок состоит из пер-
углекислотным огнетушителем, а если эти меры не помога-
форированных плит. Аналогичные плиты использованы для
ют – пустить газ в помещение.
фальшпола в холодных коридорах. Внутренний контур хо-
лодоснабжения работает на воде, которая доставляет холод В ЦОД «Компрессор» осуществляется круглосуточный мо-
до фанкойлов. Наружу тепло отводится через второй контур ниторинг всех систем, вплоть до автоматов, включающих
охлаждения, который работает на этиленгликоле – раство- или выключающих стойку. Диспетчеров минимум два: ин-
ре, не замерзающем даже при минусовой температуре зи- женер-электрик и инженер-теплотехник, в том числе в ноч-
мой. Кроме того, есть система фрикулинга, которая работа- ное время.
ет, если температура окружающей среды опускается ниже
Что касается услуг, то в «Компрессоре» предоставляется в
плюс пяти градусов. Это позволяет существенно сократить
аренду ИТ-инфраструктура или ее элементы. Кроме того,
общее энергопотребление.
заказчики могут получать услуги из «облака» на базе Вир-
Машинные залы организованы как открытое пространство, туального дата-центра КРОК. Также возможно разместить
мы решили не ограничивать заказчиков предустановлен- в ЦОД собственное оборудование. Помещение для раз-
ными стойками. Если говорить о стандартных стойко-ме- грузки обеспечено всеми необходимыми инструментами,
стах, длина ряда составляет 15 стоек, рядов - 14. Разумеет- чтобы снять оборудование с машины и переместить его на
ся, не все пространство можно заполнить оборудованием, уровень фальшпола.
т.к. в зале есть колонны. Машинные залы герметичны – это
Стоит отметить, что во всем дата-центре отсутствуют панду-
необходимо для работы систем пожаротушения.
сы, порожки и т.д., что также облегчает перемещение обо-
При создании ЦОД было уделено пристальное внимание рудования. В здании ЦОД могут работать сотрудники заказ-
вопросам безопасности. Есть четыре периметра защиты чика, в том числе круглосуточно: для этого предусмотрены
оборудования заказчика. Снаружи дата-центра ведется ви- специальные помещения.
деонаблюдение. Чтобы попасть внутрь, необходимо полу-
Общая мощность ЦОД, мощность Общая мощность - 8 МВт, средняя электрическая мощность одной стойки —
ИТ-оборудования 6 кВт.
Число машзалов 4
Возможность размещения Да
собственных стоек
Наличие ИБП, время автономии 38 ИБП, время автономной работы – не менее 15 минут
В этом помещении мы постарались учесть все нюансы разгрузки оборудования. Машина может заехать в помещение
целиком, чтобы не подвергать оборудование воздействию дождя или снега. Кроме того, здесь есть все необходимые
инструменты для того, чтобы переместить оборудование из машины на уровень фальшпола. После этого его либо про-
возят сквозь лифт и далее - в один из машинных залов на первом этаже, либо поднимают на второй этаж в третий или
четвертый залы.
Это коридор технологического кондиционирования. Основной идеей при проектировании машинных залов было раз-
деление зон ответственности. Поэтому из машинного зала были вынесены кондиционеры, электрощиты, датчики си-
стемы пожаротушения и т.д., чтобы, например, заказчики не могли изменить режим охлаждения оборудования. Этот
коридор от машинного зала отделяет стена, закрывающая пространство от фальшпола до потолка. Под фальшполом
пространство общее, поэтому холодный воздух без препятствий попадает в машинный зал, а горячий – из-за фальшпо-
толка сразу попадает в кондиционеры.
На фото – один из
машинных залов.
Залы организова-
ны по принципу
открытого простран-
ства: это позволяет
установить любое
оборудование, как в
стандартные стойки,
так и нестандартные.
Насосная. У нас два контура охлаждения: внутренний – вода из бассейна, расположенного в этом помещении, и
внешний – чиллеры, работающие на водном растворе этиленгликоля. Внешний контур, охлаждаясь за счет внешнего
воздуха, отводит тепло от внутреннего. Пересекаются эти два контура на теплообменниках – черные «коробки» в пра-
вой части помещения.
Это вентиляционная камера. Здесь происходит подготовка воздуха для подачи в помещения ЦОД.
Для повышения надежности инженерные системы по максимуму вынесены из помещения машинного зала, в нем
остается только необходимый минимум: например, камеры системы видеонаблюдения, трубы подачи газа системы
пожаротушения и т.д. Полностью присутствует только система кабеленесущих конструкций. Создано два уровня лотков:
верхний для подведения электропитания к стойкам заказчиков, нижний – для СКС. Лотки в свободной части зала
заполняются по мере появления стоек заказчиков, ведь у компаний разные требования, и проложить универсальные
кабели невозможно.
В ЦОД используется
газовая система
пожаротушения. Газ
хранится в отдель-
ной комнате, из
баллонов расходят-
ся трубопроводы
в технологические
помещения.
Электропитание из города приходит на трансформаторную подстанцию, а оттуда – в главную электрощитовую (на фото).
Для удобства локального мониторинга модули оснащены дисплеями, вся информация также дублируется в централизо-
ванную систему мониторинга и управления.
Некоторые действия можно осуществить только вручную, в буквальном смысле опустив рубильник (на фото на перед-
нем плане): иногда удаленное управление не дает необходимой надежности, важна осознанность действия.
Для стоек используются модульные решения. Коробки кабельной системы двигаются: оптические кассеты упрощают
монтаж и позволяют быстро вносить изменения в процессе эксплуатации.
На крыше расположены чиллеры и сухие градирни. В них находится водный раствор гликоля, препятствующий замер-
занию.
Интервью
Руслан Заединов,
Когда был задуман проект дата-центра «Компрессор»? руководитель
направления центров
Проект задумывался еще в 2008 году. Тогда в компании
обработки данных
только появлялось подобное направление: до этого мы
компании КРОК
занимались строительством дата-центров для заказчиков.
Начать освоение рынка коммерческих ЦОД мы решили с
тестового дата-центра на 90 стойкомест, который успешно
эксплуатируется почти 4 года («Волочаевская-1»). Сразу по- Перед «Компрессором» КРОК построил 2 собствен-
сле запуска первого ЦОДа мы начали искать площадку для ных дата-центра. Какой опыт был вынесен из их
более крупного проекта – и нашли ее на территории заво- построения, какие ошибки не хотелось повторять?
да «Компрессор». Приведите, пожалуйста, примеры.
Давайте вернемся в то время, когда ещё ЦОД не был Больше всего опыта мы вынесли из эксплуатации своего
ни построен, ни спроектирован. Были только задум- первого дата-центра. До этого мы давно и успешно строили
ки. Что вами двигало на тот момент времени? Какая ЦОДы для заказчиков, но компании, которые делают ЦОД
ставилась цель, какие были планы, что хотелось для себя, и заказчики коммерческого ЦОДа предъявляют
получить? разные требования.
Когда мы только задумывали этот проект, ЦОДы, как прави- Например, размещая стойки в дата-центре, заказчик хо-
ло, предлагали юниты в стойках. Из-за недостаточной без- чет, чтобы услуги были максимально настроены под его по-
опасности, гибкости и надежности такая услуга была неин- требности: это касается, в том числе, инженерных систем.
тересна крупным корпоративным заказчикам, с которыми Так, по опыту первого ЦОДа мы позволяем заказчикам са-
мы работаем. Такие компании не хотят, чтобы в их стойке мим устанавливать и эксплуатировать системы физической
работал кто-то еще со своим оборудованием. Поэтому для безопасности для своего оборудования. Кроме того, взаи-
нас было важно создать дата-центр для крупных компаний модействие с крупными заказчиками в течение вот уже не-
из разных отраслей, в том числе из тех, где традиционно скольких лет помогло уточнить регламенты работы в ЦОДе,
предъявляются высокие требования к безопасности. сделать их более строгими с точки зрения безопасности и в
то же время более удобными.
И вы начали поиск площадки. Насколько сложно
было её найти? Какие требования к ней предъявля- Как разрабатывалась концепция проекта? Каковы
лись? принципиальные решения, которые вошли в основу
проекта? Чем они были обоснованы?
Для нас были важны удобное расположение и транспорт-
ная доступность площадки, наличие электричества, а так- Главная идея проекта – ЦОД должен соответствовать самым
же удаленность от госучреждений, высоковольтных линий высоким требованиям к надежности, этому способству-
электропередач, бензоколонок и прочих объектов, которые ют использованные при строительстве решения. Первое
не соответствуют требованиям Tier III к безопасности. Разу- принципиальное решение – разделение зон ответствен-
меется, найти такую площадку непросто, поэтому мы при- ности. По этой причине из машинных залов выведены си-
ступили к поискам заранее. стемы кондиционирования, пожаротушения, электрощиты
и пр., чтобы разделить зоны ответственности заказчиков и
Насколько их удалось удовлетворить при выборе зда- сотрудников дата-центра.
ния на заводе «Компрессор»? Каким требованиям Или, например, система пожаротушения: газовые баллоны
выбранная площадка не удовлетворяет? вынесены в отдельное помещение, куда могут зайти только
квалифицированные сотрудники, которые знают, как рабо-
Раньше площадка была складом компрессоров, и, учиты- тать с подобным оборудованием. Второе важное решение
вая, на какие нагрузки рассчитывался фундамент, здание – то, что мы разделили дата-центр на три логические сек-
нас устраивало. Крышу и «начинку» здания мы сделали за- ции: системы, относящиеся к электроснабжению, машин-
ново. Разумеется, площадка удовлетворяет всем требова- ные залы и системы, отвечающие за холодоснабжение (то
ниям: строить ЦОД и пытаться его сертифицировать, если есть работающие с жидкостью). Это позволило максималь-
не устраивает площадка – как минимум недальновидно. но изолировать друг от друга электричество и воду.
Муфты
для соединения трубопроводов в ЦОД
Согласно проекту охлаждение ЦОД
финансовой организации в Эссексе
(Великобритания) было построено на базе
чиллеров с использованием обычных
трубопроводов, а основной задачей
монтажников явилась своевременная
установка системы по разумной цене без
риска её повреждения.
Преимущества муфт
При сварочном методе монтажа трубы крепятся без по-
мощи муфт; для проведения ремонтных работ работнику
приходится вырезать поврежденный участок трубы. Так
как муфты могут устанавливаться на влажную поверхность,
при проведении работ нет необходимости осуществлять
просушку трубопровода.
В традиционных фланцевых системах для монтажа исполь-
зуется многоболтовое соединение, снятие которого зани-
мает много времени. При снятии соединения и разъеме
фланцев происходит повреждение прокладки, которую при-
ходится заменять.
муфтового монтажа не происходит выделения каких-либо
При механическом муфтовом соединении давление на
ядовитых веществ и не создается пожарной опасности. Та-
прокладку иное, чем в случае фланцевого соединения –
кое соединение также позволяет производить перемеще-
поперечное уплотнение С-образной формы чувствительно
ние элементов внутри системы.
к давлению и спроектировано для устойчивости к цикличе-
ским нагрузкам. Давление в системе может повышаться Рост популярности трубопроводов с механическим муфто-
и снижаться на протяжении долгого времени без износа вым соединением объясняется также растущей потреб-
эластомерного материала. Расширение системы может ностью в экономии времени монтажа и стремлением
быть произведено без остановок в работе и эвакуации пер- проектировщиков к разработке надежной и легкой в обслу-
сонала рабочего помещения, так как при использовании живании системы.