Слово редактора 3

Новости 4
Delta Electronics
представляет новый
ИБП для ЦОД –
Modulon DPH
50 лет одному из
самых крупных заводов
по производству ИБП
Новый ЦОД
в центре Москвы
Руководство
по энергосбережению
от Emerson

Концепция ЦОД
на 50 стоек 6
Исходные данные
Обсуждение концепции
Выбор типа и типоразмеров
оборудования
Компоновка оборудования в
машинном зале
Упущения концепции
Энергоэффективность
решения

Подведение итогов
Альтернативный вариант
Краткие выводы
и рекомендации

FVER: оценивая
то, что не 15
оценивает PUE
2 www.TierLife.ru

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS NEXT www.TierLife.ru 3
Уважаемые читатели!
Я рад приветствовать Но - довольно общих слов - многочисленные особенности
вас на страницах ново- нашего издания будут освещены в грядущих номерах.
го издания о центрах
Первый номер Tier открывает серию выпусков «Концепция
обработки данных -
ЦОД», а первой вынесенной на обсуждение независимыми
журнала Tier - журнала
экспертами концепцией явилась компоновка, разработан-
нового поколения.
ная в ответ на наиболее популярный на сегодня запрос –
Отмечу, что идея созда- запрос на построение корпоративного дата-центра на 50
ния регулярного специа- ИТ-стоек.
лизированного издания
Обсуждение получилось весьма продуктивным: затронуты-
на тему ЦОД зародилась
ми оказались буквально все аспекты подбора оборудова-
у меня более года назад
ния, а один из выводов подтверждает тезис, гласящий, что
и пережила за этот пери-
гонка за энергоэффективностью редко обеспечивает доста-
од несколько этапов раз-
точную надежность, а высокая надёжность далеко не всегда
вития, включая и опыт
энергоэффективна.
практической реализа-
ции, как положительный,
Однако тема эффективности ЦОД актуальна, а вошедшая во
так и отрицательный.
всеобщее употребление метрика PUE не всегда обеспечи-
Этот процесс «становле-
вает адекватность оценки. Кроме того, коэффициент PUE не
ния» сопровождался общением с представителями компа-
даёт представления об эффективности ИТ-инфраструктуры.
ний рынка ЦОД, журналистами и несколькими PR-агентства-
ми. Концепция, дизайн, формат и серийность журнала Tier Стремясь исправить ситуацию, специалистами компании
– результат материализации полученных мнений и собствен- Romonet была предложена метрика FVER, декларирующая
ных идей. иной подход к оценке эффективности работы дата-центра.
Какой? Читайте в этом выпуске.
Также, учитывая, что как вычислительная, так и инженерная
инфраструктура ЦОД объединяет в себе самые передовые А в одном из следующих номеров тема метрик станет ос-
мировые технологии, то и информационную поддержку от- новной – вашему вниманию будут представлен обзор су-
расли следует организовать на современном уровне. Этим ществующих показателей, способы их измерения и мнения
объясняется ориентация на электронную версию издания и экспертов о них.
его адаптация под нужды мобильных пользователей. Приятного чтения!
Юрий Хомутский

Над номером работали:

Издатель и главный редактор – Юрий Хомутский

Редактор – Игорь Евсеев
Дизайн/вёрстка – Пётр Присячев
Корректор – Ирина Власова
По всем вопросам обращаться: +7(499)603-46-46
YH@TierMedia.ru, www.TierLife.ru
Все права защищены. Запрещается полное или частичное воспроизведение статей и фотоматериалов без письменного
разрешения редакции
Редакция не несет ответственности за содержание рекламных материалов.
Незаказанные редакцией рукописи не рецензируются
Журнал Tier — журнал о дата-центрах и об индустрии ЦОД.
Не является средством массовой информации.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

4 www.TierLife.ru NEXT
Новости
Delta Electronics
представляет
новый ИБП
для ЦОД – Modulon DPH
Modulon DPH от Delta Electronics – модульный ИБП ново-
го поколения, разработанный специально для ЦОД сред-
него размера, требующих максимальной производитель-
ности при минимальных эксплуатационных издержках.
Modulon DPH обеспечивает стабильное бесперебойное
питание ЦОД и позволяет оптимизировать инвестиции в
качественную и надежную IT-инфраструктуру.
Высокий уровень надежности Modulon DPH достигается
благодаря отказоустойчивой системе с полным резервиро-
ванием силового модуля, механизма управления и вспомо-
гательного питания. Возможность горячей замены ключе-
вых компонентов и модулей повышает ремонтопригодность
ИБП и позволяет свести среднее время ремонта к нулю,
обеспечивая максимальное время безотказной работы.
Новый ИБП отличается высокой гибкостью масштабиро-
вания: стандартная модульная конструкция Modulon DPH
позволяет формировать вертикальные стойки с ИБП мощ-
50 лет
одному из самых
крупных заводов по
производству ИБП
Одна из самых крупных площадок по производству ИБП
принадлежит компании Eaton и находится в Финляндии.
Этот центр в области передовых электротехнических ре-
шений в этом году отмечает 50-летний юбилей.
№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
ностью от 25 до 200 кВт в зависимости от требований прило-
жения. Резервирование по типу N+X внутри одного корпуса
без привлечения внешних ИБП обеспечивает значительную
экономию денежных средств и места для установки при со-
хранении гибкости расширения по мере роста ЦОДа.
Кроме того, Modulon DPH обладает КПД 95% даже при
30-процентной загрузке и 96% при нагрузке от 50% и
выше, а также высоким коэффициентом входной мощно-
сти, что позволяет отказаться от выбора ИБП с запасом по
мощности и обеспечивает дополнительное сокращение ка-
питальных и эксплуатационных расходов.
Дополнительная
информация,
технические
характеристики и
документация
Основная компетенция завода – производство и настрой-
ка трёхфазных ИБП, мощностью от 8 до 1100 кВА. Здесь
предлагаются индивидуальные разработки в области рас-
пределения и повышения качества энергии для клиентов
с большими потребностями в электроснабжении, в частно-
сти для крупных центров обработки данных.
Кроме того, завод предоставляет спектр услуг от формаль-
ного проектирования до производства тяжёлых систем ИБП
с последующим тестированием (заказчик может наблюдать
за процессом), а также установкой на месте эксплуатации.
На производстве соблюдаются принципы энергоэффектив-
ности и экологичности. За полвека завод произвёл для кли-
ентов более 250 000 ИБП.
PREVIOUS
Новый ЦОД
в центре Москвы
Компания StoreData сообщила об открытии нового
ЦОД в центре Москвы (ул. Нижегородская). Современ-
ный энергоэффективный дата-центр получил название
StoreData_eco. При построении ЦОД использовались
традиционные подходы, но акцент был поставлен на до-
стижение энергоэффективного режима работы.
Общая площадь ЦОД StoreData_eco составляет 125м2, об-
щая выделенная мощность – 300кВА. В машинном зале
установлено 30 ИТ-стоек чешского производителя Conteg, а
также реализована изоляция холодного коридора.
Другой особенностью ЦОД является использование ши-
NEXT www.TierLife.ru 5
нопроводов и система распределения электроэнергии.
Питание осуществляется от ИБП Emerson NXa, а система
охлаждения построена на базе шкафных прецизионных кон-
диционеров Stulz CyberAir3. Гарантированное электроснаб-
жение обеспечивает ДГУ FG Wilson мощностью 420кВА.
Из других инженерных систем ЦОД отметим газовое пожа-
ротушение смесью «хладон 227» и круглосуточное видео-
наблюдение с архивом длительностью 30 дней. На объекте
присутствует круглосуточная дежурная смена. Кроме того,
ЦОД характеризуется наличием узла доступа MSK-IX и линий
связи до узлов ММТС-9 и ММТС-10.

Руководство
по энергосбережению от Emerson
Компания Emerson Network Power выпустила второе из- доточить в первую очередь внимание на эффективности опти-
дание своей книги под названием Energy Logic, которая мизации ключевых ИТ-систем, а уже потом на всем остальном.
является руководством по снижению потребления энер-
Так, согласно данным Emerson, экономия 1 Вт энергии на
гии в ЦОД.
уровне процессоров в ЦОД с эффективностью использова-
Energy Logic 2.0, созданная по версии 2007 года и допол- ния энергии PUE 1.9 позволяет снизить общее энергопо-
ненная обновлениями, включает технологические нара- требление объекта на 2.84 Вт.
ботки и передовой опыт, который накопился за последние
пять лет. В дополнение к книге компания Emerson также
запустила онлайн-инструмент для расчета приблизительной
экономии энергии, которую можно достигнуть, если следо-
вать советам книги.
Джек Пуше (Jack Pouchet), вице-президент по развитию
решений Emerson, сказал, что книга показала - варианты
для оптимизации ЦОД есть всегда. «Энергоэффективность
остается приоритетной задачей, и наступило новое поколе-
ние технологий управления, которые обеспечивают боль- В целом, в руководстве представлено 10 стратегий по энер-
шую наглядность и контроль ЦОДа», - заявил он. «Индустрия госбережению, среди которых: использование энергосбе-
ЦОД на данный момент развита как никогда хорошо и регающего ИТ-оборудования, высокоэффективных блоков
вполне способна помочь снижению энергозатрат». питания, грамотная архитектура системы энергоснабже-
ния, внедрение средств DCIM и прочее.
В дополнение к рассказу о новых технологиях и передовых
практиках книга показывает, как потребление энергии в
ЦОД площадью 5000м2 может быть уменьшено на 74% с Ознакомиться с
помощью уже имеющихся технологий. руководством и за-
казать его перевод
Главная мысль книги сводится к каскадному эффекту, который
на русский язык
возникает, когда экономия на уровне ИТ возрастает на уров-
не поддержки систем. Книга по существу рекомендует сосре-

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

6 www.TierLife.ru NEXT PREVIOUS

Концепция ЦОД
Как показывает практика, на сегодня наиболее популярен
запрос на построение ЦОД, состоящий из 50 ИТ-стоек со
средней мощностью 5-8кВт. В наши руки попала одна из
концепций, предложенных в ответ на подобный запрос. Мы
не будем оспаривать, что концепция не является закончен-
ной и требует доработок, однако даже отраженные в ней
идеи могут стать, на наш взгляд, почвой для обсуждения
специалистами различных компаний рынка ЦОД, которое
в свою очередь будет интересно большинству наших чита-
телей.

Вашему вниманию предлагается обзор, ком-

ментарии и предложения по модернизации
концепции дата-центра на 50 ИТ-стоек общей
мощностью 300кВт.

При этом отметим, что в концепции отражено размещение

оборудования только в рамках машинного зала, т.е. без
наружного оборудования, поэтому её правильнее было бы
назвать скорее компоновкой машзала, нежели концепци-
ей ЦОД.

Исходные
Данные
• Крупная компания планирует построение дата-центра в Москве для собственных нужд, где будут консолидировано
оборудование, ныне разбросанное по нескольким серверным, расположенных в разных офисах компании
• Общее число ИТ-стоек 50 шт., из них:
- 10 стоек мощностью 3кВт
- 35 стоек мощностью 6кВт
- 5 стоек мощностью 12кВт

Таким образом, общая мощность ИТ-оборудования составляет 300кВт.

• Загрузка ЦОД будет происходить постепенно, плановый выход на полную мощность состоится через год.
• В перспективе планируется использование более мощного ИТ-оборудования общей мощностью 450кВт.
• Остро стоит вопрос энергосбережения.
• Размещение ЦОД – в здании офиса компании, в практически квадратном помещении площадью 140 кв.м. с колонна-
ми через каждые 6 метров.
• Уровень надежности ЦОД –Tier III.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS NEXT www.TierLife.ru 7
Краткое описание
предлагаемой концепции
Охлаждение стоек осуществляется шкафными кондиционера- • Холодопроизводительность каждого кондиционера
ми, работающими на охлажденной воде. Холодоснабжение 90кВт; предусмотрено 4 рабочих и 1 резервный блок.
кондиционеров – от чиллеров, оснащенных функцией фрику-
• Холодопроизводительность каждого чиллера 200кВт,
линга. Подача холодного воздуха из-под фальшпола. Высота
предусмотрено 2 рабочих и 1 резервный чиллер.
фальшпола принята 500мм, что также учитывает кабельную
и трубную разводку, которая предполагается под фальшполом.

Рис. 1. Предложенная компоновка машинного зала ЦОД на 50 ИТ-стоек.

Энергоснабжение реализуется посредством ИБП, установленных в помещении машинного зала, и охлаждаемых той же
системой кондиционирования, которая обслуживает и серверное оборудование.
• Мощность каждого ИБП 250кВА; предусмотрено 2 рабочих и 1 резервный ИБП.
• В качестве гарантированного источника питания предусмотрен ДГУ мощностью 650кВА.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

8 www.TierLife.ru NEXT PREVIOUS

Вопросы В таком виде концепция была представлена специалистам

самых разных компаний: интеграторам, поставщикам обору-
дования, операторам ЦОД и др. В качестве вопросов, предло-
женных к обсуждению, был представлен следующий список:

для обсуждения • Правильность выбора типа оборудования

• Правильность выбора типоразмеров оборудования с
учетом перспективы увеличения мощности
• Планировка машинного зала (длина ряда стоек, ширина
проходов, размещение стоек в зависимости от их мощ-
ности, взаимное расположение стоек и холодильного и
энергетического оборудования и т.д.; анализ с точки зре-
ния размещения всей инженерии в одном помещении)
• Достаточность подфальшпольного пространства
• Что упущено в данной концепции?
• В чем преимущество предложенной концепции?
• Заявленный PUE данной концепции составляет 1.78.
Насколько он адекватен? Какие варианты снижения
PUE можно предложить?
Стремясь донести до читателя экспертное мнение в пер-
возданном виде, ниже мы представили оригинальные
комментарии, после чего подвели итоги проведенному
анализу, акцентируя внимание на основные моменты.

Эксперты
участвующие в
аудите концепции
ЦОД
Евгений Проскурин, Александр Петренко,
главный инженер руководитель
проекта департамента ИТ

Евгений Николаенко, Алексей Теремов,

главный инженер руководитель отдела
проекта инженерных систем

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS NEXT www.TierLife.ru 9
Выбор типа и
типоразмеров
оборудования
Евгений Проскурин
Исходя из планов развития ЦОД, абсолютно верным следу-
ет признать решение по использованию ИБП с модульной
архитектурой. Это позволит снизить, поскольку по условиям
выход на полную мощность (300 кВт) запланирован в тече-
ние 12 месяцев, а резервирование по схеме N+1 может
быть достигнуто на уровне силовых модулей, что допустимо
нормативами TIA 942, и является экономически оправдан-
ным решением.
Что касается гарантированного электропитания, то мощ-
ность ДГУ, надо признать, хоть и удовлетворяет потребно-
стям первого этапа, но недостаточна для реализации вто-
рого. Так, 650 х 0,8 (коэффициент мощности) = 520 кВт
полезной мощности, из которой 320 кВт идет на обеспече-
Александр Петренко
ние непосредственно СБЭ (системы бесперебойного пита-
ния) и серверного зала (300 / 0,94 (КПД ИБП) = 320 кВт). Безусловно, предложенное решение по подаче холодного
Следовательно, на другие системы жизнеобеспечения ЦОД воздуха имеет право на жизнь, однако охлаждение стоек
остается порядка 200 кВт, что вполне правдоподобно и с нагрузкой более 7-8 кВт невозможно без применения
учитывает резерв по мощности оборудования. средств по изоляции коридоров, а они не отражены на
Таким образом, мощность выбранного ДГУ вполне доста- эскизе. Как результат, возможно возникновение локаль-
точна для первого этапа проекта, но в перспективе потребу- ных зон перегрева. Вторым решением проблемы, кроме
ется её наращивание. По предварительным расчетам - до изоляции коридоров, является установка модулей активно-
900 кВА. Я считаю, что в данной ситуации есть два выхода: го пола, но это негативно отразится на энергоэффективно-
сти ЦОД в целом.
• Оставить текущее решение с ДГУ на 650 кВА, но пред-
упредить заказчика о необходимости последующей до-
купки ДГУ и подключению их в параллель. Это потребует Евгений Николаенко
дополнительного места и кабельной проводки.
В выборе оборудования я вижу целый ряд проблем. В ситу-
• Сразу запроектировать ДГУ мощностью 900 кВА и на ации, когда изначально планируется наращивание мощно-
момент выхода на полную мощность ЦОД первого этапа сти ЦОД, основное оборудование и трассы рекомендуется
он будет работать на 70% - это оптимальная загрузка изначально рассчитывать на итоговую мощность. Так, если
для ДГУ. Данный вариант характеризуется увеличенны- ожидается рост мощности с 300 до 450 кВт, то не хватает и
ми финансовыми затратами на начальном этапе. холодопроизводительности чиллеров. А ведь она явно долж-
на быть больше, чем предполагаемое тепловыделение, т.к.
Алексей Теремов реальная холодопроизводительность сильно зависит от тем-
пературного режима.
По моему мнению, оборудование подобрано немного не
Кроме того, указана общая мощность ИТ-оборудования
корректно. Если ИТ-оборудование предполагается нара-
450 кВт, но при этом планируется установка четырех фан-
щивать до 450кВт, то я бы рекомендовал сразу установить
койлов по 90 кВт – явно не хватает одного фанкойла.
кондиционеры по 120 кВт и чиллеры по 250 кВт. При этом
Далее - система холодоснабжения не имеет резервирова-
важно не забыть спроектировать и проложить необходи-
ния по электропитанию: мощности ДГУ недостаточно даже
мые диаметры трубопроводов.
без учета дальнейшего увеличения мощности системы,
Можно предложить использовать шкафные кондиционе- а для соответствия уровню надежности Tier III по Uptime
ры с опцией, позволяющей установку вентиляторов под Institute, ДГУ необходимо резервировать. В данном случае
фальшполом. Это даст существенную экономию энергии и этого не сделано. Также не понятно про питание насосов и
средств заказчика во время эксплуатации. системы управления от ИБП.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

10 www.TierLife.ru NEXT PREVIOUS

Компоновка
оборудования
в машинном зале

Евгений Проскурин
Во-первых, очевидно несоответствие дата-центра заяв-
ленной категории надежности Tier III, так как, согласно
стандарту TIA-942, машинный зал должен быть отделен от
комнаты энерговвода, где размещается силовое оборудо-
вание.
Во-вторых, стеллаж АКБ по сути расположен в «горячем» ко-
ридоре. Без использования дополнительных приспособле-
ний при текущей компоновке поддерживать необходимые
климатические параметры для аккумуляторных батарей
будет невозможно. Это приведет к существенному сокра-
щению срока службы батарей и наложит дополнительные
требования к системе вентиляции. Вместо того, чтобы вен-
тилировать небольшое помещение с АКБ, придется органи-
зовывать систему вентиляции для целого машинного зала,
а это, безусловно, негативно отразится на энергозатратах
и увеличит PUE.
В-третьих, установленных кондиционеров и чиллеров с уче-
том резервирования N+1 достаточно примерно на 300 кВт
ИТ-нагрузки. То есть на первый этап. И если в перспекти-
ве планируется увеличивать мощность системы охлажде-
ния, то стоит отметить ряд проблем в компоновке. Судя по
плану, дополнительные кондиционеры не предусмотрены.
Замена существующих кондиционеров на более мощные
повлечет за собой изменение расходов холодной воды, что
приведет к необходимости внесения изменений в трубную
разводку в целом. По моему опыту осуществить такой про-
ект без длительной остановки ЦОД невозможно.
Александр Петренко
Планировку следовало бы откорректировать: если система
пожаротушения построена на хладоне, то её необходимо
вынести из машзала, также в отдельное помещение жела-
тельно переставить ИБП и АКБ.
Также я бы рекомендовал увеличить на 200 мм высоту
фальшпола и откорректировать расстановку стоек: жела-
тельно добиться одинаковой мощности для каждого ряда.
Это позволит оптимизировать работу системы охлаждения
и избежать потенциальных проблем с точками перегрева.
Алексей Теремов
Если говорить об архитектурных нормах, то ширина прохо-
дов между рядами определяется стандартом ANSI/TIA-942.
На планировке видно, что ширина холодного коридора -
1200 мм, горячего коридора - 900 мм. Ширина бокового
прохода - 1000 мм. Это не противоречит рекомендациям
TIA 942. Таким образом, по крайней мере, при эксплуата-
ции неудобств возникнуть не должно.

Евгений Николаенко
Ряды, на наш взгляд, слишком длинные, кроме того, стойки распределены неравномерно по мощности. Если в первых
двух рядах ситуация не критична, то в правых двух, скорее всего, возникнут зоны перегрева, т.к. самые мощные ИТ-стой-
ки расположены по концам рядов. Кроме того, в исходных данных указано, что оборудование будет загружаться посте-
пенно, а это – дополнительный риск неравномерного распределения нагрузки.
Я вижу два варианта решения этой проблемы: либо локализовать наиболее нагруженные стойки и обеспечить для них от-
дельное охлаждение (например, при помощи внутрирядных кондиционеров или, хотя бы, герметизацией коридора), либо
перенести стойки по 12 кВт в два левых ряда (со стойками по 3 кВт), чтобы нагрузка распределялась более равномерно.
Кроме того, некорректно расставлены кондиционеры: в случае выхода из строя кондиционера, расположенного, если
смотреть в плане, в левом верхнем углу, возникнет сильная разбалансировка давления воздуха, что приведёт к локаль-
ным перегревам оборудования.
Также отмечу, что стеллаж батареи расположен в горячем коридоре, хотя это оборудование требует температуры не выше
+22°C. Длительный перегрев сократит срок службы батареи в несколько раз. Правильнее было бы выделить под ИБП или
хотя бы под стеллаж с батареей отдельное помещение с собственным охлаждением.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS NEXT www.TierLife.ru 11
Упущения концепции
Евгений Проскурин
Очень слабо проработан вопрос перспективного наращивания мощностей в ЦОД. Это касается практически всех пред-
ставленных в компоновке элементов: кондиционеров, трубной разводки, чиллеров, ДГУ и даже расположения стоек.
Так, при увеличении нагрузки на стойку потребуются дополнительные элементы охлаждения, которые приведут к суще-
ственному увеличению PUE, увеличению затрат. К тому же без остановки ЦОД и вовсе невозможен подобный апгрейд.
Как я уже говорил, не правильно выбрана мощность ДГУ: 650 кВА недостаточно для того, чтобы в случае прекращения
основного электропитания обеспечить электроснабжение для всего ЦОДа и всех обслуживающих технических средств,
включая чиллеры. С учетом роста нагрузки мощность ДГУ должна составлять минимум 0,9 МВт.
Кроме того – и это важно – на данном эскизе не обозначено щитовое распределительное оборудование. Согласно Tier III,
необходимо предусмотреть резервную магистраль питания, а электрошкафы должны быть резервированы по схеме 2N.
Этот комплекс организационно-технических мероприятий займёт довольно существенную площадь. В представленной ком-
поновке места не хватит. Со 100-процентной уверенностью могу сказать, что щитовое оборудование необходимо будет уста-
навливать на дополнительных площадях. То есть о размещении всей инфраструктуры в одном помещении речи-то и не идёт.

Евгений Николаенко
Полуметровая высота фальшпола слишком мала: в середине рядов охлаждение будет недостаточным, а при таком распо-
ложении стоек, которое указано на схеме, это особенно критично. Под фальшполом должно быть минимум 700-800 мм
свободного пространства.
Кроме того, при предлагаемой схеме охлаждения пространство под фальшполом должно быть максимально свободным
от коммуникаций. В крайнем случае, можно провести внизу трубы параллельно рядам стоек, но кабели необходимо про-
кладывать снаружи. В противном случае любое открытие пола для проведения кабельных и коммутационных работ будет
нарушать работу системы охлаждения машинного зала.

Энергоэффективность Евгений Проскурин

Евгений Николаенко
На самом деле без конкретных данных по другим энергопо-
требителям я не могу оценить указанный PUE. Представлен-
ная цифра (1.78) вызывает скорее больше вопросов. Учиты-
вая выбор оборудования и предложенную схему, по моему
опыту, среднегодовой PUE не может быть 2.0. Если принять во
внимание, что планируется рост мощности с 300 до 450 кВт,
то при начальной мощности показатель PUE будет еще хуже.
Александр Петренко
По нашим оценкам, понижение PUE в данном проекте воз-
можно только посредством уменьшения категории надеж-
ности ЦОД, поскольку каждый элемент резервирования,
необходимый в соответствии со стандартом TIA-942, в ре-
зультате приведет только к увеличению этого показателя.
Алексей Теремов
PUE, надо сказать, достаточно большой, и его желательно
понизить. Это можно сделать несколькими способами, при
этом даже не снижая надежности инфраструктуры.
Во-первых, настроить кондиционеры на поддержание 25-
27°С/40%
Во-вторых, задать температурный режим холодоносителя
10/15°С.

Указанный показатель 1.7 находится между характерными для
Tier III «средним» индексом 2.0 и «эффективным» 1.5. Учитывая
современные реалии развития российского рынка ЦОД, это
уже неплохой показатель.
А в перспективе, PUE приблизится к уровню «эффективный» и,
по моим расчетам, будет равен примерно 1.55.
Это позволит избежать появления конденсата и существен-
но снизить длительность работы пароувлажнителей.
В-третьих, использование чиллеры с турбокомпрессорами.
Эти меры позволят примерно на 30% снизить энергопо-
требление системы кондиционирования и понизить общий
PUE до отметки 1,4-1,45.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

12 www.TierLife.ru NEXT PREVIOUS

Итоги
Анализ концепции показал, что при проработке подобных
запросов следует более внимательно относиться к перспек-
тивам развития планируемого ЦОД. Если в планах четко
прописано увеличение мощности, это необходимо учиты-
вать в процессе подбора основного оборудования и, что не
маловажно, выбора сечений трасс холодо- и энергоснаб-
жения. Ошибки в расчетах или неверные исходные данные
могут повлечь вынужденные остановки ЦОД в процессе на-
ращивания мощностей.
Ещё один камень преткновения – мощность гарантиро-
ванного источника питания. Даже по нашему опыту можно
сделать вывод, что часто нет понимания, почему мощность
ДГУ изрядно превышает мощность ИБП. Но к ИБП подклю-
чаются только те потребители, которые требуют «чистого»
питания, дополнительно поддерживаемого аккумуляторны-
ми батареями, в то время как ДГУ обеспечивает так на-
зываемое «грязное питание», которое помимо потребите-
лей «чистого» питания предусматривает энергоснабжение
и менее критичных к качеству питания и обесточиванию
электроприёмников.
Также при компоновке машзалов ЦОД следует уделять вни-
мание распределению высоконагруженных ИТ-стоек. Если
их сгруппировать вместе и не применить дополнительных
мер по охлаждению, как это было сделано в исходной кон-
цепции, то неминуемо возникает опасность появления ло-
кальных зон перегрева. Более того, при аварии на близле-
жащем к данному участку ЦОД кондиционере надежность
работы и без того испытывающих дефицит холодного возду-
ха мощных стоек резко понизится. Если высоконагруженные ИТ-стойки
Выходов из ситуации два – либо равномерное распреде- сгруппировать вместе и не применить
ление высоконагруженных стоек, либо их локализация и дополнительных мер по охлаждению, то
применение дополнительных мер по охлаждению, будь то неминуемо возникновение локальных зон
установка плиток активного пола, использование внутри-
рядной системы кондиционирования или другие приёмы.
перегрева, а при аварии на близлежащем
к данному участку ЦОД кондиционере
Все эксперты сошлись во мнении, что высота фальшпола надежность работы и без того испытыва-
500мм, тем более с учетом прокладки под фальшполом
других коммуникаций, явно недостаточна. Напомним, что ющих дефицит холодного воздуха мощных
высота фальшпола рассчитывается исходя из поддержания стоек резко понизится.
скорости холодного воздуха 1.2-1.7 м/с (допустимо 2,0-2,3
м/с; критично 2.5-2,6 м/с). Таким образом, по сути, высоту К слову, при оценке достоинств данной концепции мы
фальшпола желательно удвоить. В любом случае, фальш- получили несколько мнений, сходящихся на том, что ос-
пол ниже 700мм недопустим. И это подразумевается «чи- новными её преимуществами являются проверенность
стый» просвет. Необходимость прокладки коммуникаций и надежность. Безусловно, приняты не самые современ-
под фальшполом лишь увеличит указанную цифру. ные решения, но их работоспособность проверена и под-
Наконец, построение надежного ЦОД идет в разрез с дости- тверждена многолетним опытом эксплуатации подобных
жением действительно низких значений PUE. Сегодня мы всё архитектур.
чаще слышим о PUE на уровне 1.2-1.3 или даже 1.1. Но, не- На этом подведение итогов, пожалуй, можно завершить.
смотря на то, что предложенная концепция характеризуется Эти и другие выводы кратко сформулированы и представ-
заметно более высоким PUE (1.78), эксперты признали его лены в соответствующей врезке, а редакция благодарит
адекватность при обеспечении уровня надежности Tier III. экспертов за предоставленные комментарии.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS
Альтернативный
вариант
Тем временем, проводя аудит рассматриваемой концеп-
ции, нам предложили иное видение решения проблем хо-
зяина ЦОД, причем не только с инженерной точки зрения,
но и серверной.
В частности, учитывая относительно небольшие размеры
помещения, в котором к тому же размещено все инженер-
ное оборудование, и тип ЦОД (корпоративный), а также
Рис. 2. Альтернативный вариант компоновки машинного зала
На первом этапе планируется размещение серверного
оборудования с суммарным энергопотреблением 300 кВт.
Для этого предложено использовать стойки, мощность ка-
ждой их которых составит 12кВт. При этом их число сокра-
тится до 25.
NEXT www.TierLife.ru 13
Уравнивание длин рядов с разным чис-
лом стоек выполнено за счет установки
различного числа внутрирядных конди-
ционеров.
принимая во внимание планы по расширению ЦОД и уве-
личению мощности, использование большого количества
мало и средне загруженных стоек (3 кВт и 6 кВт соответ-
ственно) не рационально». Вместо этого предлагается рас-
смотреть вариант с более мощными стойками, что являет-
ся «более выгодным как с экономической точки зрения,
так и с точки зрения занимаемой полезной площади».
Охлаждение стоек обеспечивается внутрирядными конди-
ционерами, работающими на охлажденной воде. Холодо-
производительность каждого составляет 25кВт. Всего по-
требуется 12 рабочих кондиционера, также потребуется 2
резервных блока.
№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
14 www.TierLife.ru NEXT
Интересная особенность новой планировки – различная
численность ИТ-стоек и кондиционеров в рядах, что свя-
зано с нечетным числом стоек (25шт). Однако для орга-
низации рядов одинаковой длины было принято решение
разность в одну стойку компенсировать кондиционерами:
в ряду, в котором на одну стойку больше, на два кондицио-
нера меньше.
Также отметим расстановку «внутрирядников» не напро-
тив друг друга, как это часто делается по ошибке, а в шах-
матном порядке. Таким образом, кондиционер охлаждает
не рядом стоящую стойку (что проблематично из-за необ-
ходимости развернуть поток воздуха на 180°), а стойку
напротив. Соответственно, проблема разворота воздуха
исчезает.
За счет уменьшения количества стоек и использования
межстоечной системы охлаждения увеличивается полез-
ная площадь серверного зала. Так, теперь стало возмож-
но организовать отдельное помещение для энергетиче-
ского оборудования, что и представлено на планировке
(см. рис. 2).
«Помимо этого, дополнительным преимуществом ограж-
дения зала серверного оборудования от помещения ИБП
и АСГП является сокращение площади неэффективного ох-
лаждения, тем самым увеличивается КПД». Правда, с дру-
гой стороны, в помещении ИБП пришлось установить допол-
нительные кондиционеры.
Альтернативная компоновка представлена на рис. 2. На
наш взгляд, она действительно имеет право на жизнь и,
кстати, в положительную сторону отличается от начальной
тем, что учитывает неминуемую в перспективе 12кВт-ную
мощность стоек без дополнительной модернизации систе-
мы кондиционирования. Размещение энергетического
оборудования в отдельном помещении - также очевидный
плюс альтернативного варианта.
Внутрирядные кондиционеры рекоменду-
ется устанавливать не напротив друг друга,
а в шахматном порядке. Это существенно
оптимизирует воздушные потоки.
№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Краткие выводы и рекомендации
1. Учёт перспектив развития ЦОД необходим на начальном
этапе, чтобы избежать вынужденных простоев в будущем.
2. Лучший способ оптимизации затрат при постепенном выхо-
де ЦОД на режим и последующем расширении – использова-
ние модульного оборудования. При этом трассы должны быть
рассчитаны на максимальную плановую мощность ЦОД.
3. Высоконагруженные стойки следует либо равномерно рас-
пределить по машзалу, либо сгруппировать в одном месте,
обеспечив достаточное решение по охлаждению.
4. Расстановку кондиционеров всегда следует анализировать
на предмет их отказов. Как правило, худшая ситуация наблю-
дается при выходе из строя угловых кондиционеров.
5. Если коридоры не изолированы, то шкафные кондиционе-
ры рекомендуется размещать напротив горячих коридоров.
Это существенно снижает смешивание холодного и горячего
потоков и позволяет подать на вход стойкам более холодный
воздух, а на вход кондиционерам – более горячий, что повы-
шает эффективность охлаждения.
6. ИБП и АКБ не следует размещать в машзале, тем более в
горячем коридоре, т.к. это негативно сказывается на сроке
службы АКБ.
7. При компоновке ЦОД не пренебрегайте электрощитовым
оборудованием. Ошибочным является мнение, что щиты
можно не учитывать – впоследствии их всегда можно будет
развесить по стенам. Однако в ЦОД многие щиты (особенно
ГРЩ) по габаритам соизмеримы со стойками и устанавлива-
ются на пол. А по статистике на 1м2машзала щитовое обору-
дование может занимать до 0.3м2. И это без учета ИБП и АКБ.
8. Мощность СГЭ всегда превышает мощность СБЭ. Обычно
превышение составляет 20-50%.
9. Высота фальшпола рассчитывается исходя из скорости хо-
лодного воздуха порядка 1.5 м/с плюс высота, которую зай-
мут другие коммуникации.
10. Надёжный ЦОД – это не самый энергоэффективный ЦОД.
Для Tier III достичь PUE ниже 1,5 практически невозмож-
но, а реальный PUE составит порядка 2.
11. Расширение и укрупнение ЦОД влечёт снижение PUE, если ин-
женерия предусматривает возможность масштабирования.
PREVIOUS NEXT www.TierLife.ru 15

FVER – НОВАЯ
универсальная система показателей
эффективности ЦОД
Лайем Ньюкомб, секретарь Группы специалистов ЦОД BCS и главный технический директор
Romonet, рассказывает о системе оценки эффективности FVER для ЦОД, аналогичной, по
его словам, системе PUE, но охватывающей все пространство ЦОД, включая программное и
техническое компьютерное обеспечение.

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

16 www.TierLife.ru NEXT
Всего несколько лет назад мы начали использовать систе-
му оценки эффективности использования энергии (Power
Usage Effectiveness, PUE) для определения эффективности
работы технической и энергетической инфраструктуры на-
ших центров обработки данных. Это позволило осуществить
оценку производительности ЦОД и оказало влияние на ра-
боту как всего объекта, так и его персонала – операторов,
продавцов и консультантов.
Несмотря на эффективность и широкую популярность ме-
тода PUE, до сих пор не было разработано единой системы
оценки работы программного и технического компьютерно-
№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
го обеспечения. Многие программы измерения эффектив-
ности использования энергии не учитывают или не полно-
стью учитывают работу компьютерного оборудования.
Простая и адекватная система оценки эффективности –
насущная потребность современных организаций, в том
числе тех, кто занимается разработкой законодательства,
регламентированием и регулированием различных отрас-
лей экономики. Определяя эффективность работы, данная
система должна быть справедливой в оценке деятельности
разных сотрудников.
Для оценки производительности работы центров обработки
данных разрабатывались различные системы. Они оказа-
лись эффективными в частных случаях, но в некоторых об-
щих вопросах столкнулись с определенными затруднения-
ми:
• Оценка работы компьютерной техники не учитывает эф-
фективность использования программного обеспечения,
давая односторонний показатель
• Для предприятий обычно важна не работа программного
обеспечения, а оказанные информационные услуги, со-
провождающие бизнес-процессы
• Более точные системы измерения столкнулись со сложно-
стью сбора данных и отчетности, а более легкие в исполь-
зовании оказались менее показательными, и их нельзя
было применить в оценке работы всех операторов
• Оценка полезности работы субъективна и зависит от ха-
рактера деятельности оператора, которая меняется со
временем
• Все системы измерения могут оказаться неточными; в то
же время каждая из них при оценке деятельности должна
учитывать факторы, влияющие на работу оператора. Ка-
ждая система рискует быть либо ригидной и несправедли-
вой, либо гибкой, но двусмысленной и неточной
PREVIOUS NEXT www.TierLife.ru 17
Оценивая
то, что не
оценивает PUE
Система оценки соотношения постоянного и переменно- Система FVER позволяет оценивать программное и тех-
го энергопотребления центром обработки данных (Data ническое компьютерное обеспечение так же, как прежде
Center Fixed to Variable Energy Ratio – DC FVER) впервые оценивалась инфраструктура центра обработки данных
учитывает, какая доля объема энергопотребления центра методом PUE.
обработки данных является переменной, то есть зависит
от объема произведенной полезной работы, а какая доля Показатель DC FVER рассчитывается с помощью
постоянна. Это позволяет операторам ЦОД видеть, какая простой формулы:
часть потребляемой ими энергии связана с выполненной Полная энергия Постоянная энергия
работой, а какая часть по сути является «балластом», требу- FVER =
Переменная энергия
=1+
Переменная энергия
ющим сокращения и оптимизации.
Система FVER решает многие указанные выше вопросы, Значение показателя FVER, как и PUE, находится в диапа-
включая в оценку программное и техническое компью- зоне от 1 до бесконечности, и идеальное значение равно
терное обеспечение и позволяя каждому оператору опре- 1. Так же, как и в случае PUE, значение 1 практически не-
делять производительность, характеризующую его центр достижимо из-за фиксированных потерь энергии при ра-
обработки данных и объем оказанных информационных боте многих устройств (минимальное энергопотребление
услуг. Этот подход отклоняет попытку разработать универ- при нулевой загрузке). В то же время измерение данного
сальную систему оценки, одинаково и справедливо приме- показателя дает возможность определить пути улучшения
нимую ко всем операторам. работы.

Непродуктивный ция этого показателя – приоритетный вопрос для центров

обработки данных и отрасли в целом.

расход
В идеальном случае величина постоянного энергопотре-
бления должна быть равна нулю в тот период, когда обо-

энергии
рудование не производит полезной работы. Показатель DC
FVER дает оператору возможность увидеть, насколько по-
требление энергии его оборудованием соответствует объе-
му производимой работы (см. рис.1).

Рис. 1. Реальное и идеальное энергопотребление ЦОД в

Для примера предположим, что автомобиль может пере- зависимости от полезной нагрузки ИТ-оборудования
возить четырех пассажиров и достигать определенного
показателя скорости км/л (километров на литр горючего).
Значение км/л зависит от типа автомобиля. Но наиболь-
ший интерес представляет случай, когда автомобиль не-
подвижен, то есть когда полезной работы не совершается,
а топливо, как можно предположить, всё-таки потребляется
(очевидно, впустую).
Аналогично, мы можем удивиться тому, что позволяем на-
шим центрам обработки данных потреблять почти такой же
объем энергии, когда они фактически не работают, как и
тогда, когда они производят полезную работу.
Потенциал для повышения эффективности ЦОД связан
именно с его постоянным энергопотреблением. Оптимиза-

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

18 www.TierLife.ru NEXT
Измерение
полезной работы
Показатель FVER не определяет, каким образом опера-
тор ЦОД должен оценить производительность дата-цен-
тра. То же касается и других сфер деятельности. Но FVER
позволяет каждому оператору сделать выборку соответ-
ствующих практических репрезентативных показателей
полезной работы, не специфических для конкретной сфе-
ры деятельности. Затем эти данные обрабатываются и
обобщаются с существующими данными измерений об-
щего и серверного энергопотребления методом PUE для
получения сравнительного показателя производительно-
сти ЦОД.
Очень простой
пример
Рассмотрим центр обработки данных с номинальным уров-
нем энергопотребления 1,5 МВт, занимающийся размеще-
нием в Интернет информацией об услугах нашего предпри-
ятия. Показатель PUE уже был измерен, и для определения
показателя FVER мы:
1. Выберем простой показатель производительности рабо-
ты центра (например, количество обслуженных клиентов
или совершенных транзакций в час)
2. Зарегистрируем данные о производительности и энер-
гопотреблении в течение каждого часа за неделю
3. Определим наиболее и наименее производительные
часы и посмотрим на соответствующий объем энергопо-
требления в этот период (например):
a. Самая высокая производительность наблюдалась с
15 до 16 часов в четверг, потребление энергии за этот
период составило 1,2 МВт*ч
b. Самая низкая производительность наблюдалась с
03 до 04 часов в воскресенье, потребление энергии
составило 1,0 МВт*ч
№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Сокращение постоянного энергопотребления эффективно
как для операторов с переменной нагрузкой, так и для опе-
раторов удаленной среды с более постоянной нагрузкой,
так как, как и в случае использования PUE, это повышает
общую эффективность.
В процессе выбора показателя полезной работы вы смо-
трите, чем занимается ваш центр обработки данных (на-
пример, работой с потоковым видео, HPC, бизнес-приложе-
ниями, …) и что из этой деятельности является ценным для
бизнеса (т.е. может считаться полезной работой).
На этом простом примере мы можем увидеть, что
разница в энергопотреблении между периодами
наивысшей и наименьшей производительности со-
ставила 0,2 МВт. Для расчета показателя FVER вос-
пользуемся формулой:
Полная энергия (1000 кВт*ч) 1000 кВт*ч
FVER = =1+ =6
Переменная энергия (200 кВт*ч) 200 кВт*ч
Теперь можно принимать меры к изменению потребляе-
мой оборудованием как инженерной, так и ИТ-инфраструк-
туры энергии. Например, можно перевести серверное
оборудование в другой режим работы, изменить настройки
перехода в «спящий» режим, настроить кондиционеры и
чиллеры на работу в режиме ротации или одновременной
работы всех единиц оборудования на меньших оборотах и
т.п. Далее необходимо снова измерить показатель FVER и
четко увидеть, какие были сделаны улучшения.
PREVIOUS NEXT www.TierLife.ru 19

Вывод
Система DC FVER, конечно, не является идеальным реше-
нием. Но она предоставляет простой и быстрый способ из-
мерения эффективности в нашей сфере деятельности и в
сфере деятельности предприятий, которые мы обслужива-
ем. И, как и PUE, использование FVER поможет сократить
непродуктивный расход энергии.
Группа специалистов ЦОД BCS с радостью примет отзывы
о данной системе. Все больше операторов узнают и ис-
пользуют систему FVER, сообщая о результатах. Результаты
использования будут опубликованы наряду с возможными
решениями по оптимизации.

Как изменить FVER вашего ЦОД?

• перевести серверное оборудование в другой режим рабо-
ты (максимальной/минимальной производительности;
использование или отказ от турбо-режимов)
• изменить настройки перехода ИТ-оборудования в «спя-
щий» режим,
• изменить настройки виртуализации,
• включить энергосберегающий режим в настройках прило-
жений, поддерживающих данную функцию,
• внедрить новые технологии (новое поколение серверов,
системы хранения данных на основе SSD и др.)
• изменить настройки кондиционеров и чиллеров на работу
в режиме ротации или, наоборот, в режим одновременной
работы всех единиц оборудования на меньших оборотах,
• изменить поддерживаемую в ЦОД температуру (замет-
ным окажется даже изменение температуры на 1°С),
• распределить нагрузку на ИБП с целью их вывода на наи-
более эффективный режим,
• внедрить систему управления инфраструктурой ЦОД (Data
Center Infrastructure Management, DCIM)
Сюда же можно включить советы по оптимизации каждой из
подсистем ЦОД, включая такие, как установка заглушек в
неиспользуемые юниты стоек, герметизацию коридоров и
др. Список можно продолжать бесконечно. Важно то, что на
FVER оказывают влияние изменения не только в инженер-
ной, но и в ИТ-инфраструктуре ЦОД, как на уровне ИТ-обору-
дования, так и на уровне его комплектующих и установлен-
ных приложений.
Таким образом, показатель FVER позволяет оценить энерго-
эффективность ЦОД более глобально, нежели PUE

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

20 www.TierLife.ru

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ