Слово редактора 3

Новости 4
INLINE Technologies
построила ЦОД для ВГТРК
Schneider Electric
занимает 53% рынка ИБП
по итогам 2012 года
Проведены комплексные
испытания накопителя
кинетической энергии

Управление
инфраструктурой
центров 6
обработки
данных

Особенности
создания систем
кондициониро-
вания в 14
малых ЦОД
и серверных
Один ряд стоек
в узком помещении
Один ряд стоек в
помещении без
фальшпола
Два ряда стоек
в помещении с
фальшполом
Общие факты
Выводы
2 www.TierLife.ru

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 3
Уважаемые коллеги!
За время подготовки зать в нём сразу об обеих насущных инженерных подсисте-
предыдущего, четвёр- мах дата-центров.
того номера журнала
Об одной из них – системе управления инфраструктурой
Tier, мы в явном виде
ЦОД (DCIM) рассказ пойдет в ключе представления кон-
ощутили на себе по-
кретного решения – платформы Trellis, представляющей
требность публики в
собой инновационный программно-аппаратный комплекс
информации о систе-
управления инфраструктурой ЦОД, от компании Avocent,
мах кондиционирова-
являющейся подразделением корпорации Emerson.
ния ЦОД и решениях
Тема кондиционирования ЦОД будет раскрыта с позиции
для управления инфра-
построения архитектуры систем охлаждения для неболь-
структурой центров об-
ших серверных помещений, площадь которых не превы-
работки данных. При
шает 50м2, а ИТ-стойки устанавливаются в один или два
этом критериями для
ряда. При этом возможны ситуации, когда в помещении
нас являлись посеща-
может быть организован фальшпол, или же его наличие не
емость тех или иных
предусмотрено. Анализ различных вариантов с описанием
страниц наших ресур-
конкретных проблем и методами их решения вас ожидает
сов, входящая почта, анализ поисковых запросов и другая
в статье «Особенности создания систем кондиционирова-
информация.
ния в малых ЦОД и серверных».
Безусловно, в работе над новым, пятым номером журнала
Tier мы учли эти потребности рынка и, включая этот выпуск
Приятного чтения и весеннего настроения!
в серию журналов «Инфраструктура ЦОД», решили расска-
Юрий Хомутский

Над номером работали:

Издатель и главный редактор – Юрий Хомутский

Редактор – Игорь Евсеев
Дизайн/вёрстка – Пётр Присячев
Корректор – Ирина Власова
По всем вопросам обращаться:
тел.: +7(499)603-46-46
E-mail: YH@TierMedia.ru
Site: www.TierLife.ru
Все права защищены. Запрещается полное или частичное воспроизведение статей и фотоматериалов без письменного
разрешения редакции
Редакция не несет ответственности за содержание рекламных материалов.
Незаказанные редакцией рукописи не рецензируются
Журнал Tier — журнал о дата-центрах и об индустрии ЦОД.
Не является средством массовой информации.

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

4 www.TierLife.ru NEXT PREVIOUS

Новости
INLINE Technologies построила
ЦОД для ВГТРК
Компания INLINE Technologies объявила о завершении проекта по построению
центра обработки данных для ВГТРК на ул. Шаболовка.
Целью проекта являлось построение инфраструктуры для сетевой инфраструктуры и рационально эксплуатировать
размещения производственного комплекса ФГУП ВГТРК, все линии связи внутри ЦОД.
включающего в себя системы хранения, резервного копи-
Еще одним элементом инфраструктуры созданного в ВГТРК
рования, обработки и передачи данных, а также системы
ЦОД стала структурированная кабельная система (СКС),
управления медиаконтентом.
включающая 840 дуплексных волоконно-оптических соеди-
Перед INLINE Technologies стояла задача создать централи- нений и 300 линий UTP. В качестве монтажных конструктивов
зованную площадку для размещения и консолидации дан- INLINE Technologies впервые в России установила серверные
ных технологических мощностей ВГТРК, необходимость в шкафы Panduit NetServ, снабженные вертикальными возду-
наращивании которых возникла ввиду интенсивного раз- ховодами. За это компании присуждена премия Panduit «Зо-
вития компании в предыдущие пять лет. лотой Джек 2012», которая по итогам года вручается лучшим
российским инсталляторам. Всего в ЦОД ВГТРК размещено
Проект реализовывался при непосредственном участии
около 50 шкафов 19” Panduit NetAccess и NetServ.
технических специалистов ВГТРК.
Одним из основных элементов инфраструктуры центра об-
работки данных (ЦОД) ВГТРК является ядро сети передачи
данных, построенное с использованием технологии Virtual Подробнее:
PortChannel (vPC) на оборудовании Cisco Nexus. Следует
подчеркнуть, что применение технологии vPC позволяет до-
стичь высокого уровня отказоустойчивости всех элементов

Schneider Electric занимает

53% рынка
ИБП по итогам 2012 года
По итогам аналитического отчета IDC, компания Schneider Electric
сохранила в 2012 году свои ведущие позиции, заняв 53% россий-
ского рынка ИБП. Это больше, чем доля всех остальных произво-
дителей в сумме, и на 1% выше по отношению к прошлому году.
Таким образом, несмотря на то, что после удачного 2011 года тем-
пы роста рынка ИБП значительно сбавились, Schneider Electric
удалось сохранить свою долю на российском рынке примерно на
том же уровне, что и в 2011 году.

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS
IDC — ведущий поставщик информации и консультацион-
ных услуг на рынках информационных технологий, теле-
коммуникаций и потребительской техники, с представи-
тельствами в 110 странах. За 45 лет на рынке, компания
IDC завоевала репутацию главного источника данных и
прогнозов на исследуемых ею сегментах рынка инфор-
мационных технологий. Также, IDC является единствен-
ной международной компанией, специализирующейся на
исследованиях рынка и консалтинге, имеющей местные
офисы во всей Восточной Европе и странах бывшего СССР.
В целом, рост рынка ИБП в 2012 году составил 8%, что зна-
чительно ниже относительного показателя в прошлом году
— в 2011 году рост составлял 13%, а в 2010 — 26%. Основ-
ной причиной замедления общего роста рынка специали-
Проведены комплексные
испытания
накопителя
кинетической энергии
Компания «Русский сверхпроводник» провела ком-
плексные испытания экспериментального образца на-
копителя кинетической энергии (НКЭ) большой мощ-
ности (до 50 кВт) и энергоемкости (свыше 4 МДж).
Комплект силовой электроники, применимой в данной
конструкции НКЭ, был любезно предоставлен компа-
нией Mitsubishi Electric. В ходе испытаний были опро-
бованы режимы работы изделия в качестве источника
бесперебойного питания, а также накопителя рекупе-
рированной энергии городского наземного электрифи-
цированного транспорта, метрополитена, пригородных
электропоездов Российких железных дорог. Кроме
того, была отработана модель функционирования НКЭ
в сетях крупных промышленных потребителей энер-
гии с резко переменным графиком нагрузки потре-
бляющего оборудования и в сетях с альтернативными
энергоисточниками.
На испытаниях накопителя присутствовали представители
предприятий от холдингов ОАО «Российские железные доро-
ги», ОАО «Транснефть», компаний, использующих ИБП при соз-
дании мощных центров обработки данных, специалисты ор-
ганизаций нефтехимической отрасли, венчурные инвесторы.
Наибольший интерес среди потенциальных потребителей
кинетических накопителей вызвала способность быстрого
запасания энергии, рекуперируемой с большой мощно-
стью электрифицированным транспортом в ходе тормо-
жения электроподвижного состава перед остановками.
Next www.TierLife.ru 5
сты называют резкий спад продаж в области персональных
ИБП (<1 кВА), который вырос за 2012 год всего на 5%. Для
сравнения — в 2010–11 гг. рост этого сегмента составил
вдвое больше — 10%.
Но, несмотря на замедление роста рынка ИБП, Schneider
Electric удалось сохранить и рост продаж, и долю на рын-
ке. Примечательно, что в первую очередь рост удалось
обеспечить за счет продуктов семейств APC Back-UPS и
APC Smart-UPS в высококонкурентных сегментах «до-
машние пользователи» (до 1кВА) и «корпоративные сети»
(1–10кВА). На быстрорастущем рынке ИБП для ЦОДов
различной мощности (от 10кВА и до 1МВА) компания
Schneider Electric также показала положительную динами-
ку продаж.
Запасенная энергия хранится необходимое время в нако-
пителях во время остановок и выдается в контактную сеть
для разгона вагонов. Расчеты на основе полученных экс-
периментальных результатов показывают, что применение
накопителей кинетической энергии позволяет экономить
до 30% от потребляемой электротранспортом энергии.
Данная сфера применения НКЭ позволяет достигать высо-
кие показатели экономической эффективности, недоступ-
ные для других типов накопителей энергии.
Также высокий интерес вызывает сфера применения НКЭ
в качестве источников бесперебойного питания. Кинети-
ческий накопитель способен быстро, в течение нескольких
минут, запасать большой объем энергии для поддержания
готовности энергоснабжения ответственных категорий
потребляющего оборудования. И при необходимости с
увеличенной мощностью выдавать её в энергосистему по-
требителя. В отличие от традиционных ИБП с химическими
аккумуляторами, накопительный элемент НКЭ – маховик –
не имеет износа, поэтому он служит без замены в течение
всего срока службы такого агрегата – более 15 лет.
Подробнее:
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
6 www.TierLife.ru Next PREVIOUS

Управление
инфраструктурой центров
обработки данных

Управление инфраструктурой центров обработки данных (ЦОД) (DCIM – Data Center Infrastructure Management) -
не новое, но набирающее силу направление в развитии ИТ-индустрии (по оценкам 451 Research мировой оборот
систем DCIM вырастет с $450 млн. до $1.2 млрд. в 2015), которое связано со значительным ростом количества
корпоративных дата-центров и процессом консолидации в индустрии коммерческих ЦОД. Основными целями
решений в этом направлении являются максимизация использования ресурсов ЦОД, повышение эффективности
службы эксплуатации и, как следствие, достижение наилучших показателей по стоимости владения ЦОД. В контек-
сте DCIM под ресурсами ЦОД понимаются как ИТ-активы: сервера, системы хранения, сетевое оборудование, так
и ресурсы ЦОД, обеспечивающие работу ИТ-активов: строительные (серверные помещения), инженерные систе-
мы, системы энергообеспечения и сама электроэнергия, системы поддержания необходимых параметров среды
помещений ЦОД.

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 7
В решениях DCIM обычно выделяют следующие ИТ-сервисы, ИТ-оборудование, инженерное оборудование,
большие функциональные области: представляется статичным и уже не соответствующим про-
• Инвентаризация, визуализация и управление активами. цессам, происходящим в ИТ-отрасли.
Что имеется в ЦОД (монтажные шкафы, серверы, сетевое
оборудование), как расположено оборудование, как орга-
низованы соединения, параметры и характеристики каж- Компания Avocent предлагает реализацию
дого устройства. комплексного подхода к ЦОД как к ИТ-экосистеме,
• Планирование изменений в ЦОД. Любое изменение в вы- требующей управления
соконагруженном ЦОД (установка нового шкафа, сервера,
перемещение оборудования из шкафа в шкаф и т.д.) вызы-
вает целый ряд проблем, связанных с определением воз-
можности и осуществлением такого изменения. Очень мно-
го факторов влияют на решение – наличие места в шкафу,
наличие резерва электропитания, охлаждения, свободных
портов в PDU и коммутаторе и т.д. Многочисленные изме-
нения требуют аккуратного планирования и бронирования
ресурсов под каждый такой проект.
• Контроль и управление энергопотреблением ЦОД. Чем
ближе измеритель потребляемой мощности к нагрузке, обе-
спечивающей работу ИТ-сервиса и чем больше таких изме-
рителей, тем точнее карта энергопотребления ЦОД. Точные
данные по энергопотреблению позволяют рассчитывать
коэффициенты энергоэффективности (например, PUE), пла-
нировать размещение ИТ-активов так, чтобы не возникало Рис. 1. ЦОД – ИТ экосистема.
перегрузки энергетической системы или точек повышен-
ной теплоотдачи (hot-spot), отслеживать тенденции.
• Мониторинг рабочей среды серверных помещений и ор-
Платформа Avocent (Emerson) Trellis представляет со-
ганизация системы оповещения и противодействия в слу-
бой инновационный программно-аппаратный ком-
чаях аварийных ситуаций.
плекс управления инфраструктурой ЦОД. Это платфор-
• Обеспечение удаленного доступа к ИТ-оборудованию для
ма, обеспечивающая совместную работу различных
оперативного управления и устранения проблем;
функциональных модулей комплекса, специализи-
• Мониторинг и управления критичной физической ин-
рованных устройств сбора информации из разных
фраструктурой в ЦОД, к которой можно отнести системы
источников и устройств обеспечения доступа к пор-
обеспечения бесперебойного питания (генераторы, ИБП),
там управления ИТ и инженерного оборудования ЦОД
системы охлаждения и вентиляции.
производства компании Avocent (Emerson).
• Формализация регламентов по внесению изменений в
ЦОД – позволяет точно описать логическую и временную
схему заданий каждому сотруднику ЦОД для реализации ка-
кого-либо изменения в ЦОД (инсталляция, перенос, вывод
из эксплуатации, и т.д.).
Хорошо функционирующая система DCIM позволяет под-
нять эффективность - минимизировать стоимость ИТ-серви-
са в пересчете на одного пользователя в единицу времени
и в долгосрочной перспективе, и обеспечить надежность
функционирования ЦОД - гарантировать требуемый уро-
вень обслуживания (SLA) пользователей, существенно сни-
зить капитальные и операционные расходы на строитель-
ство, модернизацию и эксплуатацию ЦОД.
Все вышесказанное в полной мере относится к решениям
компании Avocent (подразделение Emerson) по управле-
нию инфраструктурой ЦОД, имеющей более чем 20-летний
опыт разработок в этой области ИТ.
В настоящее время с развитием технологий виртуализа-
ции и облачных вычислений стандартный подход к управ-
лению проектированием, строительством и эксплуатацией Рис. 2. Архитектура Trellis.
центров обработки данных на трех независимых уровнях:

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

8 www.TierLife.ru Next PREVIOUS

Аппаратным компонентом платформы DCIM Trellis является устройство UMG (Universal Management Gateway)
(Рис. 3). Universal Management Gateway занимает роль основного связующего звена между программными
модулями управления и мониторинга с одной стороны и физической инфраструктурой с другой, обеспечивая
непрерывный сбор данных и управление с обратной связью для инженерного оборудования, вычислительных
и сетевых средств. Устройство UMG взаимодействует с системами электропитания, охлаждения, датчиками па-
раметров среды и оборудованием ИТ, собирая, унифицируя и передавая необходимую информацию в соответ-
ствующие функциональные модули платформы Trellis. Это позволяет контролировать состояние ЦОД, а также
обеспечивает доступ и управление ИТ и инженерными системами в реальном времени.

Рис. 3. UMG-универсальный шлюз управления.

Основными задачами UMG являются:

Рис. 4. Устройство UMG 6000.
• Мониторинг и сбор данных:
– С датчиков параметров среды серверных помещений ЦОД;
– С портов сервисных процессоров ИТ-активов;
– С оборудования инженерной инфраструктуры;
• Удалённое управление активами ЦОД (Доступ/Управление) через:
– Цифровой KVM;
– Доступ Serial over IP;
– Управление через Service Processor.
Внешний вид устройства UMG представлен на рисунке 4.

На текущий момент выпускаются модели устройства UMG со следующими характеристиками:

UMG2000 UMG4000 UMG6000

Управление сервисными процессорами
Управление консольными портами
IP-KVM –
Кол-во сессий IP-KVM 0 40 40
Кол-во управляемых сервисных процессоров 256 512 1024
Кол-во портов управления 40 40 40
Универсальные порты (autu-sensing) 8 40 40
Мониторинг (записей/минуту, макс.) 1000 5000 10000
Жёсткий диск (RAID1 Mirroring) 2x250GB 2x250GB 2x250GB
Сетевые соединения 2xGigabit Ethernet 2xGigabit Ethernet 2xGigabit Ethernet
Мониторинг рабочей среды (Sensors) –

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 9

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

10 www.TierLife.ru Next
Основные
характеристики UMG
Поддержка сервисных процессоров:
• IPMI 1.5 (+ non-standard SoL), IPMI 2.0;
• HP iLO - iLO3, IPMI, HP Blade System
• Dell DRAC4, 5, Dell BladeCenter, DRAC MC, DELL
10G, M1000e Blade Chassis Controller, Blade Chassis
Management Controller/iDRAC for blades/iDRAC6 for blades;
• Cisco UCS-C Rack Mount servers;
• FSC iRMC, iRMC S2;
• IBM RSA (RSA II), IBM BladeCenter;
• Sun ALOM, Sun ILOM, Sun eLOM;
Управление серверами:
• Консольный доступ Serial&KVM over IP;
• Логирование консольных сессий (local, NFS, Syslog);
• Поддержка управления питанием через управляемые PDU;
• Graceful shutdown (для IPMI);
• System event logs (SEL);
• Hardware environmental sensors;
• Alert management;
• Platform event traps (PET);
Поддержка протоколов инженерного оборудования:
• BACNET;
• Modbus;
• SNMP;
• Velocity;
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Интерфейсы и соединения:
• 40xRJ45 портов с автоматической настройкой (искл.
UMG2000, 32xSP + 8x авто);
• Цифровые входы для совместимых сенсоров (темпера-
тура, влажность, сухие контакты, движение, задымление);
• Цифровые выходы для удаленного управления;
• Совместимые сенсоры: серия Liebert SN;
Пользовательский интерфейс:
• Встроенный графический и веб- интерфейсы;
• Управление через DSView и Trellis;
• Командный интерфейс SSH;
• Локальная KVM консоль.
Программная часть платформы Trellis в настоящее вре-
мя включает следующие основные функциональные
модули:
• Trellis Platform Services – программная платформа, обе-
спечивающая совместную работу функциональных моду-
лей Trellis.
• Trellis Inventory Manager – дает возможность админи-
страторам создавать точные и полные модели своих ЦОД, в
том числе местоположение устройств и оборудования, вза-
имодействие этих компонентов, и ресурсов, используемых
оборудованием ЦОД.
• Trellis Site Manager – информирует персонал о состоянии
инфраструктуры, включая климатические условия, распоз-
нает и решает проблемы, влияющие на производитель-
ность системы.
• Trellis Change Planner – позволяет отслеживать и плани-
ровать изменения в ЦОД.
• Trellis Energy Insight – позволяет легко получать отчёты по
уровням потребления энергии любым объектом.
В планах компании расширение функционала Trellis
следующими модулями:
• Trellis Power System Manager - просмотр ресурсов и ути-
лизации систем энергоснабжения, повышение уровня зна-
ния об активных цепях электропитания, состояния каждого
устройства энергетической системы ЦОД, понимание за-
висимостей в энергетической системе ЦОД, визуализация
агрегированного состояния и ресурсов устройств питания,
работающих параллельно.
• Trellis Mobile suite – расширение платформы Trellis, набор
приложений для управления ЦОД с мобильных устройств.
• Trellis Process Manager - создание и оптимизация процес-
сов и процедур по управлению ЦОД.
• Trellis Cooling Systems Manager - контроль ресурсов и за-
пасов по охлаждению.
• Virtual Insight Manager – управление виртуальной инфра-
структурой ЦОД.
Начиная со второго релиза системы (лето 2013) будет до-
бавлен API, который позволит эффективно встраивать DCIM
в комплекс систем функционирования компании и ЦОД,
например, синхронизировать с CMDB (для автоматизации
загрузки первоначальных данных по оборудованию), Asset
Manager, Service Desk, 1C, BMS (если мониторинг осущест-
вляется внешней системой) и др. системами.
PREVIOUS
Trellis Inventory Manager
Функционал:
• Ведение базы активов ЦОД;
• Визуальная конфигурация актива, планировки помещения,
возможность просматривать и редактировать различные сре-
зы помещения (подпольное пространство, пол, потолок,…);
• Библиотека образов для всех типов устройств с возмож-
ностью добавления любого недостающего устройства (вы-
полняет Avocent);
• Поиск расположения актива (-ов) внутри ЦОД по любым
параметрам;
• Визуальные планы размещения в ЦОД и в отдельной стойке;
• Описание силовых и сетевых соединений, возможность
отслеживания цепочки силового подключения, от устройства
до генератора, анализа соответствия заданным стандартам.
Trellis Site Manager
Функционал:
• Сбор оповещений и тревожных сообщений и информиро-
вание соответствующих служб и ответственного персонала;
• Сбор и анализ данных в реальном времени;
• Цветовое отображение статуса устройств;
• Настройка и сбор отчётов по энергетике по зонам или
отдельным шкафам.
Next www.TierLife.ru 11
Преимущества:
• Позволяет быстрее находить любую единицу оборудования;
• Позволяет администратору ЦОД быстро принимать ре-
шения по размещению нового оборудования;
• Даёт менеджеру ЦОД моментальный обзор по установ-
ленному оборудованию, используемым ресурсам и доступ-
ным ресурсам, основываясь на информации о реальном
энергопотреблении оборудования;
• Позволяет оценивать правильность подключений на
предмет соответствия стандартам отказоустойчивости,
принятых в данном ЦОД.
Преимущества:
• Обеспечит наиболее эффективное использование персо-
нала, расставляя фокусы на основные проблемы;
• Уменьшает время на обнаружение и устранение проблем,
связанных с критичными инфраструктурными устройства-
ми, статистические данные по всем параметрам оборудо-
вания позволяют быстро анализировать причины возник-
шей проблемы и принимать решения по ее устранению;
• Позволяет анализировать за конкретный период, какие
проблемы возникали, их причины и скорости их ликвидации.
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
12 www.TierLife.ru Next
Trellis Change Planner
Функционал:
• Моделирование изменений в ЦОД;
• Планирование основных активностей в ЦОД;
• Отслеживание и управление взаимосвязями;
• Анализ истории изменений.
Trellis Mobile suite
Функционал:
• Инновационные технологии сканирования и распозна-
вания штрих-кодов оборудования ЦОД;
• Обновление информации на мобильном устройстве в ре-
альном времени;
• Быстрый поиск шкафа и устройства в ЦОД;
• Просмотр отчетов Trellis в реальном времени;
• Быстрый доступ к данным о ресурсах и портах устройства;
• Просмотр и обновление силовых соединений;
• Доступ к портам управления ИТ-оборудования.
Преимущества:
• Эффективное использование персонала ЦОД;
• Сокращение сроков восстановления после сбоев;
• Оперативность получения информации.
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Преимущества:
• Даёт техническому персоналу чёткие инструкции и после-
довательность действий для реализации действий по изме-
нению в ЦОД;
• Позволяет эксплуатационной службе ЦОД чётко плани-
ровать будущее использование ресурсов, заранее предви-
деть момент исчерпания того или другого ресурса;
• Помогает обосновывать будущие потребности;
• Помогает планировать использование ресурсов наибо-
лее оптимальным образом, минимизирует риски создания
точек перегрева или перегрузки энергетической системы;
• Значительно сокращает время на внесение изменений.
Trellis Process Manager
Функционал:
• Планирование регламентов для реализации изменений
в ЦОД, расписывание ролей персонала и последователь-
ности операций;
• Минимизация инцидентов при внесении изменений,
связанных человеческим фактором;
• Предотвращает ошибки и обеспечивает совместимость
со стандартами;
Преимущества:
• Повышает операционную эффективность;
• Управление сложными процессами в ЦОД;
• Отслеживание истории изменений для анализа связан-
ных с этим инцидентов и обеспечения совместимости со
стандартами индустрии.
PREVIOUS
Trellis Energy Insight
Функционал:
• Отчёты по потреблению энергии и операционной эффек-
тивности;
• Метрики эффективности ЦОД, включая PUE;
• Потребление электроэнергии (кВт/час) и ее стоимость;
• Потери в подсистемах.
Преимущества:
• Выявление неэффективных зон в эксплуатации ЦОД и по-
лучение рекомендаций по улучшению производительности;
• Текущие и исторические показатели метрик эффективно-
сти (PUE and DCiE);
• Отчёты по стоимости потребляемой электроэнергии в
подсистемах;
• Расчет необходимого бюджета на электроэнергию и дру-
гие затраты (например, топливо для дизель-генератора)
Virtual Insight Manager
Функционал:
• Инвентаризация виртуальных машин поверх физических
хостов;
• Определение потребляемых виртуальной машиной ресур-
сов – электроэнергии, систем охлаждения, ресурсов хоста;
• Проактивный мониторинг и предупреждение ситуаций,
связанных с нехваткой ресурсов;
• Визуализация состояния и зависимостей.
Преимущества:
• Быстрое определение локации виртуальной машины в
ЦОД (хост, расположение хоста в ЦОД);
• Понимание наличия доступных ресурсов (мощность, охлаж-
дение, вес, место в шкафу) на физическом хосту и предупре-
ждение потенциальных проблем, связанных с перегрузкой;
Next www.TierLife.ru 13
Trellis Cooling
Systems Manager
Функционал:
• Комплексная картина функционирования систем охлаж-
дения и их утилизации;
• Понимание режима работы и статуса каждого компонен-
та системы охлаждения;
• Отчёт о наличии ресурсов системы, используемых и не-
используемых мощностях.
Преимущества:
• Быстрый доступ к информации о наличии, установленных
мощностях и утилизации имеющихся ресурсов системы ох-
лаждения;
• Оперативная картина по статусам каждого компонента
системы охлаждения;
• Чёткое понимание по взаимосвязям внутри системы ох-
лаждения и зависимости ИТ-оборудования от компонент си-
стемы охлаждения.
Trellis Power System Manager
Функционал:
• Взаимосвязи в электро-оборудовании, представление
однолинейной схемы энергосистемы;
• Энергосистема – утилизация ресурсов и мощности;
• Статус подключённых компонентов электро-цепей.
Преимущества:
• Обзор доступных ресурсов энергосистемы, степени ути-
лизации и доступных мощностей;
• Обзор активных электро-цепей и статус каждого компо-
нента энергосистемы;
• Понимание взаимосвязей в энергосистеме, таблицы за-
висимости ИТ-оборудования от каждой компоненты энер-
госистемы;
• Визуализация функционирования параллельных энерго-
систем (общий статус и доступные ресурсы);
• Возможность параллельного анализа исторических дан-
ных функционирования компонент энергосистемы
Юрий Колесов,
Региональный менеджер Avocent в странах СНГ.
Jury.Kolesov@emerson.com
+7 (495) 981-98-11
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
14 www.TierLife.ru Next PREVIOUS

Особенности
создания систем
кондиционирования
в малых ЦОД и серверных
К настоящему времени написано немало статей и рекомендаций по проектированию и созданию систем
кондиционирования и холодоснабжения больших ЦОД, а также проведено множество обследований суще-
ствующих ЦОД на предмет их соответствия таким стандартам и инструкциям как TIA-942 (Telecommunications
Infrastructure Standard for Data Centers) и СН-512-78 (2000) (Строительные нормы. Инструкция по проектиро-
ванию зданий и помещений для электронно-вычислительных машин). Однако многие из этих рекомендаций
и отчетов, к сожалению, не могут помочь тем, кто решил создать свой малый ЦОД или серверную.

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 15
Под малым ЦОД понимается объект, площадью до 50 м2 с количеством стоек до 15 шт. Достаточно много организаций
по-прежнему в силу тех или иных причин не стремятся воспользоваться услугами коммерческих ЦОД, а остаются привер-
женцами владения собственной серверной. При этом, как и в больших коммерческих ЦОД, вопросы надежности работы
оборудования и приложений также важны и являются основными.
Начать стоит с того, что при возникновении решения о создании собственного мини-ЦОД или серверной в большинстве
случаев выбирается помещение, которое нельзя полезно использовать, и это может быть бывшая кладовая, а иногда
даже бывший санузел. Решение об использовании помещения принимается далеко не специалистами по инженерным
системам, а, как правило, финансистами, и перед ними стоит только две задачи: минимизировать затраты и разместить
в данном помещении требуемое количество стоек.
Итак, рассмотрим несколько наиболее часто встречающихся случаев.

• стоимость таких кондиционеров достаточно велика. Их

Один ряд стоек в
узком помещении
В помещении установлен один ряд стоек, фальшпол отсут-
ствует, а ширина проходов вдоль лицевых и тыльных сто-
рон стоек не превышает 1200 мм. При такой конфигура-
ции невозможно установить прецизионные кондиционеры
шкафного типа из-за отсутствия места. Первое, что бы при-
шло на ум как здравое решение проблемы – это исполь-
зование внутрирядных кондиционеров или закрытых стоек
со встроенными фреоновыми воздухоохладителями с вы-
носными конденсаторными блоками. Однако в большин-
стве случаев это окажется неприемлемым по ряду причин,
а именно:
• холодопроизводительность внутрирядного кондиционе-
ра или модуля охлаждения встроенного в стойку состав-
ляет минимум 10 кВт, а тепловая нагрузка от ряда стоек
в таком мини-ЦОД может составлять всего 10-15 кВт, при
количестве стоек от двух до десяти штук. Соответственно
или кондиционер будет сильно переразмерен, или при ко-
личестве стоек больше четырех штук, не будет организо-
ван нормальный воздухообмен, и охлаждаться будут только
стойки, стоящие по бокам от внутрирядного кондиционера;
применение на данном объекте становится экономически
нецелесообразным, или владелец серверной просто не го-
тов платить столько;
• минимальная ширина внутрирядного кондиционера со-
ставляет 300 мм., а габариты помещения таковы, что при-
оритет отдается установке дополнительной стойки с обору-
дованием или ИБП, но никак не отведению данного места
под установку кондиционера.
В итоге, руководствуясь целью минимизации затрат на со-
здание серверной, а также понимая, что использование
прецизионных кондиционеров как шкафного так и внутри-
рядного типов в данном случае невозможно, владельцы
будущей серверной принимают решение использовать
для отвода тепла, выделяемого стоечным оборудованием,
обычные бытовые кондиционеры типа «сплит».
Как правило, при выборе кондиционеров во внимание
принимается только значение тепловыделений от IT-обору-
дования, и к установке принимается соответствующее ко-
личество кондиционеров с внутренними блоками настен-
ного или потолочного типа. Внутренние блоки вешаются в
горячем или в холодном коридорах, или сразу в обоих. В
данном случае владелец уверен, что при работе кондици-
онеров добьется эффекта «средней температуры по боль-
нице», и все будет отлично работать. Однако в большинстве
случаев после запуска серверной в эксплуатацию ситуация
развивается совсем иначе, и IT-оборудование начинает
перегреваться, хотя холодопроизводительности установ-
ленных кондиционеров вполне хватает.
Проблема в данном случае кроется в неправильной орга-
низации движения воздушных потоков и в тесноте помеще-
ния, а именно: кондиционеры, внутренние блоки которых
установлены в горячем коридоре, перемешивают воздух
только в пределах горячего коридора, и лишь незначитель-
ная часть охлажденного воздуха попадает на забор IT-обо-
рудования.
Воздух, охлажденный внутренними блоками потолочного
типа, установленными как в горячем, так и в холодном ко-
ридорах, отражается от близко расположенного ряда стоек
и попадает на воздухозаборную решетку кондиционера.

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

16 www.TierLife.ru Next
Кондиционер воспринимает это как достижение требуемой
температуры и выключается. В реальности же температура
в самом холодном коридоре сохраняется высокой, и как
только кондиционер выключится, то сразу же требуется его
повторное включение, но после включения ситуация по-
вторится.
Внутренние блоки настенного типа, расположенные в хо-
лодном коридоре, также не будут обеспечивать нормаль-
ного охлаждения IT-оборудования по всей высоте стойки
все из-за той же стесненности помещения и отражения
воздушного потока.
Рис. 1. Охлаждение серверной с помощью канального кондиционера (план помещения и разрез).
Реализовав данную схему кондиционирования мы получа-
ем не эффект «средней температуры по больнице», а пол-
ноценные горячий и холодный коридоры, забор нагретого
IT-оборудованием воздуха по всей длине горячего коридо-
ра и раздачу охлажденного кондиционерами воздуха нис-
ходящим потоком также вдоль всего холодного коридора.
Если в помещении имеется подвесной потолок типа «Арм-
стронг», и высота запотолочного пространство составля-
ет не менее 400 мм, то внутренние блоки и воздуховоды
можно разместить за потолком. Тогда в потолке будут только
воздухораспределительные решетки.
Следует учесть, что данные типы внутренних блоков кон-
диционеров, как правило, оснащены помпами удаления
конденсата, а любая помпа должна рассматриваться как
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Приемлемым решением в данной ситуации является при-
менение бытовых кондиционеров с внутренними блоками
канального типа с правильной организацией воздушных
потоков (см. рис. 1), а именно: необходимо расположить
данные блоки над рядом стоек и организовать как забор
горячего, так и выдув холодного воздуха через воздуховоды
и воздухораспределительные решетки таким образом, что-
бы забирать воздух именно из горячего коридора, а пода-
вать в холодный коридор. Воздуховоды от кондиционеров
необходимо распределить таким образом, чтобы организо-
вать движение воздуха вдоль всего ряда стоек.
возможный элемент отказа. Чтобы исключить даже теоре-
тическую возможность протечки конденсата на стойки с
оборудованием, необходимо под каждым внутренним бло-
ком канального типа установить поддон из оцинкованной
стали, от которого будет отходить дренажный трубопровод
либо на улицу, либо в канализационную систему здания.
Для повышения энергоэффективности работы системы
кондиционирования, а также сокращения количества ци-
клов пуска-останова компрессоров кондиционеров, реко-
мендуется выбирать кондиционеры с инверторными при-
водами компрессоров. Также обязательное условие – это
наличие низкотемпературных комплектов, позволяющих
работать кондиционерам на охлаждение при отрицатель-
ных температурах наружного воздуха.
PREVIOUS
Один ряд стоек
в помещении без фальшпола
В помещении установлен один ряд стоек, фальшпол от-
сутствует, однако габариты помещения позволяют уста-
новить прецизионные кондиционеры, и владелец сервер-
ной осознает, что лучше использовать высоконадежное
специализированное кондиционерное оборудование.
Применение внутрирядных прецизионных кондиционеров
отпадает все по тем же причинам их высокой стоимости
и большой единичной холодопроизводительности. В этом
случае выбор однозначно останавливается на прецизион-
ных кондиционерах шкафного типа, а, учитывая отсутствие
фальшпола, это будет исполнение с забором воздуха с пе-
редней панели и раздачей вверх.
Итак, тип кондиционеров у нас определился сам собой.
Остается их установить в помещение и запустить, но не тут
то было. Владельцы будущих серверных, руководствуясь
тем, что прецизионные кондиционеры обладают гораздо
большей кратностью циркуляции воздуха и большим свобод-
ным напором вентиляторов по сравнению с бытовыми кон-
диционерами типа «сплит» все также полагают, что получат
нормальную среднюю температуру в общем объеме поме-
щения, где бы ни были установлены кондиционеры. Однако,
запуская в работу IT-оборудование, отмечают, что часть из
него перегревается.
Первым предположением, естественно, высказывается
то, что кондиционеры не выдают требуемой холодопро-
изводительности, так как неправильно смонтированы
фреоновые трассы, неверно настроены параметры
контроллеров, кондиционеры неисправны и т.д. При-
бывшая на объект сервисная служба производителя
кондиционерного оборудования замеряет расход возду-
ха, проходящий через кондиционер, его температуру на
входе и на выходе из него. Затем, используя уравнение
теплового баланса, моментально доказывает заказчику,
что каждый кондиционер выдает 100 % холодопроизво-
дительности, и дело тут вовсе не в неисправностях обо-
рудования, а в неправильной организации воздушных
потоков.
Рассмотрим три наиболее часто встречающихся варианта
неправильно спроектированной системы кондициониро-
вания для данного случая:
1) Если установить кондиционер в зоне холодного ко-
ридора, то он не будет нагружен теплом, т.к. охлажден-
ный воздух раздается им вверх, затем, как по законам
физики, так и в результате разряжения, создаваемого
вентиляторами стоечного оборудования, опускается
вниз в холодный коридор и попадает на вход как в IT-о-
борудование, так и в воздухозаборную решетку конди-
ционера, которая расположена на его передней панели
на высоте 1-1,2 м от уровня пола. В результате скла-
дывается ситуация, когда кондиционер замыкается сам
Next www.TierLife.ru 17
на себя: охлажденный им воздух попадает ему на вход
и кондиционер выключается, т.к. его датчик температу-
ры фиксирует достижение значения уставки на входе.
Тем временем со стороны горячего коридора создается
зона перегрева.
2) Если установить кондиционер в зоне горячего коридора,
то на его воздухозаборную решетку будет дуть как раз воз-
дух, нагретый IT-оборудованием. Но, учитывая, что раздача
охлажденного воздуха идет вверх, то лишь его незначитель-
ная часть достигнет стоечного оборудования, расположен-
ного в верхней зоне стоек, а IT-оборудование, располо-
женное посередине и внизу стоек будет перегреваться. Не
спасет в данном случае и конфигурация кондиционера с
пленумом для раздачи воздуха вперед.
3) Если установить кондиционер перпендикулярно ряду со
стойками, то также будут зоны локального перегрева все
по тем же причинам. В данном случае IT-оборудование,
расположенное в дальних от кондиционера стойках будет
перегреваться.
Казалось бы, что все возможные способы установки кон-
диционеров рассмотрены и ситуация безвыходная, но это
совсем не так. Для данного случая решением проблемы
будет следующая конфигурация системы кондиционирова-
ния: прецизионные кондиционеры шкафного типа с разда-
чей воздуха вверх нужно размещать в горячем коридоре,
чтобы на их вход попадал именно нагретый IT-оборудовани-
ем воздух. Далее необходимо смонтировать воздуховоды
таким образом, чтобы охлажденный воздух перебрасывал-
ся через стойки и раздавался нисходящим потоком вдоль
воздухозаборных решеток стоек, как и в случае с бытовым
кондиционером канального типа, применение которого
описано в первом случае.
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
18 www.TierLife.ru Next
Рис. 2. Охлаждение серверной без фальшпола.
Два ряда стоек
в помещении с фальшполом
В помещении мини-ЦОД расположено два ряда стоек па-
раллельно друг другу, образуя один холодный коридор, рас-
положенный между рядами стоек, и два горячих коридора
соответственно. Также в данном случае имеется фальшпол,
а прецизионные кондиционеры шкафного типа с забором
воздуха сверху и раздачей вниз (под фальшпол) расположе-
ны перпендикулярно рядам со стойками.
При данной конфигурации забор воздуха кондиционерами
происходит из верхней зоны серверной. Соответственно
происходит забор нагретого воздуха, а раздача осущест-
вляется через перфорированные плитки фальшпола в хо-
лодном коридоре восходящим потоком вдоль воздухоза-
борных решеток стоек. Казалось бы, в данном случае все
будет идеально, но и здесь не обходится без нюансов и
особенностей.
Сразу стоит отметить, что высота фальшпола в данном слу-
чае должна быть не менее 400 мм. В противном случае
с охлаждением IT-оборудования возникнут проблемы из-за
неспособности фальшпола пропустить требуемое количе-
ство воздуха. Не менее важно будет стоять вопрос маршру-
тов прохождения кабельных трасс под фальшполом. Здесь
необходимо понимать, что кабели не должны создавать под
фальшполом стен, препятствующих свободному проходу
воздуха от кондиционеров в холодный коридор.
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
Также очень часто складывается ситуация, когда IT-обору-
дование, установленное ближе всего к кондиционерам,
начинает перегреваться, и владелец серверной находится
в недоумении от происходящего. Суть проблемы кроется в
том, что расстояние от передней стенки кондиционера до
первой перфорированной плитки фальшпола в холодном
коридоре меньше чем 1-1,5 м, плюс скорость воздуха под
фальшполом слишком большая. Как результат, получаем
эффект эжекции в первых от кондиционера перфорирован-
ных плитках фальшпола: холодный воздух не выходит через
перфорированные плитки, а наоборот, проходя под фальш-
полом дальше, увлекает через эти плитки воздух из холод-
ного коридора под фальшпол. Проверить это можно легко,
например, если приложить к перфорированной плитке лист
бумаги, будет видно, что он к ней прилип.
Таким образом, высоту фальшпола, ширину холодного
коридора, а также расстояние от лицевой панели конди-
ционера до первой перфорированной плитки фальшпола
необходимо рассчитывать (кстати, отметим, что рекомен-
дуемое расстояние до первой плитки составляет не менее
1500мм). Если же вы используете чей-то готовый работо-
способный пример, то уменьшать все перечисленные раз-
меры не стоит, т.к. это чревато последствиями, описанны-
ми выше.
PREVIOUS
Рис. 3. Охлаждение серверной, состоящей из двух рядов стоек.
Общие факты
Кратко разобрав наиболее часто встречающиеся приме-
ры систем кондиционирования серверных, хотелось оста-
новиться еще на нескольких общих немаловажных фактах,
а именно:
• в обязательном порядке следует предусматривать резер-
вирование систем кондиционирования, т.к. какое бы на-
дежное оборудование вы не использовали, техника может
ломаться, и, соответственно, перегрев IT-оборудования не-
избежен;
• при пропадании электропитания на системе кондицио-
нирования в условиях, когда IT-оборудование будет про-
должать работать от ИБП, в серверной моментально нач-
нет расти температура воздуха, и, как итог, серверная
остановится по причине перегрева. Поэтому, как бы вам
не хотелось сэкономить, помните, что при остановке систе-
мы кондиционирования, серверная долго не проработает.
Если нет возможности запитать кондиционеры от ИБП, то
рассмотрите возможность запитать рабочие и резервные
кондиционеры от разных вводов электроснабжения. Если
же и это невозможно, задумайтесь о системе аварийной
вентиляции серверной, запитанной от ИБП, т.к. вентилято-
ры потребляют гораздо меньше электроэнергии, чем ком-
прессоры кондиционеров.
• обязательно устраняйте перетоки воздуха из горячего ко-
ридора в холодный через свободные места в стойках, за-
Next www.TierLife.ru 19
крывая их заглушками, т.к. данные перетоки сильно пони-
жают эффективность системы кондиционирования и могут
вызвать зоны локального перегрева. Штатные заглушки,
выпускаемые производителями стоек, достаточно дорогие,
поэтому вместо них можно использовать листы из оргстек-
ла или поликарбоната.
• помните, что кондиционеры типа «сплит» и прецизион-
ные кондиционеры шкафного типа работают по датчику
температуры воздуха на входе в кондиционер, а это темпе-
ратура в горячем коридоре, и не следует задавать данную
температуру на уровне 20-24 0С в перечисленных приме-
рах. Уставку по температуре необходимо держать на уров-
не 28-30 0С.
Многие думают, что при отсутствии резервирования или
при пропадании питания на кондиционерах, благодаря
этому у них будет достаточно времени, чтобы серверная
работала без охлаждения, но это далеко не так. Совре-
менное IT-оборудование нагревает воздух, проходящий
через него, примерно на 12 0С. Соответственно зная дан-
ную величину, объем помещения, а также расход воздуха,
прокачиваемого через стойки, можно посчитать кратность
циркуляции воздуха в помещении и скорость роста темпе-
ратуры в нем. Произведя данный расчет, вы увидите, что
температура в помещении растет на 3-20 0С в минуту в за-
висимости от того, насколько нагружена IT-оборудованием
№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
20 www.TierLife.ru Next PREVIOUS
серверная. Как итог можно сказать, что занижение температурной уставки у кондиционеров положительного эффекта
не даст, а вот отрицательный можно получить, и не один:
• Переохлаждая воздух, вы одновременно пересушиваете его, а, значит, если кондиционеры оборудованы пароувлаж-
нителями, то последние будут работать практически постоянно, потребляя значительное количество энергии и сокращая
свой ресурс. Если же увлажнителей нет, то повышается риск появления статического электричества в сухом воздухе и
повреждения серверного оборудования.
• Кондиционеры будут потреблять большее количество электроэнергии для достижения заданной температурной уставки.

Выводы
При создании системы кондиционирования в ЦОД или серверной нужно четко понимать, что подать в помещение со
стойками только требуемое количество киловатт холода далеко не достаточно. Очень важно организовать правильную
схему движения воздуха и, тем самым, добиться как эффективного охлаждения IT-оборудования, так и работы системы
кондиционирования с максимальным КПД.
Поэтому, создавая даже самую маленькую серверную, не пренебрегайте вопросами проектирования инженерных си-
стем, ведь от их правильного функционирования зависит ее бесперебойная работа.

Шариков Алексей,
Заместитель генерального директора ЗАО «РС ГРУП»

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

www.TierLife.ru 21

№5 АПРЕЛЬ 2013 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ