Слово редактора 3

Новости 4
Перечень дата-центров
России
Тенденции на рынке
суперкомпьютеров
2012-2013 гг.
Stulz начинает
поставку модульной
системы охлаждения
CyberHandler

Выбор ИБП для ЦОД:

батарея или маховик?

Дата-центры 6
Google
Исходная позиция:
ИТ-свалка

Технологии - путь к успеху

Тайны империи
Надёжность
инфраструктуры
Экскурсия Google
Постскриптум

Дата-центр 16
с позиции
вендора и
оператора
2 www.TierLife.ru

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 3
Приветствую вас, уважаемые
читатели Tier!
Работа над четвертым внимание уделено безопасности центров обработки дан-
номером журнала Tier ных и поражающих своей отважностью методах проверки
проходила под впечат- надежности инфраструктуры ЦОД.
лением многообразия Итак, основной темой 4-го выпуска Tier явилась экскурсия,
данных о дата-центрах история и особенности центров обработки данных компа-
Google, появившихся нии Google.
в открытом доступе. Кроме того, в начале 2013-го года популярный информа-
Как результат, номер ционный ресурс о дата-центрах www.AboutDC.ru сформиро-
вошел в серию выпу- вал обновленный перечень ЦОДов РФ, в который попало
сков «Экскурсия в ЦОД» почти 200 различных объектов. Об этом читайте в новостях.
и посвящен истории Наконец, тема различных взглядов на построение ЦОД
построения огромной была поднята нами в интервью с Михаилом Луковнико-
сети дата-центров аме- вым, представителем компании Ай-Теко, недавно анонси-
риканского поискового ровавшей запуск ЦОД «ТрастИнфо».
гиганта.
Вас ждет рассказ о технологических новинках, разработан- Приятного чтения!
ных и внедрённых компанией Google как в рамках инже- Юрий Хомутский
нерной, так и вычислительной инфраструктуры. Отдельное

Над номером работали:

Издатель и главный редактор – Юрий Хомутский

Редактор – Игорь Евсеев
Дизайн/вёрстка – Пётр Присячев
Корректор – Ирина Власова
По всем вопросам обращаться:
тел.: +7(499)603-46-46
E-mail: YH@TierMedia.ru
Site: www.TierLife.ru
Все права защищены. Запрещается полное или частичное воспроизведение статей и фотоматериалов без письменного
разрешения редакции
Редакция не несет ответственности за содержание рекламных материалов.
Незаказанные редакцией рукописи не рецензируются
Журнал Tier — журнал о дата-центрах и об индустрии ЦОД.
Не является средством массовой информации.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

4 www.TierLife.ru NEXT PREVIOUS

Новости
Перечень дата-центров
России
На сайте www.AboutDC.ru появился обновленный перечень дата-центров России. Для каждого ЦОД указана ком-
пания-хозяин, контакты для связи, сайт, телефон и адрес. В общей сложности представлено более 170 объектов.
По сообщениям представителей ре-
сурса www.AboutDC.ru далее в их пла-
нах представить фото-экскурсии по
каждому из перечисленных объектов. Подробнее:
Информацию можно присылать по
e-mail: AboutDC@AboutDC.ru.

M8 ЗАО «Линкс Телекоммьюникэйшенс СНГ» linxdatacenter.ru

McHost ООО «МсХост.ру» mchost.ru
MSKdata MSKdata mskdata.ru
RackStore ООО «Эдвансд Солюшнс» www.rackstore.ru
Renta Server ООО «Спорт Менеджмент энд Консалтинг Эдженси» rentaserver.ru
SafeData ООО «Центр Хранения Данных» safedata.ru
Stack.P1 ЗАО «Группа компаний Стек» stack.ru
StoreData ООО «Научный инновационный центр» storedata.ru
TEL Hosting ТК «ТЕЛ» hosting.tel.ru

Тенденции на рынке
суперкомпьютеров 2012-2013 гг.
Обновленный в ноябре прошлого года рейтинг супер-
компьютеров TOP 500 зафиксировал новую планку в
производительности самых мощных вычислительных
систем и очередную смену лидера. Таким образом,
прогресс на пути к экзафлопсной эре в 2012 году по
сравнению с 2011 годом, когда потолок вычислитель-
ной мощности поднялся более чем в четыре раза, не-
сколько замедлился.
Подробнее:
Среди тенденций на рынке суперкомпьютеров отмечено
снижение скорости наращивания Флопс, а также переход
на гибридную архитектуру и на жидкостное охлаждение.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS
Stulz начинает
поставку модульной
системы охлаждения
CyberHandler
Доступны различные варианты мощности, а также
опции водяного (CW) и непосредственного (DX) охлаж-
дения. Stulz Air Technology Systems представляет Stulz
CyberHandler, модульную систему охлаждения для ЦОД,
предназначенную для наружной установки и позволя-
ющую освободить пространство внутри здания да-
та-центра.
Система CyberHandler является модульной и масштабируе-
мой и может быть сконфигурирована в соответствии с тре-
бованиями клиента. Система поставляется в собранном
виде и допускает установку на крыше ЦОД, либо рядом со
зданием на уровне земли. Компоненты управления не тре-
бует предварительной настройки и сразу готовы к работе.
CyberHandler легко подключается по сети к другим моду-
лям и совместима со всеми стандартными протоколами,
используемыми в системах управления зданием и приме-
няемыми для интеграции с DCIM решениями.
Выбор ИБП для ЦОД:
батарея или
маховик?
На сайте SearchDataCenter обсуждаются плюсы и минусы
двух решений: организация системы бесперебойного пи-
тания ЦОД традиционным методом (аккумуляторные бата-
реи) и инновационным (накопление энергии в маховике).
Барт Коттон, Старший прогнозист, Специалист по ре-
конструкции систем Intellibatt и IBM 1401 в музее
компьютерной истории: После десятков лет жалоб на ба-
тареи (пожалуй, больше всего доставалось батареям VRLA
– свинцово-кислотным батареям с клапанным регулирова-
нием) мне кажется забавным, что по-прежнему существует
Next www.TierLife.ru 5
«Высокая энергоэффективность системы Stulz CyberHandler,
а также возможность освободить от 5% до 10% внутреннего
пространства здания, предоставляет многим клиентам иде-
альное решение для организации системы охлаждения»,
- утверждает Дэвид Джой, вице-президент по продажам и
маркетингу в Stulz. Джой также добавляет, что установка
системы обходится недорого, и Stulz предоставляет под-
держку на период запуска системы и ввода в эксплуатацию.
Использование системы в сочетании с фрикулингом позво-
ляет достигнуть отличного значения коэффициента PUE.
«Система CyberHandler реализует признанные техноло-
гии и достижения компании Stulz в формате для наружной
установки», - говорит Йорг Деслер, вице-президент по во-
просам производства и проектирования компании Stulz.
«Строгие стандарты компании, предназначенные для за-
щиты критических данных пользователей, были соблюдены
в ходе разработки и производства новой системы».
движение, выступающее за отказ от использования бата-
рей в качестве компонента резервных систем ЦОД. Подо-
зреваю, что производители маховиков всего лишь хотят от-
хватить свою долю рынка.
Полная
русскоязычная
версия:
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
6 www.TierLife.ru Next PREVIOUS

Google
дата-центры

Серверная в Каунсил-Блафс,
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ Айова. Фото: Google/Конни Чжоу
(Connie Zhou)
PREVIOUS
Многие журналисты, которые пытались написать статью о ЦОД Google, не могли этого сделать, поскольку Google
видит свою сеть как уникальное конкурентное преимущество, и даже доверенные работники могли лишь украдкой
заглянуть внутрь. Этот запрет также распространялся и на журналистов. До 17 октября 2012 года.
Если вы ищете самое сердце цифровой эры — место, где
становятся явными границы, великолепие и фанатичность
королевства битов — вы вряд ли обратите свое внимание
на местечко Леноир в штате Северная Каролина, ведь это
всего лишь деревенский городок с населением 18 000
человек, к тому же исторически занимающийся производ-
ством мебели. Но теперь в нем находится центр обработки
данных Google.
Инженерное мастерство позволило 14-летнему поиско-
вому гиганту быстро занять свое место среди наиболее
успешных, влиятельных и пугающе мощных компаний в
мире. Компания постоянно совершенствует свой поис-
ковый алгоритм, который изменил наши представления
и способ доступа к информации. Сложная со всех сторон
платформа для рекламного аукциона - это вечный печат-
Исходная позиция: ИТ-свалка
Урс Хольцли (Urs Hölzle) никогда не входил в ЦОД до того,
как его наняли Сергей Брин и Ларри Пейдж (Larry Page).
Любезный косматый швейцарец Хольцли был в отпуске,
будучи профессором информатики в университетском кол-
ледже Санта-Барбара в феврале 1999 года, когда новые
работодатели забрали его в серверный центр Exodus в го-
роде Санта-Клара.
Exodus представлял собой аппаратную, в которой разме-
щались серверы клиентов, т.е. многие компании арендова-
ли пространство на этаже. «Клетка» Google располагалась
поблизости от серверов eBay и прочих ведущих Интер-
нет-компаний. Но массив поисковой компании был распо-
Технологии - путь к успеху
Амбиции: ускоряя поиск
Итак, Брин и Пейдж решили обновить систему поиска, ха-
рактеризующуюся долгой работой и периодическими сбо-
ями. Пейдж стал одержим скоростью, идеей настолько бы-
строй выдачи результатов, которая создавала бы иллюзию
чтения мыслей, что требовало еще большего количества
серверов и соединений. А чем быстрее Google выдавал
результаты, тем более популярным он становился, но и тем
более мощное оборудование требовалось.
Вот что делает компанию Google такой, какая она есть: ее
физическая сеть, ее тысячи километров оптоволокна, и те
Next www.TierLife.ru 7
ный станок по производству денег.
Но и другие, менее известные инженерные и стратегиче-
ские достижения, вероятно, в такой же степени опреде-
ляют успех Google: ее возможность создать, организовать
и управлять огромной сетью серверов и оптоволоконных
кабелей с такой эффективностью и скоростью, которые по-
вергают физиков в шок.
Компания Google распространила свою инфраструктуру
по глобальному архипелагу громадных зданий—около дю-
жины информационных дворцов в таких местах, как Каун-
сил-Блафс, Айова; Сен-Гислен, Бельгия; и вскоре в Гонконге
и Сингапуре — где неопределенно-огромное количество
компьютеров обрабатывают и составляют бесконечную
летопись человеческого опыта.
ложен наиболее плотно и хаотично. Брин и Пейдж желали
обновить систему, которая зачастую выдавала результаты
поиска за 3,5 секунды и отказывалась работать по поне-
дельникам. Они вызвали Хольцли, чтобы помочь им в до-
стижении цели.
Это было непросто. Exodus представлял собой “огромную
свалку”, как его позже окрестил Хольцли. А тесный «вине-
грет» вскоре должен был стать еще более плотным, ведь
Google не только обрабатывала миллионы запросов еже-
недельно, но также увеличивала частоту индексации Сети,
собирая каждый бит сетевой информации и придавая ей
вид, пригодный для поиска.
многие тысячи серверов, которые, в совокупности, пред-
ставляют собой мать всех облаков. Эта инфраструктура сто-
имостью в несколько миллиардов долларов позволяет ком-
пании индексировать 20 миллиардов веб-страниц в день.
Чтобы справиться с 3 миллиардами поисковых запросов
ежедневно. Чтобы выдавать результаты поиска до того, как
пользователь закончит ввод запроса.
А в ближайшем будущем, когда Google выпустит компью-
терную платформу Glass в виде очков, эта инфраструктура
будет выдавать визуальные результаты поиска.
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
8 www.TierLife.ru Next PREVIOUS

Амбиции: всесторонне развиваясь

Кроме того, компания занималась добавлением новых приложений, включая почтовый сервис, которому требо-
вался бы скоростной доступ ко многим петабайтам данных. Появлялись и иные сервисы Google…
Чтобы Google смогла преуспеть, ей требовалось построить и управлять собственными ЦОД — и выполнить это наиболее
экономным и эффективным способом, чем кто бы то ни было раньше. Миссия получила кодовое название «Сила воли».
Первый проектный ЦОД располагался в городе Те-Далс, штат Орегон, неподалеку от реки Колумбия.

Центральный охлаждающий цех в ЦОД Google в округе Дуглас, Джорджия. Фото: Google/Конни Чжоу

Кондиции без кондиционеров

Хольцли и его команда спроектировали здание стоимостью
$600 миллионов на основе уникальной концепции: сер-
верные помещения необязательно охлаждать так сильно.
Компьютеры вырабатывали чрезмерное количество тепла.
Обычно ЦОД охлаждались с помощью гигантских кондици-
онеров для компьютерных помещений, которые обычно
располагались под фальшполом и были настроены на ар-
ктические температуры. Это требовало гигантского количе-
ства энергии; ЦОД потребляют до 1,5 процентов всей элек-
троэнергии в мире.
Google поняла, что так называемый холодный проход пе-
ред серверами можно нагреть до достаточно теплых 26
градусов или около того — рабочие могут носить шорты и
футболки вместо свитеров. А “горячий проход”, плотно за-
крытое пространство, где тепло выливается из задней ча-
сти серверов, можно разогреть до 48-49 градусов. Тепло
могут поглощать катушки, наполненные водой, которая
затем может выкачиваться из здания и охлаждаться перед
подачей обратно в систему. Внесите это в длинный список
достижений Google: компания прекратила использование
серверных кондиционеров.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 9
«Градирнизация» ЦОД
Google также разработала способы экономного охлаждения воды. Многие ЦОД полагались на прожорливые холодиль-
ные установки, но большие ЦОД Google обычно используют гигантские градирни, в которых горячая вода просачива-
ется вниз через нечто, напоминающее широкий радиатор. В результате часть воды испаряется, а оставшаяся часть
охлаждается до комнатной температуры или ниже к тому времени, как достигает дна. В бельгийском здании Google для
охлаждения использует переработанную канализационную воду; в Финляндии используется морская вода.

Серверная в Каунсил-Блафс, Айова. Фото: Google/Конни Чжоу (Connie Zhou)

Индивидуальная
бесперебойность
Анализ затрат электроэнергии, который провела компания, выявил еще один источник расходов: громоздкие систе-
мы бесперебойного электроснабжения, которые защищали серверы от перебоев питания в большинстве ЦОД. Они
не только были причиной утечки электричества, для них также требовалась собственная система охлаждения. Но по-
скольку Google разработала стойки, на которых располагала свои компьютеры, она смогла расположить резервные
батареи возле каждого сервера, полностью избавившись от больших ИБП. По словам Джо Кава, эта схема снизила
потери электричества примерно на 15 %.

1.2
Все эти инновации помогли Google достичь беспрецедентной экономии энергии. Стандартное испытание эффектив-
ности ЦОД носит название «Эффективность использования энергии», или PUE. Идеальным значением является 1,0,
что означает полное использование энергии, поступающей в здание. Эксперты считают, что значение 2,0 — то есть
половина энергии расходуется впустую — является приемлемым для ЦОД. Google достигла беспрецедентного значе-
ния PUE=1,2.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

10 www.TierLife.ru Next PREVIOUS

Тайны империи
Причины секретности
В течение многих лет Google не делилась своими замыс-
лами. “Нашим ключевым преимуществом действитель-
но была огромная компьютерная сеть, вероятно, наи-
более крупная в мире”, говорит Джим Риз (Jim Reese),
который помогал настраивать серверы компании. “Мы
поняли, что не в наших интересах рассказывать конку-
рентам об этом”.
Хотя, несомненно, что на деньгах, которые мотивировали
Google, изображен портрет президента. “Конечно, нам нра-
вится экономить энергию”, - говорит Хольцли. - “Но возьми-
те, к примеру, Gmail. Мы бы потеряли большую сумму де-
нег на Gmail, если бы мы построили наши серверы и ЦОД
по-старому. Из-за нашей эффективности наши затраты малы
настолько, что мы можем предоставлять сервис бесплатно”.

Разглашение и плагиат
В 2009, на мероприятии под названием «Саммит по эффективным ЦОД», Google представила последние результаты PUE
и намекнула на некоторые из своих технологий. Это послужило поворотной точкой для отрасли, и теперь компании типа
Facebook и Yahoo сообщают о схожих PUE.

Собственное «железо»
У Google имеются достижения не только в области энергетики. В самом деле, хотя о Google до сих пор думают как об ин-
тернет-компании, она также стала одним из крупнейших мировых производителей аппаратного обеспечения благодаря
тому, что она создает большую часть своего оборудования самостоятельно.
В 1999 году Хольцли купил детали для 2 000 уменьшенных “макетных плат” у “трех парней, владевших магазином электро-
ники”. Переходя на кустарное производство и избавляясь от ненужных компонентов, Google построила множество серверов
стоимостью примерно $1 500 каждый, вместо стандартных за $5 000. Хольцли, Пейдж и третий инженер разработали обору-
дование самостоятельно. “Оно не было на самом деле ‘спроектировано’”, - говорит Хольцли, изображая кавычки пальцами.

И тут новые идеи

Снаружи ЦОД Каунсил-Блафс похожие на радиаторы охлаждающие
башни охлаждают воду, поступившую с серверного этажа, до комнат-
ной температуры. Фото: Google/Конни Чжоу
Сменив более дюжины поколений серверов, Google при-
меняет гораздо более сложный подход. Компания точно
знает, чего она хочет от тщательно контролируемых ЦОД
— скорость, мощь и надежные соединения — и экономит
деньги, воздерживаясь от покупки ненужного дополнитель-
ного оборудования: например, отсутствие графических
карт, потому что эти компьютеры никогда не выводят ин-
формацию на экран, и отсутствие корпусов, потому что ма-
теринские платы вставляются прямо в стойки.
Те же принципы применяются к сетевому оборудованию
компании, некоторые единицы которого Google начала соз-
давать несколько лет назад.
Хотя до сих пор Google не рискнула заняться проектирова-
нием собственных чипов. Но вице-президент компании по
платформам, Барт Сано (Bart Sano), намекает, что ситуа-
ция может измениться. “Никогда не говори никогда”, - го-
ворит он. - “На самом деле Ларри каждый год задает мне
этот вопрос”.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 11
Распределенная
сеть
Даже если вы изобретете ЦОД заново, преимущество не будет
значить особо много, если вы не сможете быстро и надежно до-
ставить все эти биты пользователям. Поэтому Google предпри-
няла попытку покрыть мир сетью оптоволокна. В начале 2000-
х гг., пользуясь закрытием некоторых телекоммуникационных
сетей, компания начала покупать заброшенные оптоволокон-
ные сети за гроши. Теперь с помощью приобретений, обменов
и реального прокладывания тысяч километров проводов, ком-
пания построила мощную стекловолоконную империю.
Но когда вы владеете чем-то вроде YouTube, вы должны
делать даже больше. Если бы миллионы людей получали
видео напрямую из нескольких ЦОД Google, это было бы
тяжело и обременительно для компании.
Поэтому Google устанавливает свои серверные стойки в раз-
личных отдаленных уголках своей сети — небольшие ЦОД,
иногда напрямую подключенные к Интернет-провайдерам,
таким как Comcast или AT&T — и наполняет их популярны-
ми видео. Это значит, что если вы смотрите, скажем, видео
Карли Рэй Джепсен (Carly Rae Jepsen), оно, скорее всего, за-
гружается на ваш ПК не из Леноира или Те-Далса, а из како-
Фото: Google/Конни Чжоу (Connie Zhou)
го-нибудь небольшого ЦОД в нескольких километрах от вас.

Управление
бесчисленными
серверами
За эти годы Google также создала программную систему, кото-
рая позволяет управлять ее бесчисленными серверами, как
если бы они были одним гигантским организмом. Штатные
разработчики компании выступают в роли кукловодов, при-
казывая тысячам компьютеров выполнять задачи с такой же
легкостью, как будто они управляют одним-единственным ПК.
В 2002 году ученые компании создали файловую систему
Google, которая равномерно распространяет файлы среди
множества компьютеров. Система Google под названием
MapReduce для написания облачных приложений сниска-
ла такой успех, что ее версия с открытым исходным кодом
Hadoop стала отраслевым стандартом.
Google также выпустила программу для борьбы с одной из
сложных проблем при любых операциях с большими объе-
мами данных: когда задачи буквально льются на ЦОД, каким
образом можно быстро и наиболее эффективно определить
наиболее подходящие для определенной задачи компьюте-
ры? Google решила эту задачу «балансировки нагрузки» с по-
мощью автоматизированной системы под названием Borg.
Интеграция
мощностей
Эти инновации позволяют Google реализовать идею, опи-
санную в документе 2009 года, написанном Хольцли и
одним из его первых заместителей, ученым в области ин-
форматики Луизом Бароссо (Luiz Barroso): “Интересующая
компьютерная платформа теперь похожа не на упаковку от
пиццы или холодильник, а на склад, полный компьютеров
… Мы должны обращаться с этим складом как с одним ги-
гантским компьютером”.
Это в значительной степени помогает людям, которые пи-
шут код Google. Поскольку ваш компьютер это одно устрой-
ство, на котором запущено несколько программ одновре-
менно — и вам нет нужды беспокоиться о том, какая его
часть отвечает за какое приложение — инженеры Google
могут обращаться с тысячами серверов как с одним
устройством. Они просто пишут окончательный код, а си-
стема распространяет его среди всех серверов на этаже,
который они, скорее всего, никогда не смогут посетить.
“Если ты обычный инженер компании, ты можешь быть
полностью рассеянным”, - говорит Хольцли - “Ты можешь
заказать Х петабайт свободного места или чего бы то ни
было, и ты не иметь ни малейшего представления о том,
что происходит”.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

12 www.TierLife.ru Next PREVIOUS

Надёжность инфраструктуры
Порвать оптоволокно
Но, конечно же, такая инфраструктура ничего не стоит, если она ненадежна. Google также изобрела собственный
способ решения этой проблемы — способ, который включает в себя удивительный ингредиент для компании, по-
строенной на автоматизации и алгоритмах, и имя ему - люди…

…в 3 часа пополуночи морозной зимней ночью небольшая команда инженеров начинает атаковать Google. Сначала они
рушат внутреннюю корпоративную сеть, которая обслуживает кампус компании в городе Маунтин-Вью, штат Калифорния.
Затем команда пытается нарушить работу различных ЦОД Google, создавая протечки в водопроводных трубах и инс-
ценируя протесты перед воротами — в надежде отвлечь внимание от захватчиков, которые пытаются украсть диски,
полные данных, из ЦОД.
Они пакостят в различных службах компании, включая сеть рекламных объявлений. Они выключают ЦОД в Нидерландах.
Затем настает время для смертельного удара — разрыв большинства оптоволоконных кабелей Google, ведущих в Азию.

Выясняется, что все это проделки персонала. Атакующие,

Некоторые помещения ЦОД Google в городе Хамина (Финляндия)
пока что пустуют. Фото: Google/Конни Чжоу
находящиеся в конференц-зале на окраине кампуса, на
самом деле работники Google, входящие в команду обе-
спечения надежности.
Эти люди несут полную ответственность за поддержание
работоспособности Google и ее сервисов. Члены коман-
ды не просто специалисты по локализации и устранению
неисправностей, но также и инженеры, которые несут
ответственность за перенос окончательного кода на “го-
лое железо” серверов; зачастую они объединяются в
программные группы для таких сервисов как Gmail или
поиск.
Перед тем вступить в эту гик-команду спецназа, ее чле-
нам выдаются кожаные пиджаки с военной нашивкой в
виде ордена. Каждый год команда участвует в этой симу-
лированной войне — названной DiRT (испытания на вос-
становление в аварийных ситуациях) — с инфраструктурой
Google. Атака может быть фальшивой, но ее практически
невозможно отличить от реальности: управляющие по ава-
рийным ситуациям должны выполнить ряд ответных проце-
дур, как если бы атака была реальной.
В некоторых случаях нарушается функционирование ре-
альных сервисов. Если руководящие команды не могут
придумать, как исправить ситуацию и обеспечить нормаль-
ную работу, атаки необходимо прекратить, чтобы не затро-
нуть реальных пользователей.
В классическом стиле Google команда DiRT всегда до-
бавляет элементы бестолковости в их невероятно се-
рьезное испытание — сумасшедший рассказ, написан-
ный членом команды атакующих. В этом году в него
входил сверхъестественный феномен в духе Твин Пикс,
который, предположительно, вызвал все сбои. Предыду-
щие испытания DiRT объяснялись с помощью зомби или
пришельцев.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS
Выдернуть
штепсель
После начала первой атаки Крипа Кришнан (Kripa
Krishnan), радостный инженер, который заведует еже-
годным испытанием, объясняет правила 20 участникам
команды в конференц-зале, который уже заполнен нездо-
ровой пищей. “Не пытайтесь ничего исправить”, - говорит
она. - “Для людей, находящихся на работе, мы не существу-
ем. Если нам очень повезет, мы ничего не сломаем”.
Затем она выдергивает штепсель питания — настоящий —
сети кампуса. Команда наблюдает за телефонными лини-
ями и каналами IRC, чтобы понять, когда управляющие по
аварийным ситуациям Google со всего мира заметят не-
поладки. Кому-то из Европы требуется всего лишь 5 минут
для нахождения проблемы, и он незамедлительно начина-
ет связываться с остальными.
Next www.TierLife.ru 13
Планирование
внезапных проверок
“Моя роль состоит в составлении таких испытаний, которые
на самом деле выявят проблемы”, - говорит Кришнан. - “В
течение многих лет мы также становились более храбрыми
и придумывали все новые способы нарушить работу систе-
мы, чтобы, в конце концов, обеспечить ее надежность”.
Как Google проявила себя в этот раз? Весьма неплохо. Не
смотря на простой корпоративной сети, исполнительный
председатель Эрик Шмидт (Eric Schmidt) смог провести
запланированное общее собрание. Вымышленных демон-
странтов пришлось усмирять вымышленной пиццей. Даже
исчезновение трех четвертых азиатского трафика Google
не прервало связь с континентом, благодаря интенсивно-
му кэшированию. “Это самый лучший DiRT из всех!” вос-
кликнула Кришнан.

Серверная в Каунсил-Блафс, Айова. Фото: Google/Конни Чжоу (Connie Zhou)

Проблема модернизаций
Эта программа началась, когда Хольцли поручил инженеру Бену Трейнору (Ben Treynor) обеспечить отказоустойчивость
сети Google. Это было особенно непросто для такой большой компании как Google, которая постоянно модифицировала
свои системы и сервисы — в конце концов, простейшим способом ее стабилизации была бы остановка внесения изме-
нений.
В итоге Трейнор переосмыслили саму идею надежности. Вместо того, чтобы создать абсолютно бесперебойную систему,
он назначил для каждого сервиса определенный запас — допустимое время простоя. Затем он убедился, что инженеры
Google используют это время продуктивно.
“Скажем, мы хотели, чтобы время безотказной работы Google+ составляло 99,95%”, - говорит Хольцли. - “Мы хотели
убедиться, что простой не будет обусловлен глупыми причинами, например отсутствием должного внимания с нашей
стороны. Мы хотели, чтобы простой был обусловлен внедрением новых особенностей”.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

14 www.TierLife.ru Next PREVIOUS

Реальные аварии
Тем не менее, происшествия все же случаются — о чем
Сабрина Фармер (Sabrina Farmer) узнала утром 17 апре-
ля 2012 г. Фармер, которая возглавляла команду тести-
рования Gmail чуть менее года, находилась на стандарт-
ном совещании касательно дизайна. Внезапно в комнату
ворвался инженер с криком “Происходит что-то большое!”
В самом деле: 1,4 процента пользователей (большое коли-
чество людей), не могли получить доступ к Gmail. Вскоре
сообщения о сбое заполонили Twitter и технические сайты.
Они даже просочились в основные новости.
Конференц-зал превратился в оперативный пункт. Совмест-
но с такой же группой в Цюрихе, Фармер начала эксперт-
ное расследование. Озарение пришло к ней, когда один из
членов команды тестирования Gmail скромно заметил “В
пятницу я внес изменение, которое могло привести к это-
му”. Люди, ответственные за проверку изменений, не были
достаточно дотошными, и когда определенные пользовате-
ли Gmail попытались войти в почту, различные копии их дан-
ных, находящиеся в системе, не были синхронизированы.
Чтобы обезопасить данные, система заморозила их.
Диагностика заняла 20 минут, разработка способа устра-
нения – еще 25 минут, что весьма неплохо. Но событие
было принято пользователями как просчет Google. “Это
очень неприятно, когда команда тестирования начинает
ответные действия”, - говорит Фармер. - “Но я счастлива,
что все данные остались целы”. Однако она была бы более
счастливой, если бы ее будущие кризисы были ограничены
атаками зомби команды DiRT.

Фото: Google/Конни Чжоу (Connie Zhou)

Экскурсия Google
Бесконечные ряды стоек
…Но сейчас мы входим на этаж. Слово «большой» просто неприменимо в данной ситуации. Ряды серверных сто-
ек, кажется, уходят в бесконечность. В холодных проходах поддерживается комнатная температура — которая
по заявлению Кава равна 25 градусам. Горячий проход представляет собой узкое пространство между задними
сторонами двух серверных рядов, плотно закрытыми листовым металлом на концах. Вереница медных катушек
поглощает тепло. Сверху находятся огромные вентиляторы, которые шумят как реактивные двигатели, звук кото-
рых пропущен через усилители Marshall.

Сколько же тут серверов?

Сколько серверов есть в распоряжении Google? Этот вопрос не давал покоя наблюдателям с момента постройки пер-
вого ЦОД компании. Они давно застряли на цифре “сотни тысяч”. В Леноире работает, например, 49 923 сервера. А
в отделе разработки и исследований ЦОД Google в Маунтин-Вью в защищенной зоне находится ряд материнских плат,
прикрепленных к стене, и наверху находится маленькая резная табличка, на которой написано «9 июля 2008. Миллион-
ный сервер Google». Но руководство говорит, что это совокупное число, которое не означает, что у Google есть миллион
одновременно работающих серверов.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

PREVIOUS Next www.TierLife.ru 15
Шашлык
Мы проходим между рядами серверов. Все кабели и штепсели находятся впереди, поэтому никому не приходится отги-
бать листовой металл и проникать в горячий проход, превращаясь в шашлык (когда кому-то приходится туда идти, серве-
ра выключаются).
На каждом сервере имеется наклейка с указанием его точного адреса, что полезно при различных неполадках. Вдоль
серверов расположены толстые черные батареи. Все единообразно и на своем месте — ничего не напоминает о мотках
перепутанных проводов в незапамятную эру Exodus.

Мерцают лампочки
Мерцают голубые лампочки… но что они означают? Поисковый запрос в интернете? Чье-то письмо в Gmail? Событие
календаря Glass, проплывающее перед глазами Сергея? Да все что угодно.

Фото: Google/Конни Чжоу (Connie Zhou)

Аптека
Время от времени показывается рабочий — длинноволосый парень в шортах, движущийся на скутере, или женщина в
футболке, которая толкает тележку с запасными частями для серверов и раздает их, как медсестра раздает таблетки в
психбольнице (Кстати, участок этажа, где находятся запчасти, называется аптекой).

Постскриптум
Чего желает Google нам
На вопрос о том, в каких областях следует ожидать изменений, Хольцли упомянул конструкцию ЦОД и кластера, скорость
развертывания и гибкость. Затем он осекся. “Есть одна вещь, о которой я не могу говорить”, - говорит он, улыбка проре-
зает его бородатое лицо, - “поскольку она далась нам потом, слезами и кровью. Я хочу, чтобы другие приложили столько
же усилий, совершая такие же открытия”. Может быть, Google хочет и стремится предоставить людям доступ ко всем
данным на земле, но некоторую информацию она до сих пор держит при себе.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

16 www.TierLife.ru
Дата-центр
с позиции
вендора
и оператора
- Михаил, добрый день! Вы представляете компа-
нию «Ай-Теко», одним из направлений деятельности
которой является IT-аутсортинг на базе собственно-
го ЦОД. Расскажите немного об этом.
В 2008 году «Ай-Теко», наблюдая за тенденциями IT-рын-
ка, выделила для себя новые интересные направления,
которые было решено развивать. Такими направлениями,
в частности, стали ресурсы коммерческих ЦОД, облач-
ные вычисления, виртуализация, аутсорсинг в сфере IT.
Как мы видим по ситуации на российском и глобальном
рынке, сейчас это направление на подъёме. По оценке
Jason&Partners, в 2011 году суммарная полезная площадь
российских коммерческих ЦОД составила 60980м2, увели-
чившись более чем на 60%: в 2010 году было 37500м2. К
2014 году, по мнению TAdviser, рынок центров обработки
данных в нашей стране должен вырасти вдвое.
Драйверами этого роста являются растущие потребности
клиентов и стабильный многократный рост объемов обра-
батываемых данных, особенно в облачных средах. Напри-
мер, специалисты Cisco прогнозируют, что две трети всего
трафика центров обработки данных и серверных нагрузок
к 2016 году будут относиться к облачным вычислениям,
а средняя нагрузка на облачные серверы будет в 4 раза
выше, чем на традиционные аналоги.
Интересные данные приводит CNews Analytics: из 150
опрошенных российских CIO в 2012 году развивали облач-
ную инфраструктуру 16% опрошенных, что вдвое больше,
чем в 2011-м. Это коррелирует с прогнозом IDC, согласно
которому в ближайшее время российский рынок облаков
будет расти в среднем в год на 100% и к концу 2015 г. до-
стигнет $1,2 млрд.
Сегодня мы имеем возможность предоставить нашим кли-
ентам мощности одного из крупнейших коммерческих ЦОД
в России – «ТрастИнфо».
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
Объективный взгляд на центры обра-
ботки данных с различных позиций
– в интервью с Михаилом Луковнико-
вым, заместителем директора Сер-
висного подразделения «Ай-Теко»
- А что, на ваш взгляд, наиболее важно для коммер-
ческого ЦОД?
Существуют ли какие-либо специфические требова-
ния, предъявляемые к коммерческим дата-центрам
и менее важные для корпоративных ЦОД?
- Спецификой коммерческого ЦОДа, его ключевым отличи-
ем от корпоративных дата-центров, является ориентиро-
ванность на создание дополнительной ценности для кли-
ентов путем предоставления таких сервисов, с помощью
которых клиент сможет получить конкурентное преимуще-
ство, повысить эффективность своего бизнеса. Коммерче-
ский ЦОД должен обладать четко структурированным и по-
нятным клиентам портфелем услуг, стандартизированным
набором критериев и SLA, по которым эти услуги должны
оказываться. Это с идеологической точки зрения.
Что же касается непосредственно IT, то для того, чтобы орга-
низовать качественный облачный сервис и предоставлять
такие услуги в массовом порядке, на высококонкурентном
растущем рынке, нужно большое внимание уделить во-
просам автоматизации, виртуализации и стандартизации
самой инфраструктуры. Необходимо отметить важность
систем мониторинга с точки зрения отслеживания уровня
выполнения SLA и, конечно, надёжности функционирова-
ния сервиса. Все заказчики очень требовательны к этим
вопросам, это критически важно для многих отраслей, на-
пример, в телекоме, финансовом секторе.
Отдельно упомянем финансовый сектор. Поскольку мы
оказываем услуги не внутри организации, а внешним
пользователям, которые к тому же могут находиться в
любой точке земного шара, большое значение приобре-
тают высокоскоростные и резервируемые каналы связи.
Также важны вопросы безопасности хранения и переда-
чи данных.
 www.TierLife.ru 17
- Это выведено практическим путём на опыте или
же здесь выходят на первый план конкретные тре-
бования потенциальных клиентов?

- Построение инфраструктуры, реализация базовых стан-

дартных решений и платформ – в принципе это стандарт-
ные для отрасли технологии. Здесь, в первую очередь, сто-
ит учитывать сегмент потенциальных клиентов, на которых
мы ориентируемся при формировании проекта. Если мы
строим высокоуровневый сервис, для которого необходим
высокий уровень доступности, то изначально ориентируем-
ся на организации, для которых эти сервисы критичны в
их бизнесе. Если же нам надо создать массовый продукт
– выбираем некие усредненные, типовые требования с
возможностью их быстрой и адаптивной реализации.
Безусловно, мы учитываем опыт проектов и очень важную
роль отводим обратной связи с клиентами. Так, любой за-
казчик, а особенно крупные компании, у которых уже на-
коплены собственные правила и практика организации
IT-инфраструктуры, может поставить перед нами задачу,
для решения которой мы адаптируем то предложение, ко-
торое уже у нас есть. Это может быть и российский, и миро-
вой опыт, и обратная связь от клиентов. Сейчас появляется
много интересных проектов.

- Кстати, а насколько при построении ЦОД учитыва-

ются мнения клиентов? Бывают ли ситуации, когда
договор заключается в процессе строительства да-
та-центра, а вместе с ним появляются дополнитель-
ные пожелания к будущему объекту?

Такие ситуации встречаются. Это случаи, когда строитель-

ство ЦОД ведется адресно, под «якорного клиента». При-
мерно так, как это происходит иногда с торговыми ком-
плексами: «якорный» арендатор определяет основной пул
требований, а остальным приходится под это подстраи-
ваться. В рамках этого могут появиться дополнительные,
специфические требования. И необязательно интересы
такого «якорного клиента» должны противоречить интере-
сам остальных. Например, ему нужен отдельный зал, с от-
дельным доступом, или офисные площади для размещения
сотрудников техподдержки, или какие-то усиленные требо-
вания к системам охлаждения или энергетики. Это не по-
мешает построению инфраструктуры для остальных.
В остальном – при построении ЦОДов ориентируются на
типовые требования с учетом предполагаемого сегмента
заказчиков.
-Хорошо. Но в процессе построения ЦОД участвуют
компании, играющие различную роль: вендоры, ин-
теграторы, поставщики и потребители услуг ЦОД. На-
сколько различен их взгляд на ЦОД?
У каждого из участников данного рынка существуют свои
интересы и, соответственно, свой взгляд на структуру услу-
ги, предлагаемой провайдером, но при этом все движутся
в русле общерыночных требований: более надежные, про-
изводительные и безопасные решения при снижении стои-
мости аренды и владения.
-И каким видится дата-центр, например, со стороны
вендора? На чём основано это видение?
-С точки зрения вендора, появление коммерческих да-
та-центров можно рассматривать как развитие рынка сер-
вис-провайдеров. Естественно, у компании-производителя
здесь появляется новая возможность удовлетворить свой
основной интерес: продажу продуктов и сервисов. Затем
следует второй мотивационный фактор для вендора – мар-
кетинговые возможности популяризации новых техноло-
гий, которые он разрабатывает и выводит на рынок.
Ну, и такой специфический вопрос, который в своё время
был поднят именно вендорами - это создание рынка специ-
алистов, ориентированных на конкретные технологии. Чем
активнее развивается и популяризируется сообщество
«поклонников» какого-либо технологического направления,
тем больше гарантия, что такое сообщество будет распро-
странять и развивать идеи, которые генерирует этот вен-
дор. В качестве примера можно привести сообщества
OpenVMS и SUN (Oracle) Solaris.

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

18 www.TierLife.ru Next
-Кстати, темой одного из грядущих номеров TIER
станет мульти- и моновендорность дата-центра.
С одной стороны, проект ЦОД можно упростить,
максимально используя оборудование одного
бренда. С другой стороны, решение становится
менее гибким. Как эта дилемма видится со сто-
роны компании-владельца ЦОД?
-С одной стороны, для ЦОД важна стандартизация исполь-
зуемых решений (как с точки зрения увеличения воз-
можностей автоматизации, так и уменьшения стоимости
закупочных и сервисных контрактов, затрат на обучение
персонала). С другой стороны, компании абсолютно невы-
годно оказаться в зависимости от одного поставщика, так
как времена и ситуации бывают разные и с точки зрения
технологической развитости решений, и по гибкости вен-
дора в отношении финансовых условий сотрудничества.
Также важно, насколько успешно развивается бизнес в
целом, насколько полно представлен тот или иной вендор в
различных регионах. Использование моновендорной стра-
тегии – это большие риски для бизнеса компании.
В 1990-е годы, например, я наблюдал ситуацию, когда
один из крупнейших заказчиков, выбрав в качестве по-
ставщика инфраструктурных решений крупного и до сих
пор существующего на мировом рынке вендора, через
какое-то время оказался в сложной ситуации: вендор не
увидел перспектив развития бизнеса и просто объявил о
своём уходе из региона заказчика. Заказчику пришлось
несколько лет продолжать эксплуатировать оставшуюся си-
стему собственными силами, организовывать новые схе-
мы получения услуг системной поддержки, планировать
и плавно осуществлять миграцию на другое решение. Это
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ
PREVIOUS
значительные усилия и затраты, к тому же в это время биз-
нес испытывает определенные ограничения в развитии. В
условиях сегодняшнего рынка это крайне рискованно.
-А насколько значим этот фактор для клиента? Ка-
кой позиции при этом придерживаетесь вы? Можно
ли сказать, что одна из этих стратегий (мультивен-
дорность) уходит в прошлое?
-С моей точки зрения, для большинства клиентов коммер-
ческих ЦОДов – а они всегда приходят за конкретной услу-
гой - стандартные типовые услуги должны реализовываться
вне зависимости от этого фактора.
Но существуют отдельные случаи, когда заказчику для реа-
лизации его функционала необходимы какие-то конкретные
специфические требования или платформы. И дальше начи-
нается наша работа, как поставщиков решений: насколько
мы гибки, каков диапазон инструментов и сервисов, кото-
рые мы можем предложить клиенту в ответ на его запрос.
Например, в нашем портфеле сегодня более 60 различных
услуг на базе ЦОД, и более 50 продуктов мы предлагаем
в нашем «Магазине облачных сервисов» (www.i-Oblako.ru).
Мы не согласны с тем, что стратегия мультивендорности
уходит в прошлое. В целом, важна не победа той или иной
стратегии, а разумный баланс между решениями ведущих
производителей, которые будут наиболее эффективны для
клиентов.
-Ну что же, приглашаем вас продолжить тему муль-
тивендорности в будущих номерах TIER . Спасибо за
интервью!
PREVIOUS Next www.TierLife.ru 19

№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ