Академический Документы
Профессиональный Документы
Культура Документы
Новости 4
Перечень дата-центров
России
Тенденции на рынке
суперкомпьютеров
2012-2013 гг.
Stulz начинает
поставку модульной
системы охлаждения
CyberHandler
Дата-центры 6
Google
Исходная позиция:
ИТ-свалка
Дата-центр 16
с позиции
вендора и
оператора
2 www.TierLife.ru
Новости
Перечень дата-центров
России
На сайте www.AboutDC.ru появился обновленный перечень дата-центров России. Для каждого ЦОД указана ком-
пания-хозяин, контакты для связи, сайт, телефон и адрес. В общей сложности представлено более 170 объектов.
По сообщениям представителей ре-
сурса www.AboutDC.ru далее в их пла-
нах представить фото-экскурсии по
каждому из перечисленных объектов. Подробнее:
Информацию можно присылать по
e-mail: AboutDC@AboutDC.ru.
Тенденции на рынке
суперкомпьютеров 2012-2013 гг.
Обновленный в ноябре прошлого года рейтинг супер-
компьютеров TOP 500 зафиксировал новую планку в
производительности самых мощных вычислительных
систем и очередную смену лидера. Таким образом,
прогресс на пути к экзафлопсной эре в 2012 году по
сравнению с 2011 годом, когда потолок вычислитель-
ной мощности поднялся более чем в четыре раза, не-
сколько замедлился.
Подробнее:
Среди тенденций на рынке суперкомпьютеров отмечено
снижение скорости наращивания Флопс, а также переход
на гибридную архитектуру и на жидкостное охлаждение.
Stulz начинает
поставку модульной
системы охлаждения
CyberHandler
Доступны различные варианты мощности, а также «Высокая энергоэффективность системы Stulz CyberHandler,
опции водяного (CW) и непосредственного (DX) охлаж- а также возможность освободить от 5% до 10% внутреннего
дения. Stulz Air Technology Systems представляет Stulz пространства здания, предоставляет многим клиентам иде-
CyberHandler, модульную систему охлаждения для ЦОД, альное решение для организации системы охлаждения»,
предназначенную для наружной установки и позволя- - утверждает Дэвид Джой, вице-президент по продажам и
ющую освободить пространство внутри здания да- маркетингу в Stulz. Джой также добавляет, что установка
та-центра. системы обходится недорого, и Stulz предоставляет под-
держку на период запуска системы и ввода в эксплуатацию.
Система CyberHandler является модульной и масштабируе-
Использование системы в сочетании с фрикулингом позво-
мой и может быть сконфигурирована в соответствии с тре-
ляет достигнуть отличного значения коэффициента PUE.
бованиями клиента. Система поставляется в собранном
виде и допускает установку на крыше ЦОД, либо рядом со «Система CyberHandler реализует признанные техноло-
зданием на уровне земли. Компоненты управления не тре- гии и достижения компании Stulz в формате для наружной
бует предварительной настройки и сразу готовы к работе. установки», - говорит Йорг Деслер, вице-президент по во-
CyberHandler легко подключается по сети к другим моду- просам производства и проектирования компании Stulz.
лям и совместима со всеми стандартными протоколами, «Строгие стандарты компании, предназначенные для за-
используемыми в системах управления зданием и приме- щиты критических данных пользователей, были соблюдены
няемыми для интеграции с DCIM решениями. в ходе разработки и производства новой системы».
Google
дата-центры
Серверная в Каунсил-Блафс,
№4 МАРТ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ Айова. Фото: Google/Конни Чжоу
(Connie Zhou)
PREVIOUS Next www.TierLife.ru 7
Многие журналисты, которые пытались написать статью о ЦОД Google, не могли этого сделать, поскольку Google
видит свою сеть как уникальное конкурентное преимущество, и даже доверенные работники могли лишь украдкой
заглянуть внутрь. Этот запрет также распространялся и на журналистов. До 17 октября 2012 года.
Если вы ищете самое сердце цифровой эры — место, где ный станок по производству денег.
становятся явными границы, великолепие и фанатичность
Но и другие, менее известные инженерные и стратегиче-
королевства битов — вы вряд ли обратите свое внимание
ские достижения, вероятно, в такой же степени опреде-
на местечко Леноир в штате Северная Каролина, ведь это
ляют успех Google: ее возможность создать, организовать
всего лишь деревенский городок с населением 18 000
и управлять огромной сетью серверов и оптоволоконных
человек, к тому же исторически занимающийся производ-
кабелей с такой эффективностью и скоростью, которые по-
ством мебели. Но теперь в нем находится центр обработки
вергают физиков в шок.
данных Google.
Компания Google распространила свою инфраструктуру
Инженерное мастерство позволило 14-летнему поиско-
по глобальному архипелагу громадных зданий—около дю-
вому гиганту быстро занять свое место среди наиболее
жины информационных дворцов в таких местах, как Каун-
успешных, влиятельных и пугающе мощных компаний в
сил-Блафс, Айова; Сен-Гислен, Бельгия; и вскоре в Гонконге
мире. Компания постоянно совершенствует свой поис-
и Сингапуре — где неопределенно-огромное количество
ковый алгоритм, который изменил наши представления
компьютеров обрабатывают и составляют бесконечную
и способ доступа к информации. Сложная со всех сторон
летопись человеческого опыта.
платформа для рекламного аукциона - это вечный печат-
Центральный охлаждающий цех в ЦОД Google в округе Дуглас, Джорджия. Фото: Google/Конни Чжоу
Индивидуальная
бесперебойность
Анализ затрат электроэнергии, который провела компания, выявил еще один источник расходов: громоздкие систе-
мы бесперебойного электроснабжения, которые защищали серверы от перебоев питания в большинстве ЦОД. Они
не только были причиной утечки электричества, для них также требовалась собственная система охлаждения. Но по-
скольку Google разработала стойки, на которых располагала свои компьютеры, она смогла расположить резервные
батареи возле каждого сервера, полностью избавившись от больших ИБП. По словам Джо Кава, эта схема снизила
потери электричества примерно на 15 %.
1.2
Все эти инновации помогли Google достичь беспрецедентной экономии энергии. Стандартное испытание эффектив-
ности ЦОД носит название «Эффективность использования энергии», или PUE. Идеальным значением является 1,0,
что означает полное использование энергии, поступающей в здание. Эксперты считают, что значение 2,0 — то есть
половина энергии расходуется впустую — является приемлемым для ЦОД. Google достигла беспрецедентного значе-
ния PUE=1,2.
Тайны империи
Причины секретности
В течение многих лет Google не делилась своими замыс- Хотя, несомненно, что на деньгах, которые мотивировали
лами. “Нашим ключевым преимуществом действитель- Google, изображен портрет президента. “Конечно, нам нра-
но была огромная компьютерная сеть, вероятно, наи- вится экономить энергию”, - говорит Хольцли. - “Но возьми-
более крупная в мире”, говорит Джим Риз (Jim Reese), те, к примеру, Gmail. Мы бы потеряли большую сумму де-
который помогал настраивать серверы компании. “Мы нег на Gmail, если бы мы построили наши серверы и ЦОД
поняли, что не в наших интересах рассказывать конку- по-старому. Из-за нашей эффективности наши затраты малы
рентам об этом”. настолько, что мы можем предоставлять сервис бесплатно”.
Разглашение и плагиат
В 2009, на мероприятии под названием «Саммит по эффективным ЦОД», Google представила последние результаты PUE
и намекнула на некоторые из своих технологий. Это послужило поворотной точкой для отрасли, и теперь компании типа
Facebook и Yahoo сообщают о схожих PUE.
Собственное «железо»
У Google имеются достижения не только в области энергетики. В самом деле, хотя о Google до сих пор думают как об ин-
тернет-компании, она также стала одним из крупнейших мировых производителей аппаратного обеспечения благодаря
тому, что она создает большую часть своего оборудования самостоятельно.
В 1999 году Хольцли купил детали для 2 000 уменьшенных “макетных плат” у “трех парней, владевших магазином электро-
ники”. Переходя на кустарное производство и избавляясь от ненужных компонентов, Google построила множество серверов
стоимостью примерно $1 500 каждый, вместо стандартных за $5 000. Хольцли, Пейдж и третий инженер разработали обору-
дование самостоятельно. “Оно не было на самом деле ‘спроектировано’”, - говорит Хольцли, изображая кавычки пальцами.
Управление Интеграция
бесчисленными мощностей
серверами Эти инновации позволяют Google реализовать идею, опи-
санную в документе 2009 года, написанном Хольцли и
одним из его первых заместителей, ученым в области ин-
За эти годы Google также создала программную систему, кото- форматики Луизом Бароссо (Luiz Barroso): “Интересующая
рая позволяет управлять ее бесчисленными серверами, как компьютерная платформа теперь похожа не на упаковку от
если бы они были одним гигантским организмом. Штатные пиццы или холодильник, а на склад, полный компьютеров
разработчики компании выступают в роли кукловодов, при- … Мы должны обращаться с этим складом как с одним ги-
казывая тысячам компьютеров выполнять задачи с такой же гантским компьютером”.
легкостью, как будто они управляют одним-единственным ПК.
Это в значительной степени помогает людям, которые пи-
В 2002 году ученые компании создали файловую систему шут код Google. Поскольку ваш компьютер это одно устрой-
Google, которая равномерно распространяет файлы среди ство, на котором запущено несколько программ одновре-
множества компьютеров. Система Google под названием менно — и вам нет нужды беспокоиться о том, какая его
MapReduce для написания облачных приложений сниска- часть отвечает за какое приложение — инженеры Google
ла такой успех, что ее версия с открытым исходным кодом могут обращаться с тысячами серверов как с одним
Hadoop стала отраслевым стандартом. устройством. Они просто пишут окончательный код, а си-
стема распространяет его среди всех серверов на этаже,
Google также выпустила программу для борьбы с одной из
который они, скорее всего, никогда не смогут посетить.
сложных проблем при любых операциях с большими объе-
мами данных: когда задачи буквально льются на ЦОД, каким “Если ты обычный инженер компании, ты можешь быть
образом можно быстро и наиболее эффективно определить полностью рассеянным”, - говорит Хольцли - “Ты можешь
наиболее подходящие для определенной задачи компьюте- заказать Х петабайт свободного места или чего бы то ни
ры? Google решила эту задачу «балансировки нагрузки» с по- было, и ты не иметь ни малейшего представления о том,
мощью автоматизированной системы под названием Borg. что происходит”.
Надёжность инфраструктуры
Порвать оптоволокно
Но, конечно же, такая инфраструктура ничего не стоит, если она ненадежна. Google также изобрела собственный
способ решения этой проблемы — способ, который включает в себя удивительный ингредиент для компании, по-
строенной на автоматизации и алгоритмах, и имя ему - люди…
…в 3 часа пополуночи морозной зимней ночью небольшая команда инженеров начинает атаковать Google. Сначала они
рушат внутреннюю корпоративную сеть, которая обслуживает кампус компании в городе Маунтин-Вью, штат Калифорния.
Затем команда пытается нарушить работу различных ЦОД Google, создавая протечки в водопроводных трубах и инс-
ценируя протесты перед воротами — в надежде отвлечь внимание от захватчиков, которые пытаются украсть диски,
полные данных, из ЦОД.
Они пакостят в различных службах компании, включая сеть рекламных объявлений. Они выключают ЦОД в Нидерландах.
Затем настает время для смертельного удара — разрыв большинства оптоволоконных кабелей Google, ведущих в Азию.
Проблема модернизаций
Эта программа началась, когда Хольцли поручил инженеру Бену Трейнору (Ben Treynor) обеспечить отказоустойчивость
сети Google. Это было особенно непросто для такой большой компании как Google, которая постоянно модифицировала
свои системы и сервисы — в конце концов, простейшим способом ее стабилизации была бы остановка внесения изме-
нений.
В итоге Трейнор переосмыслили саму идею надежности. Вместо того, чтобы создать абсолютно бесперебойную систему,
он назначил для каждого сервиса определенный запас — допустимое время простоя. Затем он убедился, что инженеры
Google используют это время продуктивно.
“Скажем, мы хотели, чтобы время безотказной работы Google+ составляло 99,95%”, - говорит Хольцли. - “Мы хотели
убедиться, что простой не будет обусловлен глупыми причинами, например отсутствием должного внимания с нашей
стороны. Мы хотели, чтобы простой был обусловлен внедрением новых особенностей”.
Реальные аварии
Тем не менее, происшествия все же случаются — о чем пятницу я внес изменение, которое могло привести к это-
Сабрина Фармер (Sabrina Farmer) узнала утром 17 апре- му”. Люди, ответственные за проверку изменений, не были
ля 2012 г. Фармер, которая возглавляла команду тести- достаточно дотошными, и когда определенные пользовате-
рования Gmail чуть менее года, находилась на стандарт- ли Gmail попытались войти в почту, различные копии их дан-
ном совещании касательно дизайна. Внезапно в комнату ных, находящиеся в системе, не были синхронизированы.
ворвался инженер с криком “Происходит что-то большое!” Чтобы обезопасить данные, система заморозила их.
В самом деле: 1,4 процента пользователей (большое коли-
Диагностика заняла 20 минут, разработка способа устра-
чество людей), не могли получить доступ к Gmail. Вскоре
нения – еще 25 минут, что весьма неплохо. Но событие
сообщения о сбое заполонили Twitter и технические сайты.
было принято пользователями как просчет Google. “Это
Они даже просочились в основные новости.
очень неприятно, когда команда тестирования начинает
Конференц-зал превратился в оперативный пункт. Совмест- ответные действия”, - говорит Фармер. - “Но я счастлива,
но с такой же группой в Цюрихе, Фармер начала эксперт- что все данные остались целы”. Однако она была бы более
ное расследование. Озарение пришло к ней, когда один из счастливой, если бы ее будущие кризисы были ограничены
членов команды тестирования Gmail скромно заметил “В атаками зомби команды DiRT.
Экскурсия Google
Бесконечные ряды стоек
…Но сейчас мы входим на этаж. Слово «большой» просто неприменимо в данной ситуации. Ряды серверных сто-
ек, кажется, уходят в бесконечность. В холодных проходах поддерживается комнатная температура — которая
по заявлению Кава равна 25 градусам. Горячий проход представляет собой узкое пространство между задними
сторонами двух серверных рядов, плотно закрытыми листовым металлом на концах. Вереница медных катушек
поглощает тепло. Сверху находятся огромные вентиляторы, которые шумят как реактивные двигатели, звук кото-
рых пропущен через усилители Marshall.
Мерцают лампочки
Мерцают голубые лампочки… но что они означают? Поисковый запрос в интернете? Чье-то письмо в Gmail? Событие
календаря Glass, проплывающее перед глазами Сергея? Да все что угодно.
Аптека
Время от времени показывается рабочий — длинноволосый парень в шортах, движущийся на скутере, или женщина в
футболке, которая толкает тележку с запасными частями для серверов и раздает их, как медсестра раздает таблетки в
психбольнице (Кстати, участок этажа, где находятся запчасти, называется аптекой).
Постскриптум
Чего желает Google нам
На вопрос о том, в каких областях следует ожидать изменений, Хольцли упомянул конструкцию ЦОД и кластера, скорость
развертывания и гибкость. Затем он осекся. “Есть одна вещь, о которой я не могу говорить”, - говорит он, улыбка проре-
зает его бородатое лицо, - “поскольку она далась нам потом, слезами и кровью. Я хочу, чтобы другие приложили столько
же усилий, совершая такие же открытия”. Может быть, Google хочет и стремится предоставить людям доступ ко всем
данным на земле, но некоторую информацию она до сих пор держит при себе.
Дата-центр
с позиции
вендора Объективный взгляд на центры обра-
и оператора
ботки данных с различных позиций
– в интервью с Михаилом Луковнико-
вым, заместителем директора Сер-
висного подразделения «Ай-Теко»
- Михаил, добрый день! Вы представляете компа- - А что, на ваш взгляд, наиболее важно для коммер-
нию «Ай-Теко», одним из направлений деятельности ческого ЦОД?
которой является IT-аутсортинг на базе собственно- Существуют ли какие-либо специфические требова-
го ЦОД. Расскажите немного об этом. ния, предъявляемые к коммерческим дата-центрам
и менее важные для корпоративных ЦОД?
В 2008 году «Ай-Теко», наблюдая за тенденциями IT-рын-
ка, выделила для себя новые интересные направления, - Спецификой коммерческого ЦОДа, его ключевым отличи-
которые было решено развивать. Такими направлениями, ем от корпоративных дата-центров, является ориентиро-
в частности, стали ресурсы коммерческих ЦОД, облач- ванность на создание дополнительной ценности для кли-
ные вычисления, виртуализация, аутсорсинг в сфере IT. ентов путем предоставления таких сервисов, с помощью
Как мы видим по ситуации на российском и глобальном которых клиент сможет получить конкурентное преимуще-
рынке, сейчас это направление на подъёме. По оценке ство, повысить эффективность своего бизнеса. Коммерче-
Jason&Partners, в 2011 году суммарная полезная площадь ский ЦОД должен обладать четко структурированным и по-
российских коммерческих ЦОД составила 60980м2, увели- нятным клиентам портфелем услуг, стандартизированным
чившись более чем на 60%: в 2010 году было 37500м2. К набором критериев и SLA, по которым эти услуги должны
2014 году, по мнению TAdviser, рынок центров обработки оказываться. Это с идеологической точки зрения.
данных в нашей стране должен вырасти вдвое.
Что же касается непосредственно IT, то для того, чтобы орга-
Драйверами этого роста являются растущие потребности низовать качественный облачный сервис и предоставлять
клиентов и стабильный многократный рост объемов обра- такие услуги в массовом порядке, на высококонкурентном
батываемых данных, особенно в облачных средах. Напри- растущем рынке, нужно большое внимание уделить во-
мер, специалисты Cisco прогнозируют, что две трети всего просам автоматизации, виртуализации и стандартизации
трафика центров обработки данных и серверных нагрузок самой инфраструктуры. Необходимо отметить важность
к 2016 году будут относиться к облачным вычислениям, систем мониторинга с точки зрения отслеживания уровня
а средняя нагрузка на облачные серверы будет в 4 раза выполнения SLA и, конечно, надёжности функционирова-
выше, чем на традиционные аналоги. ния сервиса. Все заказчики очень требовательны к этим
Интересные данные приводит CNews Analytics: из 150 вопросам, это критически важно для многих отраслей, на-
опрошенных российских CIO в 2012 году развивали облач- пример, в телекоме, финансовом секторе.
ную инфраструктуру 16% опрошенных, что вдвое больше, Отдельно упомянем финансовый сектор. Поскольку мы
чем в 2011-м. Это коррелирует с прогнозом IDC, согласно оказываем услуги не внутри организации, а внешним
которому в ближайшее время российский рынок облаков пользователям, которые к тому же могут находиться в
будет расти в среднем в год на 100% и к концу 2015 г. до- любой точке земного шара, большое значение приобре-
стигнет $1,2 млрд. тают высокоскоростные и резервируемые каналы связи.
Сегодня мы имеем возможность предоставить нашим кли- Также важны вопросы безопасности хранения и переда-
ентам мощности одного из крупнейших коммерческих ЦОД чи данных.
в России – «ТрастИнфо».
-Кстати, темой одного из грядущих номеров TIER значительные усилия и затраты, к тому же в это время биз-
станет мульти- и моновендорность дата-центра. нес испытывает определенные ограничения в развитии. В
С одной стороны, проект ЦОД можно упростить, условиях сегодняшнего рынка это крайне рискованно.
максимально используя оборудование одного
бренда. С другой стороны, решение становится -А насколько значим этот фактор для клиента? Ка-
менее гибким. Как эта дилемма видится со сто- кой позиции при этом придерживаетесь вы? Можно
роны компании-владельца ЦОД? ли сказать, что одна из этих стратегий (мультивен-
дорность) уходит в прошлое?
-С одной стороны, для ЦОД важна стандартизация исполь-
зуемых решений (как с точки зрения увеличения воз- -С моей точки зрения, для большинства клиентов коммер-
можностей автоматизации, так и уменьшения стоимости ческих ЦОДов – а они всегда приходят за конкретной услу-
закупочных и сервисных контрактов, затрат на обучение гой - стандартные типовые услуги должны реализовываться
персонала). С другой стороны, компании абсолютно невы- вне зависимости от этого фактора.
годно оказаться в зависимости от одного поставщика, так Но существуют отдельные случаи, когда заказчику для реа-
как времена и ситуации бывают разные и с точки зрения лизации его функционала необходимы какие-то конкретные
технологической развитости решений, и по гибкости вен- специфические требования или платформы. И дальше начи-
дора в отношении финансовых условий сотрудничества. нается наша работа, как поставщиков решений: насколько
Также важно, насколько успешно развивается бизнес в мы гибки, каков диапазон инструментов и сервисов, кото-
целом, насколько полно представлен тот или иной вендор в рые мы можем предложить клиенту в ответ на его запрос.
различных регионах. Использование моновендорной стра-
тегии – это большие риски для бизнеса компании. Например, в нашем портфеле сегодня более 60 различных
услуг на базе ЦОД, и более 50 продуктов мы предлагаем
В 1990-е годы, например, я наблюдал ситуацию, когда в нашем «Магазине облачных сервисов» (www.i-Oblako.ru).
один из крупнейших заказчиков, выбрав в качестве по- Мы не согласны с тем, что стратегия мультивендорности
ставщика инфраструктурных решений крупного и до сих уходит в прошлое. В целом, важна не победа той или иной
пор существующего на мировом рынке вендора, через стратегии, а разумный баланс между решениями ведущих
какое-то время оказался в сложной ситуации: вендор не производителей, которые будут наиболее эффективны для
увидел перспектив развития бизнеса и просто объявил о клиентов.
своём уходе из региона заказчика. Заказчику пришлось
несколько лет продолжать эксплуатировать оставшуюся си- -Ну что же, приглашаем вас продолжить тему муль-
стему собственными силами, организовывать новые схе- тивендорности в будущих номерах TIER . Спасибо за
мы получения услуг системной поддержки, планировать интервью!
и плавно осуществлять миграцию на другое решение. Это