INSIDE: Суперкомпьютерное образование с.

21
Стратегическая цель проекта
Вокруг проекта «ОМЕГА»
база данных, а не шпионский детектив
с. 24

www.supercomputers.ru 1 (5) весна 2011

ядра
Алгоритмический
трейдинг и графические

стр. 10

Революции
большие и маленькие
стр. 59
1 (5) весна 2011 СУПЕРКОМПЬЮТЕРЫ

Особое мнение:
Прямая речь доктора Мейера
перед Гамбургом
с. 15
 Су п е р К о м п ь ю т е р ы  1

От редакции
весна 2011
Председатель редакционного совета Суперкомпьютеры… Интересной
Владимир ВОЕВОДИН области мы себя посвятили. Живой,
vladimir.voevodin@ supercomputers.ru динамичной, быстро меняющейся,
Над номером работали: жадно впитывающей достижения
Выпускающий редактор
Игорь ЛЁВШИН смежных наук и отраслей: каждый
Igor.levshin@supercomputers.ru день – новости, каждый месяц
Редактор отдела новостей – анонсы новых технологий, и
Максим КРИВОВ
Maxim.krivov@supercomputers.ru каждый год происходят измене-
Ответственный секретарь редакции ния, которые влияют на все вы-
Екатерина ЛУБАШЕВА числительное сообщество. Здесь натяжкой. Опять же, на фоне всего
Ekaterina.lubasheva@supercomputers.ru
Дизайн и верстка все должно быть «супер», и только числа компьютерных устройств
Виктория ИВАШКОВА в этом случае есть шанс остаться суперкомпьютеров крайне мало,
Корректура конкурентоспособным. Но это же но они, как серые кардиналы, во
Юлия ГОЛОМАЗОВА
означает, что нужно не только от- многом определяют развитие
Тексты: слеживать, но и мгновенно реаги- многих отраслей. Другая сторона
Валерий БАКАНОВ ровать на все новое, использовать той же самой медали: государство
Олег БАРТУНОВ
Павел ВЕЛИХОВ все то, что может дать дополнитель- выделяет десятки и сотни миллио-
Константин КНИЖНИК ное качество, что поможет сделать нов рублей на установку в организа-
Андрей КОЛЕСОВ шаг вперед, что определит вектор циях суперкомпьютеров. Но есть ли
Максим КРИВОВ
Андрей КАЗЕННОВ развития компьютерной отрасли у организаций понимание степени
Роман СИМАКОВ в будущем. Находясь на переднем ответственности за «бесплатные»
Артем СМИРНОВ рубеже, далеко не всегда очевидна миллионы? И есть ли понимание
Евгений ХАРЧЕНКО
Михаил ЦИМБЛЕР реальная перспективность появля- у государства, что деньги необхо-
Леонид ЧЕРНЯК ющихся технологий, но решения димы не только на закупку, но и на
Анатолий ЮДАНОВ принимать необходимо. Окажутся достойное сопровождение высоко-
Арсен ЯКОВЛЕВ
ли решения правильными? Это технологичного оборудования?
Иллюстрации: покажет только время, но необхо- А что происходит внутри самой об-
Александр ЖЕЛОНКИН димость постоянно балансировать ласти суперкомпьютерных техно-
Виктория ИВАШКОВА
Владимир КАМАЕВ «на грани» между срывом и потен- логий? Традиционно, она делится
циальным лидерством в будущем на три составляющие: суперком-
Учредитель определяет удивительную парадок- пьютерные системы, технологии их
Даниэль ОРЛОВ
Издатель сальность, свойственную суперком- программирования и приложения.
ООО «Издательство СКР-Медиа» пьютерным технологиям. Как осуществлялось их развитие
Генеральный директор Парадоксы здесь на каждом шагу. в последние 15-20 лет? Прогресс в
Даниэль ОРЛОВ
Daniel.orlov@supercomputers.ru Все здравомыслящие люди по- суперкомпьютерах действительно
нимают необходимость развития поражает – производительность за
Адрес редакции и Издателя: суперкомпьютерных технологий, это время выросла в миллионы раз.
117342, Москва, ул. Бутлерова, 17Б
www.supercomputers.ru в частности, их стратегическую А что столь же значимого произо-
Издание «СУПЕРКОМПЬЮТЕРЫ» зарегистрировано Феде-
важность для развития государства шло в технологиях программиро-
ральной службой по надзору в сфере связи, информацион-
ных технологий и массовых коммуникаций
в целом, но рынка суперкомпью- вания или же в методах решения
(Роскомнадзор). Свидетельство о регистрации
терных технологий как такового больших задач? Не исключаю, что,
СМИ ПИ №ФС77-38346 от 10.12.2009
Тираж 5000 экз. нет. Необходимость есть, а рынка размышляя, скажем, о технологиях
Отпечатано – нет. Это исключительно узкая программирования, в голову могли
ООО «Немецкая фабрика печати» ниша в компьютерном мире, в придти MPI, OpenMP или OpenCL.
127254, Москва, ул. Добролюбова, 2, стр. 1
www.nfp.ru которой традиционные рыночные Да, все верно, но это скорее бег на
Редакция не несет ответственности за достоверность
информации, содержащейся в опубликованных
механизмы практически не рабо- месте, чтобы «хоть как-то согреться
рекламных материалах. Мнение редакции может не
совпадать с мнением авторов статей.
тают. Важно для государства? Да, и не замерзнуть»... А рядом уже
Присланные материалы не рецензируются. безусловно, но потому суперком- новый парадокс. Единственное
Цена свободная пьютеры и являются во всем мире предназначение суперкомпьюте-
© ООО «Издательство СКР-Медиа» 2011
заботой государства, а рынком это ров – это быстро решать задачи, для
© «CУПЕРКОМПЬЮТЕРЫ» 2010-2011 можно назвать с весьма большой этого суперкомпьютерные монстры

«Суперкомпьютеры» № 1 (5) весна 2011

2 Су п е р К о м п ь ю т е р ы
и создаются, и, конечно же, пред-
полагается, что их потенциал будет
использован на 100%. А что на прак-
тике? А на практике картина совсем
иная: КПД работы суперкомпьюте-
ров (отношение того, что они могут
«в теории», к их реальной отдаче на
практике) для подавляющего числа
приложений составляет доли про-
цента, в редких случаях – несколько
процентов.
Ну и что уж совсем удивительно: в
суперкомпьютерах от триумфа до
осуждения – один шаг. В зависи-
мости от желания подчеркнуть ту
или иную сторону одной и той же
системы ее можно и вознести до не-
бес, а можно и полностью очернить.
Стратегическая важность для инно-
вационного развития экономики,
повышение конкурентоспособ-
ности, укрепление национальной
безопасности, развитие потенциала
стратегических, фундаментальных
и прикладных научных иссле-
дований и т. п. – это позитивные
аргументы. Большая стоимость, вы-
сокие расходы на сопровождение,
колоссальное энергопотребление,
отсутствие немедленной отдачи, не-
понятная окупаемость – это набор
аргументов, если теперь все то же
самое захочется покритиковать. Вы-
бирайте, что ближе или что больше
подходит по настроению.
Парадоксов здесь действительно
много, но относиться к ним нужно
спокойно – просто область такова,
в ней было и будет так всегда. Зато
здесь крайне интересно работать
– постоянно возникают новые
вызовы, заставляющие искать не-
тривиальные решения, происходит
постоянное обновление, не дающее
застыть на одном месте, застав-
ляющее все время учиться. Здесь
постоянно ощущаешь связь со мно-
гими смежными областями. Здесь
хочется работать. Здесь чувствуешь
будущее.
Владимир В. Воеводин,
Председатель
редакционного совета
журнала «Суперкомпьютеры»
www.supercomputers.ru
28
Научные вызовы
технологиям
СУБД
8 Суперкомпьютеры в биржевой торговле
Простые слова о сложном процессе
10 Алгоритмический трейдинг и графические ядра

Спекулятивный капитал и алгоритмическая торговля
11 Комментарии экспертов EGAR Technology
15 Предвидеть самое интересное
 Прямая речь доктора
Мейера в параллельных диалогах Игоря Левшина
18 Твосьмидесятых
ранспьютеры — британский феномен

Леонид Черняк раскрывает архивы
секретных служб
21 Суперкомпьютерное образование в России
24 Вокруг проекта «Омега»

шпионского детектива
Базы данных против
28 Научные вызовы технологиям СУБД
Общий размер информации и философия данных
Су п е р К о м п ь ю т е р ы  3
В номере
32 Sданных
ciDB – новая СУБД для больших объемов научных

Принципиальные отличия и аналитические запросы
35 Beowulf возвращается
 Дональд Беккер и Томас Стерлинг не
думали, что создают целый класс систем
40 Windows берется за расчетные задачи

решительно переломить ситуацию
Попытка
43 Портируем на GPU и оптимизируем для CPU

То, что решили проверить в лаборатории журнала
«Суперкомпьютеры» Максим Кривов и Андрей Казеннов
46 Кто будет первым среди равных
 Отвечают «Т-Платформы»
48 Сконвергенции
15
ервер HP на AMD Opteron – активные участники

Ожидания тех, кто нацелен на эффективные
проекты
50 CUDA4 – покорение суперкомпьютеров
Надежды, что простым «ребрендингом» дело не ограничилось
54 Параллелизация обработки данных на вычислителях
потоковой (Dataflow) архитектуры
Последователи Томаса Стерлинга
59 Революции большие и маленькие
Самит Гупта делится своими мыслями с Игорем Левшиным в
саду, где цветет сакура
Цена вопроса
62 Они захватят мир
Кинофантазии Макса Кривова и его друга Толи Юданова
Предвидеть
самое интересное
беседа редактора журнала
с организатором
международных
Редакционный совет:
Владимир Воеводин, д. ф.-м. н., чл.-корр. РАН, НИВЦ МГУ, г. Москва
конференций ISC Виктор Гергель, д. т. н., ННГУ, г. Нижний Новгород
доктором Хансом
Юрий Зеленков,
Вячеслав Ильин,
к. ф.-м. н., НПО Сатурн, г. Рыбинск
д. ф.-м. н., НИИЯФ МГУ, г. Москва
Вернером Мейером
Леонид Соколинский,
Михаил Токарев,
Александр Томилин,
д. ф.-м. н., ЮУрГУ, г. Челябинск
НОЦ «Нефтегазовый центр МГУ», г. Москва
д. ф.-м. н., ИСП РАН, г. Москва
Борис Четверушкин,
Борис Шабанов,
д. ф.-м. н., чл.-корр. РАН,
ИПМ РАН им. М. В. Келдыша, г. Москва
к. ф.-м. н., МСЦ РАН, г. Москва
«Суперкомпьютеры» № 1 (5) весна 2011
Новости
Н о в о с т и  5
Максим Кривов
Maxim.krivov@supercomputers.ru

OpenCL для Терафлопсы лишними Открыты планы «Открытых технологий»

кластера не бывают
Новая реализация Правительство Тайваня объявило о разработке нового В феврале произошло примечательное событие: рование инженерных сооружений,
OpenCL превращает суперкомпьютера. Он будет содержать 25 600 вычисли- известный в России системный интегратор, дизайн зданий, проектирование
кластер в один большой тельных ядер и располагаться в Национальном центре компания «Открытые технологии», громогласно автомобилей, судов и летатель-
персональный компьютер высокопроизводительных вычислений. Правда, его пико- объявила о выходе на рынок суперкомпьютинга. ных аппаратов, проектирование
электронных и полупроводнико-
вая производительность составит всего 170 терафлопсов,
вых устройств, вычислительная
но на покорение Top 500 он и не претендует.
гидродинамика (CFD), модели-
Суперкомпьютер будет запущен уже этим летом. Пред-
Решительный шаг был сделан не в вывода. Массив может хранить до 5 рование атмосферы и мирового
назначен он для решения сугубо тайваньских проблем
одиночку, а при поддержке партне- Тб и работать с данными на скоро- океана, предсказание погоды,
— моделирования изменения климата и предсказание
ров: новые гибридные вычисли- стях 1.7 IOPS. геологические исследования, раз-
местных тайфунов, а также для прогнозирования разви-
тельные системы, представленные «Открытые технологии» рапортуют личные задачи математической
тия экономики Тайваня.
компанией, разработаны вместе с об изобилии заказчиков и говорят физики, астрофизика и космиче-
компаниями NVIDIA и NextIO. Об- о том, что на рынке суперкомпью- ские исследования, молекулярные
Разработка программ для гетерогенных ращение к лидеру графических вы- теров всем места хватит. Пока, ви- науки, генетика, моделирование
суперкомпьютеров является достаточно
Новый BlueGene. числений понятно, а что касается димо, речь не идет о проектах Top в медицине, включая системы
сложным процессом. Поэтому задача новой
OpenCL от Mosix — превращение гигантско- Теперь /Q NextIO, то это компания, специали-
зирующаяся (как это следует из на-
50, основной бизнес – инсталляции
среднего масштаба.
АСПВР, разработка лекарственных
препаратов, параллельные СУБД,
го кластера с графическими ускорителями в звания) на технологиях ввода/вы- Гибридные вычислители выбраны электронная коммерция и инфор-
один персональный компьютер. Эта реали- Стали известны детали о новом вода. У компании есть гибридные не из соображений рекордных мационные системы, виртуальная
зация, получившая название Mosix Virtual поколении суперкомпьютеров решения vCORE Express 2070 GPU показателей, а из заботы об энерго- реальность и визуализация, об-
OpenCL, прячет от программиста все пере- от IBM Computing Solution для шасси 1U. эффективности и производитель- работка изображений, атомная
сылки данных по сети и создает видимость Не менее интересны более «специ- ности при разумной стоимости. энергетика и военные задачи, тре-
одной SMP-системы. Правда, с несколькими Одной из первых инсталляций — 16 предназначаются для альные» разработки: NextIO vSTOR По слова представителей «Откры- нажерные комплексы, бортовые,
станет суперкомпьютер вычислений, а выделенное 17-е
тысячами графических ускорителей и при- Mira в Аргоннской будет отдано в эксклюзивное S100 – это массив твердотельных тых технологий», их решения уже встроенные, системы реального
мерно с таким же количеством централь- национальной лаборатории, пользование операционной накопителей с собственной опти- востребованы и будут востребова- времени, финансовый анализ и
ных процессоров. производительность которого системе. На каждом узле будет мизирующей технологией ввода/ ны в таких областях, как проекти- биржевые операции.
составит 10 терафлопсов. 8 или 16 гигабайт памяти,
Последней версией является Mosix Virtual Его запуск намечен на середину поэтому на ядро придется по
OpenCL 1.4, находящаяся на этапе бета-те- 2012 года и использоваться 512 или 1024 мегабайт.
стирования. Она полностью поддерживает он будет при решении задач Другим нововведением
стандарт OpenCL 1.1, что позволяет запу-
химии и ядерной физики, а
также при разработке новых
стал переход к топологии
пятимерного тора с пропускной Хищнику перерезали Xeon заменят
скать даже существующие программы на
кластерах. Ограничением является не-
аккумуляторных батарей.
В отличие от предыдущих
поколений, каждый узел нового
способностью в 40 Гб/с. Для
отвода тепла от компонент
будет использоваться
ленточку на Atom
совместимость с другими реализациями BlueGene будет содержать жидкостная система
OpenCL (например, от Intel или NVIDIA), 17-ядерный процессор, охлаждения, подключенная В Суперкомпьютерной Лаборатории военно-воздуш- В январе появилась информация, что
отчасти компенсируемая собственной под- работающий на частоте 1.6 непосредственно к процессорам, ных сил США перерезали ленточку на церемонии за- компания Microsoft «попросила» Intel сделать
гигагерц. Столь необычное оперативной памяти и 16-ядерную версию процессора серии
держкой как центральных, так и графиче- число ядер объясняется просто межсетевым соединениям. пуска нового суперкомпьютера. Он называется Raptor Atom. Данную модификацию Microsoft
ских ускорителей. («хищник» – как и истребитель ВВС США, известный планирует использовать в собственных
также как F-22). Система Cray XE6 будет самой большой дата-центрах, обеспечивающих работу
таких сетевых сервисов, как Bing, HotMail,

Сделано в Китае Первый китайский суперкомпьютер с китайскими процессорами

в департаменте энергетики США.
Система будет укомплектована процессорами AMD
Magny Cours, у нее 87.7 терабайт памяти и 1.6 петабайта
Windows Live. В настоящий момент
процессоры Intel Atom применяются только
в мобильных устройствах, сочетая низкое
Первое место в спроектированных в Китае. 300 терафлопсов, основным выкупить. В дальнейшем энергопотребление с универсальностью x86-
ноябрьской редакции Top Подобной системой является преимуществом новой Китай планирует оснастить дискового пространства. Конечно, особенность систе- совместимой архитектуры. Согласно заявлению
500 не удовлетворило суперкомпьютер Dawning серии суперкомпьютеров суперкомпьютерами мы – это собственный интерконнект Cray – Gemini. Он представителя Microsoft, использование
суперкомпьютерные 6000, запуск которого называется высокая собственного производства обеспечивает обмен на скоростях до 16 Гб/с. У стоек подобных энергоэффективных процессоров
амбиции Китая, и в начале намечен на лето 2011 года. В энергоэффективность, все исследовательские существенно снизит затраты на содержание
марта было объявлено нем используются 8-ядерные сопоставимая с IBM центры страны. есть системы контроля температуры ECOphlex. Охлаж- ЦОД.
о планах дальнейшей процессоры семейства BlueGene /Q. Также стоит На этом фоне заявление дение жидкостное. На систему возлагают надежды по Уже в марте последовал ответ Intel, включившей
экспансии. Godson-3B, работающие на отметить, что китайские президента США Барака решению задач в области самых различных примене- в свои планы выпуск серверных процессоров
На этот раз целью частоте 1 гигагерц. процессоры основаны на Обамы о суперкомпьютерной на базе Atom. Согласно анонсу, они увидят свет
стала разработка И хотя пиковая архитектуре MIPS, права конкуренции с Китаем ний для задач ВВС США. в 2012 году и будут потреблять менее 10 ватт
суперкомпьютера на базе производительность всей на которую правительство выглядит более чем энергии (для сравнения, процессорам Intel Xeon
процессоров, полностью системы составит около Китая уже пыталось правдоподобно. требуется около 60-90 ватт).

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

Новости
6 Н о в о с т и
Максим Кривов
Maxim.krivov@supercomputers.ru

Город для облаков 100 терафлопсный K-100

Чтобы ускорить развитие суперкомпью-
терной индустрии, в Китае будет построен
инфраструктурный комплекс для дата-цен-
тров. Отличием от схожих площадок являет-
ся размер — под проект выделено 580 тысяч
квадратных метров, 60 тысяч из которых
будут непосредственно заняты ЦОДам.
Это сопоставимо с маленьким городом
или площадью, занимаемой Пентагоном.
Комплекс будет строиться совместно с IBM
и предназначаться в первую очередь для
IT-компаний, занимающихся облачными
вычислениями и нуждающихся в площадях
для своих серверов. Проект планируют за-
вершить к 2016 году, а численность обслужи-
вающего персонала по оценкам IBM соста-
вит от 60 до 80 тысяч человек.
В ИПМ РАН им. М.В. Келдыша
установили 100 терафлопсный кластер
Новым суперкомпьютером обзавёлся Институт прикладной
математики РАН. Кластер, символично названный K-100, по-
строен на гетерогенных узлах, оснащённых графическими
ускорителями. Каждый узел содержит два процессора Intel
Xeon X5670 (суммарно 12 ядер, работающих на частоте 2.93
гигагерца) и три ускорителя NVidia Tesla C2050.
Подобная архитектура позволила достичь пиковой произ-
водительности в 100 терафлопс, при этом результаты теста
Linpack ещё не известны. В любом случае, K-100 может
претендовать на 4-ое место в Top50 и примерно на 100-ое
в Top500. Стоимость нового суперкомпьютера составила 64
млн. рублей. Применять его планируют в первую очередь
для решения задач ИПМ РАН.

Группа компаний «Т-Платформы»:

успешный год на европейском рынке Текст К о м п а н и я « Т - П л а т ф о р м ы »

Открыв офис в Германии, компания с момента ее создания, активно Германо-Российского Центра

планирует значительный рост бизнеса и
укрепление позиций в Европе
Компания «Т-Платформы», весной
прошлого, 2010 года официально
объявила о выходе на европейский
рынок и открытии офиса в
Ганновере (Германия).
В планах компании, которая активно
сотрудничает с европейскими
инициативами PRACE, STRATOS, EOFS,
определяющими технологическое
развитие суперкомпьютерного
рынка в Евросоюзе, было создание
инфраструктуры технической
поддержки поставленных решений по
всей Европе, в т.ч. в Англию, Испанию,
Италию, Францию, Швейцарию. За
прошедший с момента открытия офиса
год в его работу было инвестировано 3
млн. евро.
В настоящее время офис в Ганновере
осуществляет сборку, настройку,
тестирование и контроль качества
программно-аппаратных комплексов
для заказчиков на собственной
производственной площадке, а
также техническую поддержку,
продвижение и продажу решений на
европейском рынке.
Деятельность tplatforms GmbH,
поддерживалась сотрудниками
посольства Российской Федерации
в Германии, а также региональными
организациями содействия
экономическому развитию города
Ганновер и земли Нижняя Саксония –
hannoverimpuls GmbH и Niedersachsen
Global GmbH во взаимодействии
с Германо-Российским Центром
Трансфера Технологий (DRZTe V).
Для подведения первых итогов
работы европейского офиса компания
«Т-Платформы» совместно с компанией
IMPULSE провела мероприятие для
представителей администрации
федеральной земли Нижняя Саксония. В
мероприятии приняли участие:
• Ульф-Биргер Франц, руководитель
отдела экономики правительства
региона Ганновер,
• Герхард Гицлер, руководитель
NGlobal GmbH - организации
содействия экономическому
развитию федеральной земли
Нижняя Саксония,
• Ралф Майер, руководитель
hannoverimpuls GmbH - организации
содействия экономическому
развитию города и региона Ганновер,
• Юрген Крайенберг, президент
Трансфера Технологий,
• Клаус-Петер Рюкеманн, ведущий
специалист регионального
вычислительного центра
федеральной земли Нижняя
Саксония (RRZN).
На встрече были озвучены результаты
деятельности представительства за год,
представлена политика продвижения
продуктов, решений и услуг компании,
рассказано о планах и перспективах.
«Открытие офиса tplatforms GmbH
в Ганновере позволило успешно
реализовать ряд проектов, в частности,
на поставку прототипа TB2 в
суперкомпьютерный центр LRZ (Leibniz-
Rechenzentrum) в Мюнхене.
Для дальнейшего укрепления
позиций компании на европейском
рынке и развития офиса в 2011 году
планируются инвестиции в размере
3 млн. евро. Особое внимание
специалисты компании будут
уделять созданию Ганноверского
суперкомпьютерного центра, в
реализацию которого планируется
вложить 500 тыс. евро», — сказал
Всеволод Опанасенко, Генеральный
директор Группы компаний
«Т-Платформы».

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

8 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  9

Когда я работал менеджером по технологиям высокопроизводитель-

ных вычислений, то привык понимать под суперкомпьютерами две
вещи. Первая – большие машины с разделяемой памятью, облада-
ющие десятками и сотнями процессоров. Такие машины делали
или делают, к примеру, Cray, SGI, Bull и другие. Вторая – кластеры,
составленные из обычных, как правило, двухпроцессорных блейд-
серверов, соединенных быстрым интерконнектом. Например, Ин-
финибендом или 10-гигабитной сетью

Еще одной чертой, отличающей ке производится компьютерами, в

суперкомпьютеры для высокопро-
изводительных вычислений от
обычных дата-центров, является
использование приложений MPI
как средства обмена сообщениями
между нодами. Хотя MPI и не явля-
ется составной частью суперком-
пьютера, но ассоциация, безуслов-
но, имеет под собой твердую почву.
Перейдя в финансовый сегмент, я,
если честно, слово «суперкомпью-
тер» больше не употребляю. Как-то
Европе – как минимум половина.
С точки зрения компьютерных
технологий, здесь представлены
две составляющие: непосредствен-
но торговля (HFT или low latency
trading) и оценка рисков (Risk
Analitics). Оценка рисков распро-
странена гораздо шире, например,
она активно используется и стра-
ховыми компаниями, и банками
помимо трейдинга.
С точки зрения используемых ком-

Супер-
Текст Е в г е н и й Х а р ч е н к о
Иллюстрация В л а д и м и р К а м а е в
немодно оно в этих кругах. Речь
идет, как правило, либо о специ-
ализированной конфигурации из
нескольких нод, либо о дата-цен-
тре, в последнее время – и о grid
пьютерных конфигураций в HFT
есть несколько типов игроков. Это
биржи (как локальные, так и MFT
или multilateral trading facilities),
инвестиционные банки, торгу-

компьютеры
и облачных вычислениях. Те же
самые гигафлопсы могут, конечно,
как-то описать вычислительную
мощь используемой конфигура-
ции, но есть и другие показатели,
критически важные для оценки ее
ющие сами и предоставляющие
быстрый доступ своим клиентам к
различным биржевым площадкам,
а также их клиенты, например,
хеджевые фонды. Провайдеров
консолидированных биржевых и

в биржевой торговле эффективности.

Давайте рассмотрим компьютер-
ный трейдинг. В США уже около
70% всех сделок на биржевом рын-
новостных данных тоже не оста-
вим без внимания.
Типовой блок конфигурации
биржи состоит из 3-5 компьютеров,

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

 10 Су п е р К о м п ь ю т е р ы
соединенных последовательно.
Быстрый интерконнект очень
важен для обеспечения мгновен-
ного отклика, и скорость отклика
является одним из важнейших кон-
курентных преимуществ хороших
бирж. Тем не менее совсем недавно
большинство бирж использова-
ло обычную 1-гигабитную сеть
(Ethernet), но буквально в послед-
нее время произошла массовая ми-
грация на 10 гигабит. Также широко
используется технология kernel
bypass, позволяющая при наличии
специализированных сетевых карт
исключить сетевой стек операци-
онной системы, копируя данные
из буфера сетевой карты непо-
средственно в память, доступную
приложению. Удобство данной тех-
нологии помимо более низкой ла-
тентности и в том, что вся передача
данных производится в стандарте
Ethernet, то есть можно ускорить
только одну сторону, не меняя
среду для клиентов. Есть биржи,
Алгоритмический
трейдинг и графические ядра
Текст А р с е н Я к о в л е в
Алгоритмическая
торговля представляет
собой современный,
динамично разви-
вающийся способ
управления спекуля-
тивным капиталом на
рынке ценных бумаг
www.supercomputers.ru
использующие Инфинибенд для
обмена данными внутри последо-
вательной цепочки серверов. Что-
бы дать читателю представление о
латентности передачи небольшого
пакета по сети, приведу лучшие
показатели, достижимые на опти-
мальных конфигурациях с исполь-
зованием лучших сетевых адапте-
ров. На 1 гигабите это около 12 мкс
в одну сторону, на 10 гигабитах – 8
мкс, 10 гигабит с kernel bypass – <2
мкс и Инфинибенд – 1-2 мкс. Если
учесть, что хорошие биржи имеют
суммарную латентность около 200
мксек, становится ясно, что сете-
вая составляющая может вносить
серьезный вклад. Естественно, одна
такая цепочка двухпроцессорных
серверов не переварит тот поток
запросов, который идет на биржу, и
поэтому с некоторой долей услов-
ности можно сказать, что таких
цепочек несколько. Условность
состоит в том, что каждое первое
звено этой цепи (gateway), отвеча-
Иллюстрация В л а д и м и р К а м а е в
Основное отличие алгоритмиче-
ского подхода от «ручной», «инту-
итивной» торговли заключается в
полной автоматизации соверше-
ния сделок, а значит, исключении
человеческого фактора в принятии
торговых решений.
Алгоритмическая торговля проч-
но обосновалась на всех мировых
биржевых площадках, и сегодня
уже ни у кого не возникает вопроса
– применять ли алгоритмы в трей-
ющее за распределение запросов,
должно иметь соединение с каж-
дой из машин второго звена. Далее
идут matching engine и прочие
компоненты, которые работают
относительно независимо, каждый
отвечая за свой набор финансо-
вых инструментов. Для известных
европейских бирж, с которыми я
работаю, таких блоков требуется
порядка десятка. Добавьте к этому
еще столько же для отказоустойчи-
вости (что, кстати, имеет не каждая
биржа даже из первой пятерки) – и
получите примерную конфигура-
цию для биржи. Во всех известных
мне случаях используемые ком-
пьютеры – это двухпроцессорные
блейд-серверы с максимальной
частотой.
В случае инвестиционного банка
длина стандартной цепочки в
среднем покороче. Конфигурация
обычно сводится к тому же gateway-
серверу и далее к набору практи-
чески независимых компьютеров,
динге или торговать по старинке,
интуитивно.
Вопрос стоит иначе: какие алгорит-
мы торговать.
Применение простых и незатей-
ливых алгоритмов, которые еще
совсем недавно хорошо работали,
сегодня не оправдывает себя.
Каждый алгоритм эксплуатирует
какую-либо конкретную неэффек-
тивность рынка. Поиск таких неэф-
фективностей и их формализация
Комментарии
экспертов
EGAR Technology
Современные финансовые
компании работают со всеми из-
вестными классами финансовых
активов фондового, валютного и
товарного рынков. Наибольшей
рискованностью операций и наи-
большей доходностью отличается
срочный рынок. Для принятия
решения по сделке трейдеру
приходится делать оценку риск-
факторов в реальном времени:
и по отдельным видам активов,
и по интегральным показате-
лям рынка. Оценки делаются на
основе упомянутых расчетов для
отдельных активов. Например,
для работы с опционами рассчи-
тываются показатели подразуме-
ваемой волатильности – «греки».
Для оценки инструментов
американского рынка исполь-
в алгоритм и составляет основное
содержание алгоритмического
подхода к торговле. Такие неэффек-
тивности – весьма ограниченный
ресурс, и их поиск напоминает
поиск бриллианта в огромной
массе пустой породы. Но если по-
иск увенчался успехом – это потом
долгое время позволяет зарабаты-
вать на хлеб алгоритмическому
трейдеру. Главная беда с простыми
алгоритмами – их простота, а сле-
довательно, доступность большому
числу страждущих, и если вчера
эту «булку хлеба» кушали единицы,
то сегодня – тысячи, и поскольку
рынки работают как система со-
общающихся сосудов, в результате
каждому достается уже по крошеч-
ке. Так в конечном итоге заканчива-
ет свою жизнь любой, даже самый
успешный алгоритм – это только
Су п е р К о м п ь ю т е р ы  11
зуется биноминальная модель
определения цены опциона
(Кокса-Росса-Рубинштейна). Все
это сложные и ресурсоемкие рас-
четы. При этом интегральные по-
казатели должны рассчитываться
практически одновременно с
первичными, рисуя, например,
картину всего американского
рынка деривативов в реальном
времени. Без параллельных
вычислений нужная скорость
обработки данных при разумных
затратах практически недости-
жима.
Технологии параллельных
вычислений дают трейдерам
и аналитикам необходимую
скорость обработки данных.
Время на наиболее ресурсоемкие
задачи – анализ волатильности
деривативных рынков, расчет
корреляционных показателей и
др. – удается сократить до секунд.
вопрос времени.
Для успешной торговли сегодня
необходимы более сложные алго-
ритмы, имеющие под собой со-
лидную математическую базу, – так
обеспечивается «отход от толпы», и
поскольку здесь конкуренция зна-
чительно ниже, то и время жизни
алгоритмов значительно больше, и
«кусок булки» толще.
Для тестирования и оптимизации
торговых стратегий, построенных
на таких алгоритмах, компания
Церих, например, использует плат-
форму WealthLab .NET, MS Visual
Studio, а также технологию массив-
но-параллельных расчетов CUDA.
Использование технологии CUDA в
финансах и трейдинге – это не дань
моде, а требование времени. Дело
в том, что использование этой тех-
нологии открывает пути решения
Для того чтобы решать многие
сложные вычислительные задачи
на обычных кластерах, принци-
пиально не существует никаких
радикальных ограничений. Во-
прос уходит скорее в плоскость
экономики. Большие процес-
сорные мощности на обычных
серверах требуют аренды другого
пространства в дата-центрах и
поднимают проблемы энерго-
потребления и более сложной
организации поддержки. Цена
вопроса возрастает, при этом
необходимость определенного
минимального уровня вложений
для обеспечения отказоустойчи-
вости системы остается. Благо-
даря архитектуре параллельных
вычислений и использованию
графических процессоров ап-
паратные решения для многих
задач становятся более компакт-
ными и экономичными.
очень многих ранее недоступных
задач, и в конечном итоге опреде-
ляет конкурентное преимущество.
Одна из допускающих эффектив-
ное распараллеливание задач алго-
ритмической торговли, – это расчет
технических индикаторов на длин-
ных рядах данных в реальном вре-
мени. Стратегии, исполняющиеся
на малых таймфреймах (вплоть до
тиковых) и использующие в своей
логике текущие значения индика-
торов, требуют ресурсоемких вы-
числений. Приемлемой скорости
можно достичь с помощью CUDA.
Например, распараллеливание на
CUDA расчета такой популярной
характеристики временных рядов,
как среднеквадратическое отклоне-
ние, позволяет достичь увеличения
скорости вычисления в ~100 раз. В
отличие от среднеквадратического
«Суперкомпьютеры» № 1 (5) весна 2011
12 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  13

обслуживающих каждый свой на- Терафлопсы не так актуальны, как держек на передачу данных по сети.
бор клиентов и/или бирж. Нередко минимальное время реакции на Провайдеры консолидированных
такие компоненты, как конвертация запрос клиента или новости рынка. биржевых и новостных данных
протокола биржи, стратегии при- С другой стороны, система должна стоят особняком. У них помимо
нятия решений и соединение с держать заданный максимальный латентности очень важна про-
биржами «крутятся» на одной и той рейт, т. е. количество сообщений в пускная способность, поэтому они,
же машине. Но могут быть и раз- секунду. Именно такие моменты оптимизируя свои конфигурации,
делены. Монстры из первой десятки особенно важны, так как пиковые вынуждены биться и за то и за дру-
имеют порядка сотни таких машин рейты имеют место тогда, когда гое. Распространяя данные по всему
в каждом крупном финансовом происходят быстрые изменения миру, они строят мощные системы
В США уже около 70% всех сделок на биржевом рынке производится
компьютерами, в Европе – как минимум половина. С точки зрения
компьютерных технологий, здесь представлены две составляющие:
непосредственно торговля (HFT или low latency trading) и оценка рисков
(Risk Analytics)
центре (Лондон, Нью-Йорк, Токио и цен финансовых инструментов, на консолидации / трансформации
др.). Здесь конкуренция еще жест- которых и делаются максимальные форматов данных / кэширования
че, чем между биржами, и банки прибыли (или терпятся убытки). в узлах. Как правило, используются
идут на крайние меры – лишь бы Требования к сетям, естественно, серверы с максимальной частотой
обогнать конкурентов. Первый самые жесткие. Стандартом опять и количеством ядер. Масштаби-
получает миллиард долларов в год. же является двухпроцессорный руемость задач очень неплохая,
Информация, впрочем, из приват- блейд-сервер с максимальной часто- поэтому scale out работает замеча-
ных бесед. Здесь о «суперкомпьюте- той. Есть, впрочем, и конфигурации тельно. И здесь короткие цепочки,
ре» говорить вообще сложно, даже из 4-8 процессорных машин. Они продублированные для пропуск-
несмотря на то, что в этой среде используются для размещения ком- ной способности до десятков раз.
модифицируют ядра операционных понентов на одной машине вместо Каждая отдельная цепочка «тянет»
систем и разгоняют процессоры. двух или трех для сокращения из- миллионы сообщений в секунду. У

отклонения, вычисление параме-
тра Хёрста временного ряда – более
амбициозная задача. Этот параметр
характеризует степень перси-
стентности (трендовости) рынка,
позволяя получить основания для
переключения между трендоследя-
щими и контртрендовыми стра-
тегиями. Расчет параметра Хёрста
также производится на графиче-
ских ядрах параллельно.
Для того чтобы собрать доказатель-
ную базу прибыльности торговой
стратегии, недостаточно исполнить
ее на одном историческом ряде
данных.
Корректное решение состоит в
тестировании стратегии на мно-
жестве псевдорядов, порожденных
подходящей (и оцененной по
реальным данным) модели (ме-
тод Монте-Карло). Церих сделал
ставку на модели класса ARFIMA,
алгоритмы оценивания и гене-
рации которой исполняются на
графических CUDA-ядрах. Целесо-
образность использования CUDA в
тестировании стратегий объясня-
ется тем, что вполне ясное пред-
ставление о распределении доход-
ностей стратегии можно получить,
исполняя стратегию на тысячах, а
то и сотнях тысяч сгенерирован-
ных рядов.
По этой причине раньше выяс-
нение характеристик распределе-
ния доходностей стратегии было
недоступно: обработка огромных
объемов данных, участвующих в
вычислениях, была непосильной
задачей даже для многоядерных
центральных процессоров – это
задача для суперкомпьютеров. По-
явление технологии CUDA сделало
эту задачу разрешимой – теперь
трейдер, владеющий программи-
рованием графических процессо-
ров и вполне бюджетным CUDA-
девайсом, имеет возможность
устроить своей стратегии хорошую
(и суровую) проверку на результат,
прежде чем пустить ее «в бой».
CUDA не только позволяет тестиро-
вать существующие стратегии, но и
фактически вносит вклад в созда-
ние новых: задачи оптимизации
параметров стратегий требуют не
меньше вычислительных мощно-
стей, чем тестирование стратегий.
Современные алгоритмы роботи-
зированной торговли, как правило,
зависят от нескольких параметров,
каждый из которых может прини-
мать значения из определенного
диапазона. Допустимые множества
для некоторых параметров могут
включать тысячи элементов. Про-
цедура оптимизации стратегии
состоит в исполнении стратегии
на множестве всех допустимых
комбинаций параметров и выявле-
нии наилучшего (с точки зрения
доходности, риска и т. п.) сочета-
ния параметров. Без оптимизации
невозможно представить работу
алгоритмического трейдера, одна-
ко если число параметров велико,
а диапазоны допустимых значений
параметров широки, то время
оптимизации может исчисляться
в днях, неделях и даже месяцах
счета. И здесь на помощь приходит
CUDA. Сегодня можно не просто
оптимизировать параметры стра-
тегий однократно, но и делать это
динамически, в реальном времени,
адаптируясь под изменяющееся
поведение рынка.
Суммируя все вышесказанное,
можно констатировать, что ис-
пользование технологий массивно-
параллельных расчетов CUDA в
алгоритмической торговле откры-
вает новую страницу в обработке
рыночных данных. Появляется
возможность эксплуатировать все
более сложные алгоритмы, эффек-
тивность которых проверяется
на тысячах псевдорядов котиро-
вок, поставляемых процедурами
генерации, написанными на CUDA.
Открывается доступ к реализации
таких алгоритмов на высокочастот-
ных рядах, а значит, к потенциаль-
ному увеличению доходностей
стратегий, разработанных для
таких рядов.
Уже сегодня алгоритмическую
торговлю невозможно представить
себе без ресурсоемких вычисле-
ний, требующих значительного
времени исполнения.
Тенденция к обработке все боль-
ших массивов данных в трейдинге
только нарастает, а значит, техноло-
гия CUDA будет иметь все больше
сторонников среди алгоритмиче-
ских трейдеров, а процесс торговли
– все больше зависеть от массивно-
параллельных расчетов.

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

14 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  15

таких компаний 1 и 10 гигабит ча-
сто смешаны, причем где возможно
1 гигабиту отдается предпочтение в
целях экономии энергии.
А вот в Risk Analitics вариантов
конфигураций масса. Огромное ко-
личество пользователей обходится
1-10 серверами. Но у ряда органи-
заций объемы вычислений вполне
соответствуют статусу суперком-
пьютера.
В моей практике были случаи
тестирования на сотнях и тысячах
ядер. Как правило, такое тести-
рование проводилось по запро-
су потенциальных покупателей
софта, желающих убедиться в его
масштабируемости на конкретном
типе задач. В этом сегменте много-
процессорные машины выглядят
очень достойно. Используется
и grid, и cloud computing. В Risk
Analitics можно выделить два вида
расчетов – nightly и intra-day.
Первый тип расчетов может про-
водиться и в виртуальной среде, и
на облаках. Вопрос только в том,
чтобы суммарная вычислительная
мощь, помноженная на доступное
время, была достаточна для выпол-
нения задачи. Второй тип гораздо
более критичен к производитель-
ности.
От производительности intra-day
расчетов зависит эффективность
финансового трейдинга, поэтому
такие задачи обычно решаются на
специально выделенных для них
машинах.
Уровень масштабируемости может
быть достаточно высок, так как
количество независимо обсчитыва-
емых стратегий насчитывает тыся-
чи. Стандартная сеть в Risk Analitics,
как правило, – 1 гигабит.
Что касается трендов, имеющих
место в данном сегменте, то самый
заметный – это массовый переход
на 10 гигабит. Это происходит и в
трейдинге, и в дата-центре. 10 гига-
бит дает не только высокую про-
пускную способность, но и низкую
Предвидеть самое
интересное
латентность и позволяет консоли-
дировать сеть и SAN. Уже появился
интерес и к 40 гигабитам. При вы-
боре типа серверов в Risk Analitics
подход тот же, что и в высокопро-
изводительных вычислениях, –
учитывается производительность /
цена / потребление энергии.
Поэтому лучший выбор – это
больше ядер с умеренной частотой.
В трейдинге частота только макси- Редакционное интервью
мальная, количество ядер не так
критично, так как делается scale out.
Впрочем, от лишних ядер там тоже
не отказываются, так как энергия и
кондиционирование в Лондонском
Сити, например, не просто дороги, Выпускающий редактор нашего журнала
но еще и труднодоступны.
Как известно, объемы торгов экспо- Игорь Лёвшин побеседовал с организатором
ненциально растут, соответственно
растут и потребности в вычисли- международных конференций ISC доктором
тельных мощностях.
Спасибо закону Мура, иначе бы Хансом Вернером Мейером
компьютерная торговля, наверное,
испытывала куда более серьезные
проблемы.

Игорь Лёвшин: Расскажите, и логистикой нашей расши-

пожалуйста, историю конфе- ряющейся выставки. Сейчас
ренции ISC – о трудных годах, ISC в Гамбурге, у нас около 150
об успехе. Что побудило Вас экспонентов со всего мира,
заняться этим трудным и инте- включая две компании и
ресным делом? два университета из России
Ханс Мейер: Историю ISC («Т-Платформы», «РСК-СКИФ»,
можно проследить с 1987 года, МГУ, ЮУрГУ – прим. ред.), –
когда 81 докладчик из Германии более 2000 участников. Я бы
приняли участие в Семинаре сказал, что годы 2006-2008-е

Новости
по суперкомпьютерам в Уни- в Дрездене и 2009-2010-е в
верситете Мангейма. Было 12 Гамбурге были самыми захва-
презентаций приглашенных тывающими. За эти годы мы
участников. Сам я в те годы росли быстро и стали самой
увлекался Cray-1/Cray-2 – это большой конференцией по
было и хобби, и профессио- HPC, если не считать Север-
нальный интерес. Эта тема ную Америку.
Высокая производительность в Нижнем меня грела, ученые из немец-
ких научных центров этим
И. Л.: Как сложилась Ваша
научная карьера? Насколько
тоже живо интересовались. трудно эффективно сочетать
ННГУ (Нижегородский государственный университет) в суперкомпьютерном сообществе. Исполнители про- Самые трудные годы были, по- научную и административную
им. Н. И. Лобачевского объявил о том, что вычисли- екта пока формально не определены. жалуй, с 2000-го по 2005-й. Тогда деятельность?
тельный центр института установит кластер гибрид- Университет отнюдь не собирается ограничиться эти- мы решили переместиться Х. М.: Спасибо за комплимент.
ной архитектуры (на базе NVIDIA Tesla) производи- ми мощностями. В планах – наращивание мощности из Мангейма в Гейдельберг, а С 1973 по 1999 год я работал
тельностью 100 терафлопсов. Об этом объявил Виктор до 500 терафлопсов. Выбор гибридной архитектуры потом из Гейдельберга в Дрез- директором ВЦ и профессо-
Павлович Гергель, декан факультета вычислительной определялся спецификой задач и соображениями ден, чтобы решить проблемы ром computer science. С 2000-го
математики и кибернетики ННГУ, хорошо известный энергоэффективности. с техническим обеспечением по сегодняшний день я занят

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

16 Су п е р К о м п ь ю т е р ы
только в Prometeus GmbH – ком-
пании, которая устраивает ISC. В
Мангеймском университете у меня
была гениальная секретарша – она
умела так устроить, что я ухитрял-
ся заниматься всеми тремя обязан-
ностями: двумя работами в универ-
ситете и управлением ISC. Но, надо
признаться, тогда ISC была намно-
го меньше, чем после 2000 года, и
совмещать было проще.
И. Л.: Что Вы думаете по поводу
облачных вычислений? Будут ли
они обособляться от суперкомпью-
тинга в качестве отдельной области
бизнеса и технологии, или наобо-
рот – сольются с ней в будущем?
Х. М.: Принципы облачных вы-
числений разрабатывали для того,
чтобы предлагать IT-услуги по
требованию. Во многих странах
суперкомпьютинг быстро дрейфу-
ет в сторону облачной среды вы-
числений, все больше приложений
– больших и малых – становятся
доступными для пользователей су-
перкомпьютерных центров. Потен-
циал суперкомпьютинга как части
облачной инфраструктуры продол-
жает расти: таким образом, легче
оптимизировать загрузку ресурсов,
время простоя уменьшается.
И. Л.: Как сочетать интересы бизне-
са и научного мира?
Х. М.: Лучший способ привлечь
бизнес – продемонстрировать, что
на суперкомпьютерах работают
реальные, рабочие приложения.
Сейчас очень многие производи-
тели софта партируют свой код на
параллельные системы. Это и сейс-
мика, и автомобильная промыш-
ленность, и нефтегазовая отрасль, и
многие другие.
Преимущество суперкомпьюте-
ров – в их потрясающем быстро-
действии. Моделирование – это
третья опора, на который держится
наука, – такая же важная, как опыт
и теория.
И. Л.: Нужно ли создавать особые
сообщества, конференции и инсти-
туции для гибридных архитектур?
Или они органично входят в мир
HPC?
www.supercomputers.ru
Х. М.: Гибридные вычисления – это
уже сложившаяся область внутри
HPC, даже при том, что скорости
там сейчас действительно огром-
ны. Эти архитектуры еще пред-
стоит исследовать дальше, если
мы стремимся к экзамасштабам.
Поэтому мы их включаем в нашу
программу ISC’11. Но очевидно,
что и специальные конференции
по гибридным вычислениям будут
появляться по всему миру.
И. Л.: Что Вы думаете о возрожде-
нии исследований в области искус-
ственного интеллекта (ИИ) в связи
с планами по экзакомпьютингу?
Х. М.: ИИ получит новый импульс
для развития, и ученым, занятым
в этой области, потребуются очень
большие суперкомпьютеры. Со-
вершенно ясно, что ИИ сильно
выиграет от исследований мозга
живых существ и человека среди
них. 20 июня одним из ключевых
выступлений будет как раз высту-
пление Генри Маркрама из швей-
царского EPFL (Политехническая
Федеральная Школа в Лозанне)
– «Моделирование мозга. Следу-
ющий этап». Там он расскажет об
этом подробней.
И. Л.: Случались ли технологиче-
ские или бизнес-новшества, из-за
которых приходилось менять про-
грамму? Какие будущие проекты
Вам кажутся самыми интересны-
ми?
Х. М.: Пока что нам удавалось
предвидеть самое интересное и
представить его на наших конфе-
ренциях, иногда изменяя намечен-
ную программу. Те же облачные
вычисления – один из примеров.
В этом преимущество ISC – мы
способны не только сфокусиро-
ваться на существующих (и иногда
популярных) суперкомпьютерных
применениях, но и познакомить
участников с новейшими техноло-
гиями и технологиями будущего –
и в теории, и в приложениях.
И. Л.: Какие области применения
HPC могут возникнуть в будущем?
Что перенесут на персоналки, и что
сместится в область HPC и войдет в
программу ISC?
Х. М.: Не думаю, что в недалеком
будущем появятся такие уж со-
вершенно новые применения. Мы
ждем, что уже существующие при-
ложения сильно выиграют от уве-
личивающихся до экза-масштабов
систем. Статистика Top500 говорит
нам о том, что машина сегодняш-
ней нижней строчки, скорее всего,
станет доступна персоналке лет
через 8-10.
И. Л.: Через сколько лет мир уви-
дит экзакомпьютер?
Х. М.: Знаменитый Cray-2 преодо-
лел барьер в гигафлопс на Linpack
в 1968 году. В 1997-м терафлопс
был преодолен системой ASCI Red.
Петафлопс был преодолен в 2008-м
IBM Roadrunner. Оба промежутка
времени, за которые были преодо-
лены 3 порядка, составляли по 11
лет.
Мой бывший аспирант в Мангейм-
ском университете, Эрих Штро-
майер, начал проект Linpack в 1993
году. Сейчас проекту уже 18 лет, два
издания в год. Мы измерили около
36 систем, которые были первыми
номерами в свое время. Мы экстра-
полировали по логарифмической
шкале и получили, что экзабарьер
первая машина преодолеет в 2019
году. То есть систему линейных
уравнений с плотной матрицей
можно будет решать со скоростью
18
10 операций с плавающей точкой
в секунду – через 11 лет, с тех пор,
как была запущена первая петаф-
лопсная система.
И. Л.: В какие еще страны кроме
основных европейских и США
могут распространиться HPC-
конференции? Какой уровень
развития культуры HPC нужен для
того, чтобы имело смысл устраи-
вать конференции в стране?
Х. М.: Главное для того, чтобы
такие конференции в стране стали
реальностью, это:
• большое и активное суперком-
пьютерное сообщество внутри
страны;
• признанные миром достижения
индустрии страны в софте и
Су п е р К о м п ь ю т е р ы
железе;
• глубокие исследовательские рабо-
ты по параллелизму;
• государственная поддержка иссле-
довательских работ и разработчи-
ков приложений.
И. Л.: Какой вклад смогли бы вне-
сти российские инженеры, ученые
или бизнесмены с наибольшей
вероятностью? Что было бы более
«естественно» для русских? Созда-
ние передовых ВЦ? ПО? Новые
математические модели?
Х. М.: Судя по тому, что мы знаем
о российских ученых, которые за-
нимаются численными методами,
у России есть прекрасные шансы
внести вклад в глубокие математи-
ческие исследования в прикладной
математике и в разработку буду-
щих приложений для суперком-
пьютеров.
И. Л.: Что Вы думаете о суперком-
пьютерном образовании? Как ISC
помогает университетам и другим
организациям помогать обучать
людей? Университеты участвуют
все активней?
Х. М.: ISC очень сильно вовлечена
в обучение и образование ученых
в университетах и в промышлен-
ности. Для любого хайтек-сообще-
ства это очень важно. Поэтому мы
и проводим помимо конференций
еще и семинары – чтобы ученые и
инженеры могли побольше узнать
о разных областях суперкомпью-
тинга. И последнее, самое важное:
ISC больше ориентирована на при-
ложения, потому что мы понима-
ем: путь к технологиям будущего
определяется приложениями.
 17
Highlights of the ISC'11 Conference
June, 2011
Publication of the 37th TOP500 List
Scientific Sessions
All-day session: HPC in Asia
GPU – Debate: Pros and Cons
Conference Sessions:
• Are ISVs ready for Petaflops?
• Where do heterogeneous Multicore and GPU
systems fit best?
• Transpeta Flop/s Initiatives
• Visualization (The Virtual Laboratory)
• Surviving the (HPC) Data Tsunami
• How to Teach Parallel Programming for Millions of
Cores?
• Storage & Memory Access – The Real Challenge for
Future HPC Systems
• Architecture & Networking (Fault-Tolerant
Interconnections)
• HPC Applications – State of the Art in Science &
Industry
• Cloud Computing & HPC (Virtualization)
• Young & Bright HPC Researchers
• Hot Seat I & II
• Panels:
• Expectations for Exascale Computing
• Energy Efficiency or Net Zero Carbon by 2020?
• Exhibition:
• Over the last few years, the ISC Exhibition has grown
steadily and it has strengthened its position as a core
platform for comparing services of different HPC
suppliers.
• This year, ISC’11 will be hosting over 150 industrial
and research exhibitors from around the world from
June 20 – 22. You will have the chance to connect
with over 2,000 HPC industry leaders, IT managers
and high-end users from around the world.
• Organizations from Brazil, South Africa, China, Japan,
Russia, the U.S. and just about all European countries
will be participating in this year’s exhibition.
«Суперкомпьютеры» № 1 (5) весна 2011
18 Су п е р К о м п ь ю т е р ы
Транспьютеры –
британский феномен
восьмидесятых
В период повального увлечения
пета-, экза- и прочими флопса-
ми вкупе с GPGPU стоит на-
помнить о существовании аль-
тернативных подходов
В начале 80-х небольшая группа
умников, или, как их называют
в Великобритании, whizz-kids,
решила нарушить все законы
проектирования процессоров. В
их представлении традиционные
процессоры излишне привязаны к
выполнению статичных арифме-
тических операций – в таком виде
они лучше подходят для калькуля-
торов, откуда, собственно, и пошел
родоначальник всех микропроцес-
соров Intel 4004, а не для параллель-
ной обработки больших объемов
данных. Им хотелось усовершен-
ствовать схему фон Неймана и
заменить программы, как последо-
вательности предписанных для вы-
полнения операций, некоторыми
образами, написанными на языке
высокого уровня и превращаемы-
ми в набор, состоящий из нулей
и единиц, с которым компьютер
взаимодействует. Но эти «дети-вол-
www.supercomputers.ru
Текст Л е о н и д Ч е р н я к
шебники» оказались недостаточно
революционными – в конечном
итоге они разработали процессор
со сверхкороткой системой команд
– супер-RISC – и назвали его транс-
пьютером.
На некоторое время транспьютеры
стали элементами для построе-
ния многопроцессорных систем
на одном кристалле. Также были
попытки использовать их в каче-
стве ускорителей ПК. Чаще всего
название «транспьютер» связывают
со словами transistor и computer, но
первая часть названия – скорее от
слова transmit (передача), то есть
отказ от статических вычислений
в пользу динамических. Пред-
полагалось, что можно создавать
мощные параллельные системы,
используя в качестве строительных
блоков транспьютеры, связанные
внутренними последовательны-
ми каналами связи. Основной
язык программирования – Occam,
хотя были попытки реализации
языков C, FORTRAN, Ada и Pascal.
Операционными системами были
Unix-подобные Minix и Idris. Как
вычислитель этот тип приборов
остался в прошлом, но его следы
можно обнаружить в некоторых
встроенных системах.
Транспьютеры не появились бы на
свет, если бы не удивительная це-
почка событий. Начало ей было по-
ложено 1 мая 1960 года, когда совет-
ской ракетой ПВО под нынешним
Екатеринбургом сбили самолет-раз-
ведчик U-2. После этого инцидента
Сэр Чарльз Энтони Ричард Хоар, а
тогда просто Тони Хоар, потерял
возможность продолжить свои ис-
следования по машинному пере-
воду, которые он проводил в МГУ
им. М. В. Ломоносова под руковод-
ством академика Андрея Колмо-
горова. Власти решили избавиться
от лишних иностранцев, тем более
от таких как Хоар, который непло-
хо знал русский язык и прошел
службу в ВМС Великобритании.
На самом деле ему крупно повез-
ло – возвратившись на родину, он
изменил лингвистике и занялся
компьютерной наукой, в которой
немало преуспел. С годами Хоар
превратился в крупного ученого,
стал лауреатом Тьюринговской
премии, членом Королевской
академии и получил титул лорда.
Большую часть своих исследо-
ваний Хоар посвятил созданию
концепции взаимодействующих
последовательных процессов CSP,
позволяющей разработать средства
для описания различных моделей,
в том числе процессов, протекаю-
щих параллельно, обменивающих-
ся данными по типу «рандеву», то
есть между парой и только парой
процессов. Использование общей
для нескольких параллельных про-
цессов памяти в CSP не допуска-
ется. Книга «Взаимодействующие
последовательные процессы» была
опубликована на русском языке в
1989 году издательством «Мир».
Созданная Хоаром концепция CSP
позволила группе ученых из Ок-
сфорда под руководством Дэвида
Мэя разработать процедурный
язык параллельного программи-
рования высокого уровня Occam,
названный так в честь английского
Тони Хоар теряет
возможность
продолжить свои
исследования
по машинному
переводу в МГУ
1 мая 1960 г. 1974 г.
Ян Баррон становится
основателем компании
Inmos, где основным
инвестором выступает
правительство в лице
агентства National
Enterprise Board (NCE)
Су п е р К о м п ь ю т е р ы  19
Чаще всего название «транспьютер» связывают
со словами transistor и computer, но скорее первая
часть названия – от слова transmit (передача), то
есть отказ от статических вычислений в пользу
динамических
философа XIV века Уильма Оккам- есть транспьютера как кремниевой
ского и его знаменитой сентенции, реализации языка.
известной как бритва Оккама: «Не И снова «если». Теоретические на-
следует множить сущее без необхо-
димости». Occam является типич-
работки двух университетских про-
фессоров не вышли бы за стены ла-
ным языком высокого уровня,
синтаксически похожим на Pascal
бораторий, если бы политический
курс лейбористского правительства
или C, но его набор операторов
и синтаксис доведены до мини-
Великобритании Джеймса Каллага-
на и его предшественников. Придя
мума – ничего лишнего. До этого
Мэй разрабатывал теорию систем
к власти, лейбористы обеспокои-
лись потерей Британией ее роли и
управления роботами, собираемых
из одноплатных компьютеров в то,
места в компьютерной индустрии.
Ранее, в 50-60-е годы, она почти на
что мы сегодня называем класте- равных конкурировала с США, но
рами, что привело его к необходи- потом там произошло то же самое,
мости разрабатывать технологии что и в большинстве других стран:
параллельного программирования. к тому времени и Япония, и Фран-
Вполне логично, что судьба свела ция, и Германия стали нишевыми
его с Тони Хоаром, поскольку они производителями. Следствием этой
оба варились в общей британской политики стало то, что в 1978 году к
университетской среде. Совместно Хоару и Мэю подключился третий
Хоар и Мэй породили идею укори- – Ян Баррон, инженер-разработчик
теля вычислений, реализующего полупроводниковых приборов.
Occam своей системой команд, то Он был активным участником
Книга Тони Хоара «Взаимодействующие
последовательные процессы» опубликована
Ян Баррон на русском языке издательством «Мир».
подключается к работе С конца 80-х до середины 90-х
над ускорителем транспьютеры рассматривались как один из
вычислений Тони путей развития высокопроизводительных
Хоара и Дэвида Мэя вычислений (HPC)
1978 г. 1982 г. 1989 г.
1982 год в Колорадо
произведен первый
экспериментальный
транспьютер Simple4
«Суперкомпьютеры» № 1 (5) весна 2011
20 Су п е р К о м п ь ю т е р ы
стимулированных правительством
процессов. К этому моменту он
успел стать основателем распола-
гавшейся в Бристоле компании
Inmos, где основным инвестором
было правительство в лице агент-
ства National Enterprise Board (NCE).
В задачу созданного в 1974 году
учреждения входило проведение
программы модернизации; показа-
тельно название одного из доку-
ментов – The Regeneration of British
Industry (Регенерация Британской
промышленности). Жизнь показа-
ла, что модернизация сверху – не
самое лучшее, что может быть,
и в последующем, с приходом к
власти консерваторов, деятельность
NCE была постепенно свернута,
поскольку почти все его начина-
ния были неудачными, напри-
мер обновление автомобильной
индустрии. В Англии теперь ездят
по большей части на импортных
автомобилях. Но все же Баррон
успел получить 50 миллионов фун-
тов и начал с производства чипов
памяти, однако оказался неконку-
рентоспособным, а тут возникли
Хоар с Мэем, и это была удача –
собственное британское и, казалось
бы, чрезвычайно перспективное
изобретение. В последующем
Inmos получила финансирование в
более чем 150 миллионов фунтов,
но, к сожалению, прибыльной так
никогда и не стала.
Баррон понял, что без сотрудниче-
Созданная Хоаром концепция
CSP позволила группе ученых
из Оксфорда под руководством
Дэвида Мэя разработать
процедурный язык параллельного
программирования высокого
уровня Occam, названный так
в честь английского философа
XIV века Уильма Оккамского
и его знаменитой сентенции,
известной как бритва Оккама:
«Не следует множить сущее без
необходимости». Occam является
типичным языком высокого
уровня, синтаксически похожим
на Pascal или C, но его набор
операторов и синтаксис доведены
до минимума – ничего лишнего
www.supercomputers.ru
ства с американцами ему произ-
водство не наладить, поэтому он
нашел союзников в лице Дика Пе-
трица и Пола Шредера, успевших
поработать в Texas Instruments и
решивших избрать карьеру венчур-
ных капиталистов. Так сложился
причудливый альянс и государ-
ственного, и частного капиталов.
Планы были грандиозными – было
даже создано собственное произ-
водство в Колорадо, где в 1982 году
Транспьютеры не появились бы на свет, если бы
не удивительная цепочка событий. Начало ей
было положено 1 мая 1960 года, когда советской
ракетой ПВО под нынешним Екатеринбургом
сбили самолет-разведчик U-2
произвели первый эксперимен-
тальный транспьютер Simple 4, а за-
тем серийные модели T212 и T414.
О значимости, которую придавали
этим разработкам, можно судить
по тому, что авторы T414 были
удостоены специального приза за
дизайн от Принца Филиппа (мужа
королевы Елизаветы) и других по-
четных званий. Затем были следую-
щие модели Т800 (1985), пакетный
коммутатор С104 и транспьютер
для выполнения операций с плава-
ющей точкой (1087) и еще целый
ряд моделей. Вершиной была
модель SOC Т9000, которую можно
отнести к категории «система на
чипе», – она имела внутренние
кэши, поддержку суперскаляр-
ности и многое другое. В после-
дующем она была продана SGS-
Thomson, ныне STMicroelectronics,
и ее прямыми наследниками стали
нынешние микросхемы, исполь-
зуемые в приборах глобального
позиционирования GPS.
Несколько известных в конце 80-х
годов компаний (Meiko, Floating
Point Systems, Parsytec и Parsys)
пытались строить системы с массо-
вым параллелизмом, которые ис-
пользовались чаще всего в академи-
ческих приложениях. Выпускались
платы-ускорители для персональ-
Су п е р К о м п ь ю т е р ы  21
ных компьютеров (IBM PC, Amiga),
транспьютеры использовались в
лазерных принтерах. И последнее
«если». Кто знает, как бы сложилась
судьба транспьютеров, если бы не
неудачная бизнес-модель. Скорее
всего, у них был неплохой потен-
циал, но подвела схема финанси-
рования – частно-государственный
альянс и передача управления из
рук в руки в конечном итоге при-
вели к тому, что Inmos прекратила
свое самостоятельное существо-
вание. Inmos оказалась на пути
гигантов процессорного бизнеса, а
найти свое место в этих условиях
чрезвычайно сложно. После Inmos
осталось неплохое наследие в виде
группы небольших эксперимен-
тирующих компаний, своего рода
локальный кластер в окрестностях
Бристоля.
Судьба компании Inmos и ее дети-
ща сегодня представляет интерес
по нескольким соображениям.
Первое: даже неудачная попытка
нарушить сложившиеся каноны
свидетельствует в пользу того, что
и в области процессоров остается
Суперкомпьютерное
место нонконформизму. Известны
работы, связанные с асинхронны-
ми процессорами, процессорами
образование в России
с программируемой логикой
(Хputer); возможно, есть и что-то
иное.
Трудно поверить в то, что все буду-
щее связано с одним типом про-
Текст В л . В . В о е в о д и н , В . П . Г е р г е л ь , Л . Б . С о к о л и н с к и й ,
цессора GPGPU, и то только потому, В.П.Демкин, Н.Н.Попова, А. В. Бухановский
Иллюстрация А л е к с а н д р Ж е л о н к и н
что игровая индустрия сделала этот
подход рентабельным. И второе
соображение: одного стремления
власть имущих к модернизации, Стратегической целью проекта является создание
даже если есть подлинные таланты, национальной системы подготовки высококвалифицированных
в которые можно вложить средства,
мало. Требуются более действен-
кадров в области суперкомпьютерных технологий и
ные схемы. специализированного программного обеспечения
«Суперкомпьютеры» № 1 (5) весна 2011
22 Су п е р К о м п ь ю т е р ы
Закончился первый год выполнения
проекта «Создание системы подготов-
ки высококвалифицированных ка-
дров в области суперкомпьютерных
технологий и специализированного
программного обеспечения» Комис-
сии Президента РФ по модернизации
и технологическому развитию эконо-
мики России. Стоит сразу сказать, что
все запланированное на первый этап
удалось сделать, хотя есть и четкое
понимание того, что еще больше зна-
чительных дел впереди. Но точно так
же нужно сразу отметить и тот факт,
что в 2010 году было очень непросто,
причем, увы, больше всего сил ухо-
дило не на содержательную работу, а
на реальную «борьбу» с государствен-
ными структурами, которым было
поручено сопровождение данного
проекта Комиссии Президента.
Стратегической целью проекта
является создание национальной
системы подготовки высококвали-
фицированных кадров в области
суперкомпьютерных технологий и
специализированного программ-
ного обеспечения. Именно эта цель
определяет масштабность данного
проекта, объединившего усилия
ведущих российских университетов.
Исполнители проекта: Московский
государственный университет имени
М. В. Ломоносова, национальный
исследовательский Нижегородский
государственный университет имени
Н. И. Лобачевского, национальный
исследовательский Томский государ-
ственный университет, националь-
ный исследовательский Южно-Ураль-
ский государственный университет,
национальный исследовательский
Санкт-Петербургский государствен-
ный университет информационных
технологий, механики и оптики, от-
дельные члены Суперкомпьютерного
консорциума университетов России.
Руководитель проекта – ректор Мо-
сковского университета, академик
В. А. Садовничий.
Основными задачами, зафиксирован-
ными в проектной документации,
являются:
• Создание Системы научно-образователь-
ных центров суперкомпьютерных техно-
www.supercomputers.ru
логий (НОЦ СКТ). Задача включает в себя
создание инфраструктуры, разработку
нормативно-правового и методического
обеспечения, приобретение оборудования и
программного обеспечения, расходы на со-
держание НОЦ и кадровое обеспечение его
деятельности. Реализация данной задачи
направлена на концентрацию научно-об-
разовательного потенциала на базе вузов,
имеющих ресурсы и значительный опыт в
развитии суперкомпьютерных технологий
(СКТ).
• Разработка учебно-методического обеспе-
чения системы подготовки, переподготов-
ки и повышения квалификации кадров в
области суперкомпьютерных технологий.
Данная задача направлена на создание
научно-методической базы, основанной
на образовательных стандартах нового
поколения для подготовки специалистов в
области СКТ.
• Реализация образовательных программ
подготовки, переподготовки и повышения
квалификации кадров в области суперком-
пьютерных технологий. Данная задача
направлена на создание научно-педагогиче-
ского потенциала, обеспечивающего высо-
кое качество подготовки специалистов в
области СКТ.
• Развитие интеграции фундаментальных
и прикладных исследований и образования
в области суперкомпьютерных техноло-
гий. Обеспечение взаимодействия с РАН,
промышленностью, бизнесом. Задача
направлена на развитие интеграции фун-
даментальных и прикладных исследований
и образования в области суперкомпьютер-
ных технологий, взаимодействие с РАН,
промышленностью и бизнесом.
• Расширение международного сотрудни-
чества в создании системы суперкомпью-
терного образования. Задача включает
привлечение ведущих зарубежных специа-
листов в области СКТ для участия в под-
готовке специалистов. Задача направлена
на повышение академической мобильности
и качества образования в области СКТ.
• Разработка и реализация системы ин-
формирования общества о достижениях
в области суперкомпьютерных техноло-
гий, что предусматривает публикацию
научно-популярных статей, подготовку
и трансляцию передач телевидения,
размещение материалов в электронных
изданиях и других презентаций результа-
тов развития системы СК-образования.
Задача направлена на популяризацию
научных знаний в области суперкомпью-
терных средств и технологий, привле-
чение талантливой молодежи в науку и
развитие стратегического направления
экономики.
Проект рассматривает проблематику
комплексно, отсюда и такое множе-
ство задач, но все они тесно взаимос-
вязаны и необходимы для создания
устойчивой национальной системы
воспроизводства высококвалифици-
рованных специалистов в области
суперкомпьютерных технологий.
Основой для успешной реализации
проекта должна стать Система на-
учно-образовательных центров СКТ,
главной задачей которой является эф-
фективная организация деятельности
вузов по подготовке, переподготовке
и повышению квалификации кадров
в области суперкомпьютерных тех-
нологий. В 2010 году заложена основа
Системы за счет организации пяти
НОЦ СКТ, по одному в Центральном,
Приволжском, Уральском, Сибирском
и Северо-Западном федеральных
округах России. В 2011 году плани-
руется завершение формирования Си-
стемы НОЦ СКТ за счет образования
НОЦ СКТ в Южном и Дальневосточ-
ном федеральных округах, где также
есть сильные организации, способные
поднять флаг суперкомпьютерного
образования и организовать работу в
своих регионах.
Серьезным результатом проекта в
2010 году стала разработка группой
экспертов первой версии Свода
знаний и умений (профессиональных
компетенций) в области СКТ. Именно
Свод определяет тот объем знаний,
которым должны обладать будущие
специалисты, проходящие подго-
товку по той или иной программе
обучения. На основании созданного
Свода предложены проекты модерни-
зации федеральных государственных
образовательных стандартов третьего
поколения. На базе обновленных
образовательных стандартов в 2010
году выполнена подготовка более
100 высококвалифицированных
специалистов в области СКТ и их
приложений. Для реализации новых
образовательных программ на базе
НОЦ СКТ прошли переподготовку
или повышение квалификации более
40 преподавателей российских вузов.
В результате выполнения данного
проекта более 10 университетов уже
включились в подготовку специ-
алистов по СКТ, и многие универси-
теты – члены Суперкомпьютерного
консорциума университетов России
выразили готовность включиться в
этот процесс в 2011 году.
С учетом созданного Свода знаний и
умений за прошедший год выполне-
на разработка новых и расширение
существующих учебных курсов. Эти
курсы доступны на сайте проекта
http://hpc-education.ru, причем их
уже сейчас можно использовать в
учебном процессе высших учебных
заведений России. Подготовлены
к изданию первые 6 книг серии
«Суперкомпьютерное образование»,
в которой за все время выполнения
проекта будет представлено более 25
изданий.
Одним из главных направлений
деятельности научно-образователь-
ных центров стало формирование
специальных групп обучаемых. Это
предполагает работу как с различны-
ми целевыми группами: студентами,
магистрами, аспирантами, препо-
давателями, специалистами, так и
проведение обучения по различным
специализациям. Данная форма
подготовки хорошо учитывает меж-
дисциплинарный характер СКТ и по-
зволяет в сжатые сроки осуществить
выпуск высококвалифицированных
специалистов, способных развивать
и эффективно применять СКТ при
проведении фундаментальных и при-
кладных исследований, внедрять их в
промышленность и экономику. В 2010
году было сформировано 6 специ-
альных групп обучения СКТ во всех
НОЦ СКТ. Программа формирования
и проведения обучения спецгрупп в
рамках Системы НОЦ СКТ опиралась
на решение текущих задач органи-
заций науки и образования России
с обязательным учетом мировых
тенденций развития компьютерных
Су п е р К о м п ь ю т е р ы
технологий. Важная составляющая
проекта – его открытость и нацелен-
ность на максимально широкое рас-
пространение результатов. Реализо-
вана первая версия Интернет-центра
системы образовательных ресурсов
в области СКТ, который стал осно-
вой консолидации информации по
суперкомпьютерному образованию в
российской части Интернета (http://
hpc-education.ru/). Уже сейчас здесь
можно найти массу крайне полезной
информации – от нормативно-мето-
дических документов до реальных
учебных курсов и программ.
Не совсем обычной, но эффективной
формой начального вхождения в
область суперкомпьютерных техно-
логий стал Интернет-университет
суперкомпьютерных технологий
(http://hpcu.ru). На его базе в 2010 году
более 70 слушателей прошли под-
готовку в режиме дистанционного
обучения.
Неотъемлемой функцией научно-
образовательных центров является
обеспечение тесной интеграции
вузов, институтов РАН, организаций
промышленности и бизнеса. Имен-
но за счет этого есть возможность
вовремя смещать акценты в органи-
зации процесса обучения, а также
оперативно реагировать на запросы
со стороны работодателей. В частно-
сти, 2 декабря 2010 года на базе НОЦ
«Суперкомпьютерные технологии»
МГУ проведено координационное
совещание представителей вузов,
научных институтов, IT-компаний –
всего около 150 человек из более чем
30 организаций – для анализа прио-
ритетных направлений развития СКТ
в мире и обсуждения предложений
по направлениям развития системы
суперкомпьютерного образования в
стране.
Невозможно выполнять столь
масштабный проект и оставаться в
изоляции от внешнего мира. С самого
начала выполнение проекта направ-
лено на интеграцию российских
университетов в мировой образо-
вательный процесс. Это и изучение
мирового опыта, и приглашение
ведущих зарубежных специалистов,
 23
и организация совместных образова-
тельных программ и многое другое. В
частности, в октябре-ноябре 2010 года
в МГУ, ННГУ и СПбГУ ИТМО прош-
ли выступления одного из самых
известных в мире специалистов в
области суперкомпьютерных техно-
логий Томаса Стерлинга (США).
Для информирования общества о
достижениях в развитии СКТ и при-
влечения талантливой молодежи в
2010 году разработана и реализована
система мероприятий по популя-
ризации достижений и перспектив
использования суперкомпьютерных
технологий с привлечением средств
массовой информации. Это и тради-
ционные СМИ, такие как газета «ПО-
ИСК», это и электронные издания,
например, сайт Комиссии Президен-
та РФ http://i-russia.ru, информацион-
но-аналитический центр Parallel.ru и
многие другие. Это и выпуск специ-
ализированных телевизионных пере-
дач, где в 2010 году особенно успешно
выступили коллеги из ТГУ и ЮУрГУ.
И, безусловно, было обеспечено пред-
ставительство проекта на весомых
и значимых суперкомпьютерных
мероприятиях для информирования
общества и представления достиже-
ний в развитии СКТ.
На что делался основной упор при
реализации проекта в 2010 году? Ос-
новных составляющих было две. Пер-
вая – это необходимость подготовки
500 специалистов по СКТ за 2010-2012
годы, вторая – создание устойчивой
системы подготовки высококвали-
фицированных кадров в области
суперкомпьютерных технологий и
специализированного программно-
го обеспечения. Обе составляющие
важны, и обе эти составляющие за-
кладывают необходимую основу для
успешного развития суперкомпью-
терных технологий в России.
И совершенно ясно, что основным
приоритетом проекта на 2011 год
должна стать консолидация мощней-
шего потенциала Суперкомпьютерно-
го консорциума университетов Рос-
сии для развития и распространения
результатов проекта в национальной
системе высшего образования.
«Суперкомпьютеры» № 1 (5) весна 2011
24 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  25

живаемой базы данных. Компания няется ряд проектов, посвященных ные фрагменты. Фрагменты табли-

Вокруг проекта
«Омега»
Текст М и х а и л Ц и м б л е р
Параллельная система управления базами ным объемом до 1 петабайта, а для
хранения данных проекта «Свеча»
данных – это аппаратно-программный ком- – размером несколько экзабайт
плекс, в котором СУБД, функционирующая (1 Эб = 103 Пб).
на платформе многопроцессорной вычис- Еще одним примером сверх-
больших баз данных являются
лительной системы, обеспечивает хранение базы данных проекта EOS/DIS
Amazon Web Services предоставляет
услугу «Virtual HPC as a Service» для
работы с базами данных. Данная
услуга предполагает развертывание
на виртуальной машине предва-
рительно подготовленного образа,
содержащего установленную и
настроенную параллельную СУБД.
Стоимость этой услуги складывает-
ся из аренды машинного времени,
дискового пространства для дан-
ных и оплаты операций чтения-за-
писи: соответственно $0.11-3.10 в
час в зависимости от конфигура-
ции машины, $0.10 за 1 Гб в месяц
и $0.10 за каждый миллион I/O-
операций.
Свободно распространяемая
система Apache Hadoop представ-
ляет собой реализацию концепции
параллельным и распределенным
системам баз данных. Идейным
вдохновителем и научным руково-
дителем работ стал декан факульте-
та Леонид Борисович Соколинский.
В проектах участвуют студенты,
магистранты, аспиранты и препо-
даватели кафедры системного про-
граммирования факультета ВМИ,
а также сотрудники Лаборатории
суперкомпьютерного моделирова-
ния ЮУрГУ.
Базовый проект – научный про-
ект «Омега» (http://omega.susu.ru),
целью которого является разработ-
ка прототипа параллельной СУБД
для кластерных вычислительных
и грид-систем. В рамках этого
проекта многочисленные идеи,
методы и алгоритмы параллельной
цы распределяются по различным
процессорным узлам многопро-
цессорной системы. При этом на
каждом узле многопроцессорной
системы запускается параллель-
ный агент (ядро СУБД), обрабаты-
вающий запросы пользователей.
Один и тот же запрос параллельно
выполняется на всех процессор-
ных узлах, и затем полученные
фрагменты результата сливаются в
результирующую таблицу.
Рисунок показывает простейший
пример применения фрагментного
параллелизма: запрос на выборку
строк из одной таблицы. В приме-
ре задействована база данных По-
ставки из классического учебника
К. Дж. Дейта по базам данных.
Таблица «Поставщики» фрагменти-

П
сверхбольших баз данных и эффективную об-
работку параллельных транзакций в режиме
«24 часа в сутки, 7 дней в неделю»
Примерами приложений, характе-
ризующихся сверхбольшим объ-
емом храни-мых данных, являются
электронная коммерция, электрон-
ные библиотеки, геоинформацион-
ные системы, мультимедиа-архивы,
социальные сети, научные базы
данных и многое другое.
Одной из самых больших и быстро
наполняемых научных баз дан-
ных является база данных проекта
WLCG (Worldwide Large Hadron
проекта системы SkyServer проекта
SDSS (Sloan Digital Sky Survey). Дан-
ный проект предполагает создание
виртуальной обсерватории, доступ-
ной через Интернет. База данных
проекта должна объединить в себе
полную информацию о наблю-
дениях всех участков звездного
неба различными обсерваториями
мира. Суммарный объем данных,
поступающих с телескопов, состав-
ляет около 5 петабайт в год.
(Earth Observation System / Data
Information System), разрабатыва-
емого агентством NASA в США.
Система наблюдения земли EOS
включает в себя множество спутни-
ков, которые собирают информа-
цию, необходимую для изучения
долгосрочных тенденций состоя-
ния атмосферы, океанов, земной
поверхности. Начиная с 1998 года
спутники поставляют информа-
цию в объеме 0.3 петабайта в год. К
2010 году общий объем поддержи-
ваемых в системе данных достиг
20 Петабайт.
Современные параллельные СУБД
– это, как правило, дорогой ком-
мерческий продукт, который по
карману только крупной организа-
ции; свободно распространяемые
MapReduce компании Google с
открытыми исходными кодами на
языке Java. Hadoop поддерживает
выполнение распределенных при-
ложений, работающих на больших
кластерных системах, и позволяет
этим приложениям легко мас-
штабироваться до уровня тысяч
узлов и петабайт данных. Однако
Hadoop является инструменталь-
ным средством прикладного Java-
программиста и не поддерживает
напрямую технологии баз данных
(реляционные таблицы, язык за-
просов SQL и др.).
В рамках научного проекта
ParGRES, выполняемого под
руководством Патрика Валдури-
ца в Национальном институте
информатики и автоматизации
обработки баз данных проходят от- руется по колонке Код_П на основе
ладку и тестирование в прототипе,
чтобы далее быть внедренными в
функции фрагментации (Постав-
щики) = Код_П div 10, где div – опе-
полноценные коммерциализуемые рация деления нацело. Функция
программные продукты. фрагментации для каждой записи
В основе СУБД «Омега» лежит идея таблицы вычисляет номер процес-
использования фрагментного па- сорного узла, на котором должна
раллелизма. Каждая реляционная быть размещена эта запись.
таблица делится на горизонталь- Однако естественному желанию
П
Р0
Код П
00
09
Р1
10

ФРАГМЕНТАЦИЯ

Collider Computing Grid). Главной
целью проекта WLCG является ис-
пользование грид-среды для обра-
ботки экспериментальных данных,
получаемых с Большого адронного
коллайдера (Large Hadron Collider,
LHC) Европейского центра ядер-
ных исследований (CERN). По-
ток экспериментальных данных,
который необходимо обрабатывать,
составляет около 15 петабайт (1 Пб
= 210 Тб) в год.
Другим примером сверхбольшой
базы данных является база данных
В настоящее время в России на-
чаты работы по двум масштабным
космическим экспериментам
«Лира» и «Свеча», целью которых
является высокоточный много-
цветный фотометрический обзор
звезд всего неба вплоть до 16-17-ти
звездной величины. В обзор войдут
около 400 млн звезд. Измерения ве-
дутся в 10 спектральных полосах от
0.2 до 1.0 мкм с борта Российского
сегмента МКС. Для хранения базы
данных проекта «Лира» потребует-
ся дисковое пространство суммар-
продукты в этой области – скорее
исключение.
Годовая лицензия на СУБД Oracle
RAC (Real Application Cluster) для
параллельной обработки запросов
на кластерных системах стоит
$25 000. СУБД Greenplum продается
по бессрочной лицензии, цена ко-
торой $16 000 за процессорное ядро
или $70 000 за 1 Тб обслуживаемой
базы данных, а годовая поддержка
продукта стоит 22% от суммы по-
купки. СУБД Teradata предлагается
по ценам от $16 000 за 1 Тб обслу-
СЛИЯНИЕ
Франции (INRIA, Institut National Результирующее
de Recherche en Informatique et 19 отношение
en Automatique), разрабатывается
параллельная СУБД, предназначен-
ная для обработки OLAP-запросов.
СУБД ParGRES представляет собой
надстройку (middleware), которая
управляет экземплярами свобод-
ной СУБД PostgreSQL, запускаемы- 90 Р9
ми на узлах кластерной системы.
На факультете Вычислительной 99
математики и информатики Юж-
но-Уральского государственного
университета (Челябинск) выпол-

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

 26 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  27

получить от параллельной СУБД
ускорение, равное количеству
задействованных узлов, мешает
ряд препятствий. Во-первых, при
выполнении запроса, в котором
Операция EXCHANGE несет боль- в конечном итоге – к деградации Одним из ответвлений проекта
Количество
шую нагрузку, выполняя автомати- производительности. «Омега» является разработка прото- ТИП
УЗЛА
ОСНОВНЫЕ
ХАРАКТЕРИСТИКИ
ЦЕНА ЗА УЗЕЛ
(тыс. руб.)
узлов (на 10
млн руб.)
ческое распараллеливание запро- В СУБД «Омега» предусмотрено ис- типа параллельной СУБД в опера-
са: она определяет, какая запись пользование техники репликации тивной памяти (СУБД-ОП). Идея
поступила к нему из нижележащей данных. Фрагмент может иметь сделать основным местом хране- 1 1-ядерный процессор Intel Xeon DP
EM64T и один диск SAS 73.4 Гб 266 37

данные выбираются из двух и
более таблиц, могут потребоваться
межпроцессорные обмены. Такой
операции – своя (которую надо
обработать на текущем узле) или
чужая (которая должна быть обра-
несколько реплик (зеркальных
копий), которые располагаются
на других узлах. На каждом узле
ния данных оперативную память
вместо жесткого диска известна
и реализована (например, ком-
2 2-ядерный процессор Intel Xeon
E3110 и два диска SAS 73.4 Гб 298 33

пример приведен на следующем ботана на другом узле); отправляет может находиться не более од- мерческие СУБД Oracle TimesTen,
рисунке. чужие записи соответствующим ной реплики данного фрагмента. IBM solidDB и свободные CSQL, 3 Два 2-ядерных процессора Intel Xeon
E3110 и четыре диска SAS 73.4 Гб 325 30

Помимо текста запроса на языке
SQL на рисунке показано внутрен-
П (поставщики)
Код_П* Имя_П Город
23 Иванов И.И. Москва
14 Петров П.П. Самара
ПД (поставки)
Код_ПД* Имя_П*
1 14
2 23
нее представление запроса в СУБД
на языке реляционной алгебры.
Здесь число «пи» означает опера-
цию проекции, выполняющую от-
бор указанных столбцов таблицы,
сигма – операцию ограничения,
осуществляющую отбор строк
таблицы по указанному условию,
– операцию естественного
соединения двух таблиц по обще-
му столбцу. Последняя операция
является самой затратной: записи
результирующей таблицы полу-
чаются путем сцепления каждой
записи первой таблицы с каждой
записью второй таблицы, за исклю-
чением записей, имеющих раз-
личные значения в общей колонке.
Если столбец, по которому фраг-
ментирована таблица, не совпадает
с общим столбцом соединяемых
таблиц, то требуется перераспреде-
ление записей этой таблицы между
узлами.
В СУБД «Омега» для решения дан-
ной проблемы вводится специаль-
ная операция обмена EXCHANGE.
узлам; получает свои записи от При этом на логическом уровне
других узлов; выдает результиру- каждый фрагмент разбивается на
сегменты одинакового размера,
которые являются наименьшей
единицей балансировки загрузки.
Д (детали) Схема балансировки загрузки вы-
Код_Д* Имя_Д Цвет глядит следующим образом: агенты
параллельной СУБД разделяются
3 Гайка Красный
на два класса – лидеры и аутсайде-
7 Болт Синий
ры. Агент-лидер – это агент, закон-
чивший обработку назначенного
ему фрагмента данных и находя-
Код_Д* щийся в состоянии ожидания ново-
го задания. Агент-аутсайдер – это
7
агент, который в данный момент
3 времени не закончил обработку на-
значенного ему фрагмента данных.
Агент-лидер получает часть работы
ющие записи в вышележащую агента-аутсайдера в виде соответ-
операцию. ствующей реплики фрагмента дан-
Другим препятствием на пути к ных, еще не обработанного аген-
получению ускорения являются том-аутсайдером. Каждому агенту
перекосы в распределении данных в процессе балансировки загрузки
по узлам. Существенное различие присваивается рейтинг, задаваемый
размеров фрагментов таблицы, вещественным числом. В качестве
вовлеченной в запрос, может аутсайдера всегда выбирается агент,
привести к дисбалансу загрузки имеющий максимальный положи-
параллельных агентов на узлах и тельный рейтинг.
Здесь необходимо
перераспределение между
процессорами кортежей
отношения ПД
Имя_П
Код_П
П
Код_Д = 3
ПД
MonetDB), однако примеров совме-
щения этой идеи с идеей парал-
лельной обработки данных пока
крайне мало (по-видимому, только
свободная СУБД VoltDB). В рамках
этого проекта, с одной стороны, в
параллельную СУБД-ОП внедряют-
ся механизмы, проверенные ранее
в дисковой параллельной СУБД.
Например, использование диско-
вых реплик для случаев, когда чте-
ние данных с локального жесткого
диска будет быстрее, чем ожидание
сообщения от удаленного узла. С
другой стороны, в проекте разра-
батываются методы и алгоритмы,
специфичные для СУБД-ОП: новые
методы компактного хранения
таблиц в оперативной памяти,
параллельная обработка данных на
уровне процессорных ядер, опти-
мизация производительности за
счет использования процессорного
кэша. Из научного проекта «Омега»
вырос имеющий практическую
направленность проект PargreSQL.
Проект направлен на разработку
параллельной СУБД на основе сво-
бодно распространяемой последо-
вательной СУБД PostgreSQL.
Идея проста: есть отлично зареко-
мендовавшая себя последователь-
ная СУБД, доступная в хорошо
документированных исходных
кодах. Почему бы не изменить ее
исходные тексты таким образом,
чтобы она могла работать так же,
как прототип «Омега»?
В основе архитектуры PostgreSQL
лежит модель «клиент-сервер».
Взаимодействуют три вида процес-
сов: приложение-клиент (frontend),
серверный процесс (backend) и де-
мон (daemon). Демон осуществляет
прием соединений, устанавливае-
4 Два 4-ядерных процессора Intel Xeon
E5472 и восемь дисков SAS 73.4 Гб
мых клиентами, и создает отдель-
ный серверный процесс для обра-
ботки запросов каждого отдельного
клиента. В СУБД PargreSQL клиент
взаимодействует с двумя или бо-
лее серверами одновременно: кли-
ентское приложение подключается
сразу ко всем экземплярам СУБД,
отправляя им одинаковый запрос.
При параллельной обработке за-
проса сначала выполняются те же
шаги, что и в случае последователь-
ной СУБД: разбор запроса на языке
SQL (parse), замена синонимов
таблиц в тексте запроса (rewrite),
составление плана запроса и его
оптимизация (plan/optimize). Затем
на основе последовательного плана
формируется параллельный план
запроса путем вставки операций
EXCHANGE. После запуска испол-
нителя запроса в случае необходи-
мости осуществляется балансиров-
ка загрузки серверных процессов.
Остается добавить, что использо-
вание PargreSQL будет прозрачно
для пользовательских приложений,
которые до этого использовали
PostgreSQL. В пользовательское
приложение необходимо подклю-
чить заголовочный файл, содержа-
щий объявления макросов, кото-
рые подменяют вызовы функций
PostgreSQL вызовами функций
PargreSQL.
Другим важным направлением
проекта «Омега» является модели-
395 25
рование и анализ иерархических
многопроцессорных систем баз
данных. Современные многопро-
цессорные системы в большинстве
случаев организуются по иерар-
хическому принципу. Например,
большая часть вычислительных
кластеров сегодня имеет трех-
уровневую архитектуру. В рамках
такой архитектуры многопроцес-
сорная система строится как набор
однородных вычислительных
модулей, соединенных высоко-
скоростной сетью. Это – первый
(верхний) уровень иерархии.
Каждый вычислительный модуль
является, в свою очередь, много-
процессорной системой с разделя-
емой памятью и образует второй
уровень иерархии.
Так как в современной кластерной
системе, как правило, использу-
ются многоядерные процессоры,
то мы получаем третий уровень
иерархии. Проект направлен на
разработку математической моде-
ли мультипроцессоров баз данных.
Разрабатываются методы и алго-
ритмы, позволяющие реализовать
эту модель на компьютере в виде
эмулятора многопроцессорных
иерархических машин баз данных.
При помощи эмулятора можно
выполнить вычислительные экспе-
рименты по поиску оптимальных
аппаратных архитектур параллель-
ных систем баз данных.

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

28 Су п е р К о м п ь ю т е р ы
Научные вызовы технологиям
Текст
www.supercomputers.ru
Развитие технологий при-
емных устройств привело
к необходимости хранения,
СУБД
обработки и анализа сверх-
больших объемов научных
данных. Современные
компьютерные и инфор-
мационные технологии не
готовы для решения этих
задач, и требуются новые
решения, ориентированные
на работу с научными
данными, доступные для
Ол е г Б а р ту н о в ( ГА И Ш М Г У ) , П а в е л В е л и хо в ( Н И И С И РА Н )
Иллюстрация А л е к с а н д р Ж е л о н к и н научного сообщества и
масштабируемые на сотни
петабайт
Повсеместное распространение Ин-
тернета, ускорение и унификация
доступа к информации и т. п. приве-
ли к формулированию концепции
киберобщества (информационного
общества) как реалистичного сцена-
рия постиндустриального общества
– новой исторической фазы разви-
тия цивилизации, в которой глав-
ными продуктами производства
являются информация и знание. Со-
ставной частью информационного
общества является так называемая
e-Science – синтез науки и инфор-
матики, наступающий, когда роль
информации и ее обработки в науч-
ных исследованиях становится пре-
валирующей. Переход на e-стадию
(информационную стадию) раз-
вития – это реальный процесс,
затронувший на сегодняшний день
ряд естественных наук, оперирую-
щих огромными объемами инфор-
мации: физику (в первую очередь
исследование элементарных частиц
и физику высоких энергий), науки
о Земле, астрономию, биологию,
экономику, медицину. В этих науках
происходит процесс лавинного по-
ступления информации, в первую
очередь связанный с успехами в
технологии создания приемных
устройств, появился даже термин
«сенсорно-ориентированная наука».
Ведущие издания (The Economist,
Су п е р К о м п ь ю т е р ы
Nature, CACM, Science) выпустили
специальные номера, посвященные
проблеме «Больших Данных» (BIG
DATA). В современных крупных
экспериментах анализ терабайтов
и даже петабайтов научных данных
становится повседневной задачей.
Помимо экспериментальных
данных наука оперирует гигант-
скими объемами синтетических
данных (данными, полученными
при численном моделировании),
хранение которых в СУБД позволя-
ет не только обеспечить возобнов-
ление расчетов после остановки,
но и проводить научные исследо-
вания. Например, для исследова-
ния возникновения и эволюции
крупномасштабной структуры во
Вселенной используются супер-
компьютерные расчеты задачи
N-тел (сотни миллионов частиц), в
которых Вселенная представляется
множеством взаимодействующих
частиц, таких как темная материя,
газ и звезды, данные о состоянии
которых надо сохранять в опреде-
ленные промежутки времени. Об-
щий размер информации достигает
десятков терабайт, которые затем
анализируются с помощью мощ-
ных средств СУБД. Например, с
помощью стандартного SQL-запроса
можно проследить за обогащением
газа тяжелыми элементами после
взрыва сверхновых звезд.
Специфика научных
данных
Специфика научных данных со-
стоит в необходимости «вечного»
хранения «сырых» данных (raw
data – данные, полученные не-
посредственно с приемника и не
подвергшиеся никакой обработке).
Сырые данные – это неизменяемые
данные, любое их изменение при-
водит к появлению новых сырых
данных (новой версии). Про такие
данные говорят WORM (Write Once
Read Many). Сырые данные необ-
ходимо обработать, чтобы полу-
чить собственно научные данные, с
которыми и работают ученые. С раз-
 29
витием науки и технологии дис-
танция между сырыми и научными
данными все время увеличивается,
а процедура обработки сырых
данных усложняется. Время от
времени требуется переобработка
сырых данных, например, для учета
новых знаний о природе явления,
новых факторов и т. д. Например, в
астрономии долгое время исполь-
зовались визуальные наблюдения
невооруженным взглядом, затем
использование все более совершен-
ных сенсоров (фотографические
пластинки, пленки, электронно-
оптические преобразователи,
ПЗС-матрицы) привело к необхо-
димости процедуры «проявки»,
зависящей от множества факторов,
которые трудно сразу учесть «пра-
вильно». Если раньше астроном
видел звезду на небе и мог сразу ис-
пользовать этот факт, то теперь для
этого надо подсчитать количество
электронов, которые накопились в
потенциальной яме конкретного
пикселя матрицы при экспониро-
вании. Это значение необходимо
исправить за темновой ток (тепло-
вой шум матрицы), ошибку считы-
вания и разную чувствительность
пикселей матрицы, что составляет
первичную процедуру редукции
данных. В дальнейшем будет еще
много разных этапов, включающих
учет космических лучей, влияние
атмосферы, оптико-механической
системы инструмента и т. д.
Вспомним камеру Вильсона, кото-
рая использовалась для исследова-
ний в физике элементарных частиц.
По трекам в перенасыщенном
паре, которые оставляли заряжен-
ные частицы, изучались прежде
невидимые элементарные частицы.
Фотографии треков здесь являют-
ся сырыми данными, и требуется
оцифровать траектории, чтобы за-
тем, используя сложную процедуру,
получить характеристики сталкива-
ющихся частиц.
Современные научные эксперимен-
ты, такие как LHC (Большой Адрон-
ный Коллайдер), LSST (Большой
телескоп для обзора неба), помимо
«Суперкомпьютеры» № 1 (5) весна 2011
30 Су п е р К о м п ь ю т е р ы
сложных сенсоров, а значит и слож-
нейшей процедуры обработки, тре-
буют значительных компьютерных
ресурсов для передачи и хранения
сырых данных.
Для исторических наук сырыми
данными являются первоисточники
– это древние манускрипты, рисун-
ки, скульптуры, археологические
находки и т. д. Их хранилищами
долгое время служили и служат
библиотеки, музеи. В настоящее
время для их сохранности и исполь-
зования информационных техно-
логий первоисточники переводятся
в цифровую форму, стараясь как
можно тщательнее сохранить ори-
гинальную информацию. При этом
количество цифровой информации
может быть очень большим. Напри-
мер, трехмерная модель Давида с
разрешением 1/4 мм состоит из 1
миллиарда полигонов и занимает
около 250 гигабайт.
Требование вечного хранения сы-
рых данных и свободного доступа
к ним определяется основным
принципом научного исследова-
www.supercomputers.ru
ния – воспроизводимость научных
результатов. К этому надо добавить
необходимость хранения и самой
процедуры обработки сырых дан-
ных.
Отметим общие проблемы и
особенности современной науки,
связанные с увеличивающимся
потоком данных (на сегодня это
сотни терабайтов, а в ближайшие
5-10 лет – десятки-сотни петабайт).
• Количество сырых данных только
увеличивается и их необходимо хра-
нить вечно, так как может потребо-
ваться их переобработка. Некоторые
проекты, сталкиваясь с проблемой хра-
нения больших объемов сырых данных,
сохраняют только малую часть ис-
ходных данных. Например, в LHC 2000
процессоров в режиме текущего времени
отфильтровывают только нужные
события, чтобы уменьшить поток
данных с детекторов с неуправляемого
уровня петабайт/с до гигабайта/с,
который впоследствии передается в
вычислительный центр.
• Очень сложная процедура получе-
ния научных данных из сырых данных.
Развитие сенсоров только увеличивает
разрыв между сырыми данными и на-
учными данными, и зачастую требу-
ются большие вычислительные ресурсы
для получения научных данных. Задача
усложняется тем, что современные
научные эксперименты представляют
собой сложный комплекс уникальных
приборов, требующих специализирован-
ных методов обработки получаемых
сырых данных, практически всегда несо-
вместимых друг с другом.
• Современные СУБД не обладают
эффективной поддержкой многомерных
массивов, которые являются есте-
ственной структурой для хранения
сенсорных данных. Отметим, что
практически все науки в той или иной
мере используют сенсоры для получения
цифровой информации.
• Еще одна особенность современных
научных экспериментов – сочетание
распределенного хранилища данных
с необходимостью доступа к высоко-
производительным вычислительным
комплексам для получения научных
данных и их анализа. Такие вычисли-
тельные комплексы в настоящее время
в основном используются для реше-
ния расчетных задач, не требующих
работы со сверхбольшими данными.
Однако гигантские объемы данных
полностью исключили традиционный
ранее способ работы – загрузка данных
из хранилища на сервер для обработки.
Причем, основная проблема состоит в
стоимости каналов связи, а не храни-
лища. Все работы по обработке данных
эксперимента требуется вести в самом
хранилище с использованием вычисли-
тельных кластеров. С другой стороны,
и в задачах численного моделирования
появились требования к возможности
сохранения текущего состояния в
СУБД, например, расчет космологи-
ческой эволюции Вселенной требует
сотни гигабайт для сохранения одного
«слепка» Вселенной.
• Обычно из-за низкой произво-
дительности современных систем
исходные данные научных наблюдений
хранятся вне каких-либо СУБД и
только метаданные индексируются в
базе данных. Для доступа и обработки
исходных данных научным коллекти-
вам приходится разрабатывать свои
программные системы под каждую
конкретную задачу, которые зачастую
представляют собой плохо документи-
рованный набор скриптов. При таком
подходе очень трудно поддерживать
целостность данных, версионность дан-
ных, историю их изменений, получение
научных результатов из сырых данных,
что затрудняет воспроизводимость
научных результатов. Климатгейт
стал возможным в частности из-за
плохой организации работы с данными,
которая позволила модифицировать
сырые данные!
• Сложная организация проектов –
много участников, разные источники
финансирования – определяет необ-
ходимость поддержки определенной
политики доступа к данным. С другой
стороны, в науке ценят доступность
данных, и лицензионные ограничения
на использование СУБД могут мешать
свободному обмену данными. Кроме
того, закрытая лицензия может ме-
шать развитию программных средств.
• Распределенность данных – данные
хранятся в разных научных центрах
для локализации трафика, по физиче-
ским причинам: резервирование данных,
масштабирование нагрузок.
• Очень трудно отслеживать изме-
няемость данных, например, изменение
процедуры обработки сырых данных, до-
бавление новых данных и т. д. Данные
должны сопровождаться информацией
о происхождении (источник, автор,
качество, ...). Это очень важно, так
как в науке нередки запросы, в которых
участвуют данные из разных архивов,
разного качества и надо быть уверен-
ным, что, например, исследователя
устраивает качество данных.
• Аннотирование данных – воз-
можность хранить пометки разной
степени детализации: на уровне табли-
цы, атрибута и конкретного значения.
Требуется эффективное хранение анно-
таций и доступ к ним для баз данных
петабайтного размера.
• Популярные задачи анализа дан-
ных, поиска зависимостей в сверхболь-
ших базах данных являются крайне
неэффективными в силу немасштаби-
рованности архитектуры классических
Су п е р К о м п ь ю т е р ы  31
СУБД.
• Очень большое разнообразие типов
данных и запросов – трехмерные объек-
ты, временные ряды, треки элементар-
ных частиц и т. д.
• Нет поддержки работы с измерени-
ями, которые отличаются от обычных
данных тем, что они всегда имеют
определенную погрешность (приборов).
Научные данные зачастую бывают
цензурированными, могут содержать
пропущенные значения. В астрономии,
например, отсутствие звезды на сним-
ке означает лишь то, что условия
наблюдений (инструмент плюс погода)
не позволили ее увидеть. Анализ таких
данных очень важен, но фактически
абсолютно не поддерживается совре-
менными системами.
• Требование получения «быстрых»
результатов («Early Science») – необ-
ходимость исследовать и публиковать
полученные данные в строго опреде-
ленный срок для того, чтобы успеть
подготовить и подать успешную заявку
на следующий цикл исследований. Это
приводит к предельной интенсифика-
ции изучения полученных данных (воз-
можно, делает его существенно более
поверхностным).
• Машины стали основными произво-
дителями информации и ее потребите-
лями, поэтому требуется обеспечить
прежде всего не интерактивную работу
с данными, а программный доступ к
ним, чтобы можно было автоматизи-
ровать рутинные работы обработки
наблюдений, поиска данных. Прежде
всего это относится к проблеме эффек-
тивного хранения и доступа семанти-
ческой информации в базах данных.
• Слабое развитие средств визуали-
зации сверхбольших объемов данных для
интерактивной работы исследователя.
Эти проблемы необходимо срочно
решать в ближайшее время, так как
технологии производства прием-
ных устройств (сенсоров) непре-
рывно улучшаются, что приводит
к дальнейшему росту данных, а
следовательно, к усугублению опи-
санных проблем.
Очевидным выводом из описанных
проблем является необходимость
расширения функциональности
СУБД. Исторически СУБД предо-
ставляли пользователям способы
хранения и работы с данными,
а сами данные готовились для
загрузки отдельной процедурой.
Очевидно, что подобное разделение
не может поддерживать целостно-
сти и воспроизводимости науч-
ных результатов. Напрашивается
естественный вывод – перенести
сами сырые данные, их обработку
(cooking) и подготовку научных дан-
ных в СУБД, т. е. СУБД должна под-
держивать полный цикл работы с
данными: хранение сырых данных,
обработку сырых данных, анализ
научных данных, обмен данными.
Выбор СУБД для
научных данных
В настоящее время насчитывается
около сотни различных СУБД, от
классических реляционных СУБД
(Oracle, SQL Server, PostgreSQL,
MySQL, Firebird, Ingres, …), которые
обладают богатым набором возмож-
ностей, но их архитектура заклады-
валась во времена одного (несетево-
го) большого и дорого компьютера
с маленькой памятью и одноядер-
ным процессором, до специализи-
рованных хранилищ, оптимизиро-
ванных для решения определенных
задач (Vertica, H-Store, StreamDB, ...).
Посередине находятся СУБД, для
которых самым важным является
масштабирование и ограниченный
набор возможностей.
Эти СУБД ориентированы на со-
временную многоядерную архитек-
туру дешевых серверов с большой
памятью, организованных в класте-
ры. Какой же класс СУБД годится
для науки? Очевидно, что богатые
возможности реляционных СУБД
крайне интересны для науки, но
также очевидно, что строгая целост-
ность и изоляция данных (CI в
ACID) не важны, так как данные в
науке в основном WORМ и вполне
достаточна eventual consistency (в
конце концов).
Кроме того, реляционной модели
не присуща внутренняя упоря-
«Суперкомпьютеры» № 1 (5) весна 2011
32 Су п е р К о м п ь ю т е р ы
доченность, в то время как для
«сенсорно-ориентированной»
науки естественно хранить дан-
ные в массивах, которым присуща
упорядоченность! В реляционной
модели реализация массивов очень
неэффективна.
От СУБД требуется масштабиру-
емость по объему данных, но не
нужна большая конкурентность
запросов и ориентированность на
фиксированное время ожидания
результата.
В то же время науке требуется более
богатая модель данных, нежели
пары (ключ, значение).
Многие науки согласились с тем,
что наиболее важная структура
данных – это многомерный вложен-
ный массив с неровными краями
и оптимизацией для разреженных
данных.
В последнее время появилось много
систем, обеспечивающих высокую
производительность запросов в
параллельном режиме: Data Shards,
Greenplum, Aster Data, HadoopDB и
другие. Все они работают с реляци-
SciDB – новая СУБД для больших
объемов научных данных
Проект SciDB возник как результат
оценки сложившейся ситуации в
больших научных проектах ведущи-
ми учеными разных наук, предста-
вителями коммерческих компаний
и разработчиками в области СУБД
(систем управления баз данных).
Проблемы обсуждались на серии
конференций XLDB. Возглавил его
знаменитый профессор MIT Майкл
Стоунбрейкер с коллегами из круп-
нейших университетов США. Стар-
товал проект в 2008 году. Помимо
американских ученых в нем задей-
ствованы Российские ученые и раз-
работчики из НИИСИ РАН и ГАИШ
МГУ. Майкл Стоунбрейкер – автор
первой реляционной СУБД Ingres,
СУБД Postgres и множества других
успешных систем
www.supercomputers.ru
онной моделью данных, которая
плохо подходит под задачи обработ-
ки научных данных.
Вместо многомерных массивов
в этих базах хранятся множества
объектов, поэтому запросы, затраги-
вающие окрестности точек или вы-
борки из определенных интервалов
в этих системах, делаются крайне
неэффективно.
Кроме того, так как эти системы
основаны на традиционных СУБД,
они страдают низкой производи-
тельностью из-за большого количе-
ства ключей, которые надо получать
для выполнения запросов, из-за
записи данных в журнал и из-за
управления страницами памяти.
В системах, использующих
MapReduce для достижения парал-
лельности, пользователю самому
приходится разрабатывать план
запроса и план распределения дан-
ных по узлам на низкоуровневом
языке программирования.
Если к требованию поддержки
массивов добавить специфические
для науки требования, такие как
Основная цель проекта – разработка
в кратчайшие сроки СУБД для нужд
больших научных и промышлен-
ных проектов, в которых требуется
анализ сверхбольших объемов
данных (сотни и тысячи петабайт),
масштабируемая на тысячи серве-
ров.
Система SciDB имеет ряд принци-
пиальных отличий от существую-
щих СУБД. SciDB разрабатывается
как система для хранения и анализа
сырых и производных научных
данных. Некоторые основные функ-
ции традиционных баз данных не
поддерживаются в SciDB, позволяя
системе более эффективно обра-
батывать аналитические запросы.
Например, так как исходные дан-
ные фактически не обновляются, в
поддержка версионности, проис-
хождения, аннотирования данных,
данных с ошибками и
т. д., то можно прийти к выводу, что
на сегодняшний момент нет СУБД,
ориентированной на современную
и будущую науку.
Майк Стоунбрейкер считает, что
надо перестать «латать» устаревшие
СУБД, что требуются кардинальные
изменения в технологии СУБД, а
именно – изменение принципа
хранения данных.
Он считает, что эра обычных
больших СУБД общего назначения
прошла (http://www.databasecolumn.
com/2007/09/one-size-fits-all.html)
и требуются совершенно новые
подходы к созданию современной
БД, которая с самого начала будет
ориентирована на распределен-
ность, параллельное исполнение
запросов, компрессию, ориентацию
на хранение по атрибутам,
высокую доступность и линейное
масштабирование с использовани-
ем кластеров независимых серве-
ров.
Текст Р о м а н С и м а к о в ( Н И И С И ) ,
К о н с т а н т и н К н и ж н и к ( Н И И С И РА Н ) ,
Артем Смирнов (Муромский институт)
SciDB не предусмотрена эффектив-
ная поддержка больших объемов
транзакций, что позволяет избежать
серьезных накладных расходов.
Наконец, SciDB – проект с откры-
тым исходным кодом и бесплатной
лицензией на использование, что
отвечает требованиям большинства
заказчиков. Открытый код позволя-
ет экономить средства заказчиков
на масштабные внедрения системы,
а открытый процесс разработки
обеспечивает высокое качество
технических решений. Кроме того,
открытость СУБД обеспечивает тех-
нологическую независимость и воз-
можность обмена данными между
разными научными коллективами.
Кроме привычных функций систем
управления базами данных в SciDB
присутствуют новые механизмы
работы с данными, специально
разработанные для анализа науч-
ных данных. Модель данных SciDB
представляет собой многомерные
вложенные массивы. Так как в SciDB
будут храниться данные, получен-
ные с приборов, SciDB поддержива-
ет погрешность измерений на уров-
не модели данных и языка запросов.
Наконец, SciDB изначально разра-
батывается для работы на большом
спектре вычислительных систем, от
переносного ПК до больших кла-
стеров и суперкомпьютеров. Таким
образом, ученые смогут работать с
данными в одной среде, например
отлаживая аналитические алгорит-
мы на персональных компьютерах
и используя небольшую выборку
данных, а отлаженные запросы без
изменений запускать на высоко-
производительных кластерах. Также
SciDB интегрируется с популярны-
ми вычислительными пакетами
программного обеспечения, такими
как R, Matlab и другие, что позволит
ученым использовать уже готовые
алгоритмы обработки данных при
переходе на SciDB.
Основные характеристики раз-
рабатываемой СУБД
• Хранение сырых данных; их об-
работка происходит в самой
СУБД с помощью пользователь-
ских процедур для обеспече-
ния версионности и истории
изменения данных – полноцен-
ная поддержка полного цикла
работы с научными данными.
• Модель описания научных данных
– это многомерный вложенный
массив с неровными краями.
• Декларативный язык запросов для
работы с массивами.
• Вертикальное (поатрибутное)
хранение данных для компрес-
сии и уменьшения операций
ввода-вывода.
• Сохранность данных за счет
репликации части данных на
разных узлах системы.
• Масштабируемость СУБД от
ноутбука до x1000 серверов для
хранения x10 петабайтов.
Су п е р К о м п ь ю т е р ы  33
• Расширяемость типов данных и
запросов.
• Отказ от поддержки транзакций,
которые не нужны для научных
данных (WORM – Write Once
Read Many) и которые сильно
усложняют архитектуру СУБД
и вносят существенные расхо-
ды на их поддержание. Вместо
ACID будет использоваться мо-
дель BASE (eventual consistency),
что вполне достаточно для на-
учных данных. В свою очередь,
это позволяет избежать журна-
лирования и большого количе-
ство замков, присутствующих в
традиционных СУБД.
• Свободная лицензия GPL 3.0.
SciDB – это массивно параллель-
ная СУБД с архитектурой shared
nothing, то есть каждый узел SciDB
работает только с локальными дан-
ными и памятью.
Сырые данные, поступающие на
кластер, раскидываются системой
на подмассивы с перехлестом, раз-
мер массивов и перехлеста пока
задается пользователем. Кластер
управляется координатором для
каждого запроса, то есть в системе
могут быть несколько координато-
ров в зависимости от загруженно-
сти системы. Каждый координатор
компилирует запросы в планы
и рассылает их рабочим узлам,
которые на основе лежащих в них
данных выполняют запросы. Если
требуются дополнительные данные
на рабочих узлах, то в план запроса
вставляется оператор Scatter/Gather,
который рассылает дополнитель-
ные данные.
Рассмотрим пример из астрономии,
где в SciDB хранятся изображения с
ПЗС-матрицы. Каждый узел хранит
какое-то подмножество данных,
причем на логическом уровне
данные представлены как массив
кортежей, <x, y, l, err> в нашем при-
мере ( x, y – это координаты точки
на CCD, l – значение сигнала, err –
ошибка измерения). На физическом
уровне массивы разных атрибутов
хранятся отдельно. Такая модель
получила название вертикальной и
часто используется в современных
СУБД. Основные преимущества та-
кой модели в том, что данные луч-
ше сжимаются, так как сжимаются
данные одного типа и при запросах
выбираются только те атрибуты,
которые необходимы для вычисле-
ния запроса. Также на физическом
уровне массивы атрибутов хранятся
в чанках, то есть больших страни-
цах, которые тоже включают в себя
перехлест. Таким образом, единицей
обработки данных в SciDB является
чанк с перехлестом.
Как известно, научные запросы к
массивам данных часто требуют
локальных вычислений, то есть
вычислений в небольшой окрест-
ности каждой точки. Например, в
анализе изображений часто ис-
пользуют фильтры для сглаживания
изображений. SciDB поддерживает
запросы, включающие в себя анализ
окрестности точек, используя чанки
с перехлестом. Если перехлеста
данных достаточно для запроса,
то SciDB параллельно выполняет
запрос на всех узлах. Если перехлест
недостаточен, то в план вставляется
оператор Scatter/Gather, который
увеличивает перехлест.
Также модель хранения данных в
SciDB предусматривает репликацию
для обеспечения отказоустойчиво-
сти системы. Каждый чанк масси-
вов, хранящихся в SciDB, реплици-
руется на других узлах, а при работе
SciDB координатор проверяет
задействованные рабочие узлы,
чтобы вовремя понять, что какой-то
узел вышел из строя. В этом случае
для обработки запроса используют-
ся резервные данные, лежащие на
других узлах.
При разработке SciDB учитывалось,
что научные данные меняются
редко и что необходимо хранить
и иметь доступ ко всем верси-
ям данных. Однако в отличие от
коммерческих СУБД не требуется
поддержка большого потока тран-
закций. Поэтому при разработке
системы удалось избежать исполь-
зования большого количества
синхронизационных механизмов,
«Суперкомпьютеры» № 1 (5) весна 2011
34 Су п е р К о м п ь ю т е р ы
которые присутствуют в традици-
онных СУБД. Это серьезно ускоряет
работу системы, особенно в режиме
параллельного доступа к данным,
где традиционным системам прихо-
дится использовать распределенные
менеджеры замков.
Наличие декларативного языка
запросов к массивам обеспечивает
прозрачный доступ к терабайтам
многомерных данных. В SciDB
реализован язык AQL (Array Query
Language), во многом похожий на
язык SQL. В AQL присутствует такая
же конструкция SELECT FROM
WHERE, только язык оперирует с
массивами, а не с множествами.
Язык запросов AQL позволяет фор-
мулировать запросы, анализирую-
щие окрестности точек. Разбиение
данных по чанкам с перехлестами
позволяет выполнять такие запро-
сы параллельно без коммуникации
вычислительных узлов. Один из
основных операторов AQL – это
REGRID, который во многом похож
на популярный MapReduce. REGRID
создает новый массив данных на
основе исходного, пользуясь двумя
функциями – доменной и агрегат-
ной. Доменная функция выбирает
подмножество массива для подсче-
та, а агрегатная функция подсчиты-
вает значение элемента выходного
массива. Используя REGRID, гораздо
проще выбирать точки с их окрест-
ностями, а модель хранения чанков
с перехлестом позволяет вычислять
выходной массив параллельно на
всех узлах без коммуникаций. Рас-
смотрим пример использования
оператора REGRID для сглажива-
ния исходных данных гауссовским
фильтром.
SELECT l FROM CCD AS C
REGRID (
SELECT l FROM CCD AS C1 WHERE
C1.i BETWEEN C.i–20 AND C.i+20
AND C1.j BETWEEN C.j-20 and
C.j+20,
SUM( C1.l * a*e^( (-i-b1)^2/(2*c1^2) +
(-j-b2)^2/(2*c2^2)))
В этом примере первый параметр в
операторе REGRID выбирает окрест-
ность точек 40х40 вокруг входной
www.supercomputers.ru
Су п е р К о м п ь ю т е р ы  35
Beowulf
точки массива, а второй оператор разований данных позволяет поль-
считает гауссовскую функцию на зователям SciDB получить точную
основе выбранных точек. информацию о версиях данных и
возвращается
В реляционных базах такие запросы о всех вычислениях, произведен-
невозможны, даже простая выборка ных над исходными данными. Это
данных, когда пользователю надо позволяет эффективно устранять
выбрать куб данных – то, что делает ошибки в алгоритмах переработ-
доменная функция, – уже сложная ки данных, отслеживать процесс
задача для реляционных баз. Для переработки исходных данных
этого реляционным базам требуется при получении подозрительных
многомерный индекс или при- результатов, и в точности повто-
Текст Л е о н и д Ч е р н я к
дется пробежаться по всем данным рять вычисления над исходными Иллюстрация В и к т о р и я И в а ш к о в а
таблицы, в то время как в SciDB это данными. При этом SciDB работает
встроенная возможность. без каких-либо ограничений, как на
В системе MapReduce такого рода суперкомпьютерном кластере, так и
запросы в принципе возможны – на персональном компьютере, что
можно использовать функцию map, позволит ученым работать в одной
чтобы выбирать окрестности точек, и той же среде со своими данными.
В 1993 году Дональд Беккер и То-
и функцию reduce для подсчета Система SciDB также отслеживает
агрегатов. Но при этом усложняет- происхождение данных. При обра-
мас Стерлинг построили 16-про-
ся работа пользователя и теряется ботке сырых данных и полученных
эффективность: написать функцию из них объектов SciDB запоминает
цессорный кластер и нарекли
map, которая эквивалентна домен- запросы, с помощью которых были
ной функции regrid и выбирает получены те или иные результаты.
его именем Beowulf, которое
чанки с перехлестом, бывает сложно По требованию пользователя СУБД
и map разбрасывает данные, совпа- может проиграть процесс получе-
впоследствии стало названием
дающие по ключам, по узлам для ния результатов из сырых данных
параллельного слияния. А regrid или выдать выборку базы данных,
для целого класса высокопроиз-
использует исходное разбиение которая требуется для получения
данных и в большом количестве результата.
водительных компьютеров
случаев не требует перераспределе- После переработки исходных
ния данных по узлам. Таким обра- данных SciDB позволяет делиться
зом, regrid является более удобной иполученными результатами, осу-
одновременно более эффективной ществлять выборки и выполнять
версией MapReduce для работы с на- аналитические запросы широкому
учными данными. кругу коллег, при этом соблюдая
политику доступа как к данным, так
и к полученным результатам. Это была первая попытка заменить логий при создании аналогичных нающем обычный язык ассемблера
Полноценная Таким образом, SciDB поддерживает доступным для ученых решением суперкомпьютеров в дополнение к для CPU – работая на нем, раз-
поддержка полного полный цикл обработки и анализа стоящие многие миллионы дол- классическим процессорам (CPU) работчику приходится учитывать
цикла работы с данных, начиная от хранения сы- ларов суперкомпьютеры, правда, можно предложить три подхо- необходимость синхронизации,
научными данными рых данных и заканчивая анализом с учетом того, что область приме- да: программируемые матрицы обработки прерываний и другие
Как упоминалось раньше, из-за полученных результатов. При этом нения таких кластеров ограничена (FPGA), графические процессоры особенности взаимодействия ком-
недостатков существующих СУБД все результаты, полученные в СУБД, классом распараллеливаемых (GPU) и процессоры Cell в том или понентов на аппаратном уровне.
большинство научных проектов, в повторяемы и могут быть воспроиз- традиционными средствами задач. ином сочетании. Как следствие, FPGA используются
которых встает задача анализа боль- ведены пользователем системы. Основу первого кластера Beowulf Массивы FPGA известны с 1984 в ограниченном количестве важ-
ших объемов данных, осуществляют К настоящему времени выпущена составили «бытовые» компью- года, их изобрел Росс Фриман, ных приложений, где необходим
обработку и анализ исходных дан- версия 0.75, в которой еще много теры в такой комплектации – основатель компании Xilinx, оста- большой объем счета при неболь-
ных вне системы управления базами ограничений, однако тестирование 486DX4/100 МГц, 16 Мбайт памяти ющейся поныне основным произ- шом объеме используемой памяти,
данных. SciDB решает эту проблему, системы на научных данных и и три сетевых адаптера на каждом водителем изделий этого класса. в том числе в криптографии, в
обеспечивая эффективное и удоб- типичных запросах уже показало узле плюс три «параллельных» Привлекательность идеи создания обработке изображений, в маршру-
ное хранилище исходных данных и лучшую производительность по Ethernet-соединения с пропуск- специализированного аппаратного тизаторах и другом сетевом обору-
широкий набор инструментов для сравнению с реляционными СУБД. ной способностью по 10 Мбит/с. обеспечения заметно ослабляется довании.
обработки и анализа данных. Верси- Полноценная версия 1.0 готовится к Семнадцать лет спустя на суще- сложностью программирования Графические ускорители (GPU)
онное хранилище и учет всех преоб- выпуску в мае 2011 года. ствующем уровне развития техно- FPGA на языке описания, напоми- были изобретены раньше, чем
«Суперкомпьютеры» № 1 (5) весна 2011
36 Су п е р К о м п ь ю т е р ы
FPGA,
но они
получи-
ли массовое
распространение
несколько позже вме-
сте с развитием игровой
индустрии. Производство
GPU сосредоточено в двух ком-
паниях – NVIDIA и ATI, купленной
AMD. Чтобы переориентировать
GPU на решение вычислительных
задач, можно пойти двумя путями:
первый – подогнать решаемую
задачу под графическую и восполь-
зоваться графическими языками
типа OpenGL или DirectX, второй
– научиться программировать
непосредственно GPU. По послед-
нему пути пошла NVIDIA, предло-
жив архитектуру Compute Unified
Device Architecture и CUDA toolkit
для Linux и Windows. В китайском
Tianhe-1A, занимающем верхнюю
строчку в Top 500, использованы
процессоры Fermi (GeForce 400).
Процессор Cell разрабатывался с
2000 года в исследовательском цен-
тре IBM, расположенном в Остине,
более чем 400 инженерами из
компаний Sony, Toshiba и IBM по
совместному проекту STI. Практи-
ческое использование Cell началось
с 2006 года с выпуска игровой при-
www.supercomputers.ru
ставки PlayStation 3, построенной
на базе этого процессора. В марте
2007 года было объявлено, что он
будет производиться по техно-
логии 65 нм, а в феврале 2008-го
IBM объявила о переходе на 45 нм
технологию и версию PowerXCell 8i
с удвоенной точностью операций
с плавающей точкой. В том же году
IBM выпустила суперкомпьютер
Roadrunner, первым преодолевший
петабайтный барьер. Хотя архи-
тектура Cell не имеет аналогов, в
ней несложно усмотреть мотивы
векторного Cray-1. Достоинство
Cell в том, что при близкой к GPU
производительности на нем проще
программировать универсальные
приложения. Cell состоит из одного
центрального Power Processor
Element (PPE) и восьми синергети-
че-
ских
процессо-
ров Synergistic
Processor Elements
(SPE), одного ин-
терконнекта Element
Interconnect Bus (EIB),
одного контроллера прямого
доступа к памяти Direct Memory
Access, двух контроллеров памяти
Rambus XDR и двух контроллеров
интерфейсов Rambus FlexIO. Про-
цессор PPE инициирует работу и
в дальнейшем управляет работой
процессоров SPE, на нем работает
операционная система, выполня-
ется логическая часть приложения,
а интенсивные вычисления пере-
носятся на процессоры SPE. Функ-
цию PPE выполняет 64-битный
процессор с архитектурой Power, а
SPE – процессоры, работающие на
частоте 4 ГГц, с регистровой матри-
цей 128x128 и наборами реги-
стров для операций с плавающей
точкой. Процессоры SPE можно
представить как векторные, они
выполняют множество операций
в пределах одной команды. Осна-
щенная процессором Cell игровая
консоль PlayStation 3 на самом деле
является мощным компьютером,
который может быть использован
для научных целей. Одним из
тех, кому пришла в голову мысль
создать PS3-кластер, оказался Гуарав
Ханна, астрофизик из Массачусет-
ского университета в Дортмуте.
Располагая грантом в сумме всего
15 тысяч долларов, он решил само-
стоятельно собрать кластер PS3
Gravity Grid из шестнадцати игро-
вых консолей для решения задач,
связанных, как следует из названия,
с изучением проблем гравитации.
В результате он получил вычисли-
тель, примерно равный по мощ-
ности обычному кластеру из 200
процессоров на базе x86, но при
этом по показателям стоимости и
энергопотреблению в 10 раз более
эффективный. Свой выбор в пользу
PlayStation 3 в качестве узла Ханна
объясняет в том числе и тем, что
выпускаемое большим тиражом
игровое устройство имеет самый
высокий показатель «цена/произ-
водительность», что критично при
его ограниченном бюджете.
Стоимость покупных компонен-
тов PS3 Gravity Grid составила
всего 5000 долларов, из них 3200
на сами консоли, остальное –
коммутационное оборудование,
было использовано свободное ПО.
Если отбросить детали, то Ханна
построил аналог классического
университетского кластера Beowulf,
но не х86, SPARC или Alpha, как
когда-то в начале девяностых. Этим
его проект отличается от других,
где PlayStation 3 объединяют в
слабосвязанный грид. Экспери-
мент оказался удачным – по его
результатам Ханна получил не-
сколько заказов от академических
организаций. Если PS3-кластер,
собранный в Массачусетском
университете, можно сравнить с
первыми «Беовульфами», представ-
лявшими собой сборку из готовых
ПК, расставленных на стеллажах,
то другая машина, Condor Cluster,
запущенная в работу в ноябре ми-
нувшего года в исследовательской
лаборатории Affiliated Resource
Center for the DoD по програм-
ме High Performance Computing
Су п е р К о м п ь ю т е р ы  37
Modernization Program (HPCMP)
(США) может составить реальную
конкуренцию суперкомпьютерам,
занимающим верхние позиции
в рейтинге Top 500. Лаборатория
расположена в городе Рим, штат
Нью-Йорк. Программа модерниза-
ции высокопроизводительных вы-
числений HPCMP действует с 1992
года, ее целью является концен-
трация и централизация использу-
емых ресурсов. Среди решаемых
задач – планирование операций
ВВС США в текущих условиях в
Ираке и Афганистане и выработка
стратегий на будущее. Произво-
дительность Condor Cluster оцени-
вается примерно в 500 Тфлопсов,
при этом соотношение «цена/
производительность» на порядок-
полтора ниже, чем у конкурентов,
а удельное энергопотребление
почти на порядок меньше. Цифры
таковы: стоимость оборудования,
приобретенного для сборки этого
PS3-кластера, составила 2 миллио-
на долларов, а потребление – 300
кВт. Для сравнения, Roadrunner
с производительностью в два с
небольшим раза больше стоил, по
разным оценкам, от 150 до 185 млн
долларов, отечественный кластер
«Ломоносов» при его нынешней
производительности 350 Тфлопсов
потребляет 1 500 кВт.
В Condor PS3 Cluster установлено
1760 Sony PlayStation 3, плюс к ним
168 графических узлов общего
назначения. Стоит отметить, что
используются карты PS3 старого
образца, допускающие загрузку
Linux, – новые в формате slim не
имеют такой возможности, но Sony
обещает в случае необходимости
восстановить производство. Основ-
ной структурной единицей Condor
PS3 является Cell Cluster, состоящий
из 14 узлов, связанных системой, и
коммутации на основе InfiniBand
и 1/10 GB Ethernet. В максималь-
ную конфигурацию могут быть
скомпонованы до 6 таких Cell
Cluster. Каждый из узлов Cell Cluster
состоит из 22 или 24 PS3, сконфигу-
рированных как снежинка, и цен-
трального кластера HORUS – он
выполняет управляющие функции
и служит для работы с графиче-
скими данными. Таким образом,
всего в Condor PS3 может быть
собрано до 2000 PS3, но реально не
более 1760. Технические параметры
используемых PS3 таковы: цена –
380 долларов, процессор – Cell BE,
память – 256 Мбайт RDRAM, диск
– 160 Гбайт, используемое ПО –
Sony Hypervisor, Fedora Core 7 или
9 Linux или YDL 6.2, IBM CELL SDK
3.1. Кластер HORUS состоит из 18
узлов, каждый имеет два процес-
сора Nahlem x5650, 24 Гбайт RAM,
диск 2 Тбайта и два процессора
Tesla GPGPU. Система коммуника-
ции построена по иерархическому
принципу – каждая из PS3 одного
узла подключается к общему ком-
мутатору по каналу 1GbE, который,
Основу первого кластера Beowulf составили
«бытовые» компьютеры в такой комплектации
— 486DX4/100 МГц, 16 Мбайт памяти и три
сетевых адаптера на каждом узле плюс
три «параллельных» Ethernet-соединения с
пропускной способностью по 10 Мбит/с.
Семнадцать лет спустя на существующем уровне
развития технологий при создании аналогичных
суперкомпьютеров в дополнение к классическим
процессорам (CPU) можно предложить три
подхода: программируемые матрицы (FPGA),
графические процессоры (GPU) и процессоры
Cell в том или ином сочетании
в свою очередь, подключается к
вычислительно-управляющему
кластеру HORUS по каналу 10GbE.
Узлы последнего объединены 40
Гб/с InfiniBand. Суммарная произ-
водительность Condor PS3 скла-
дывается из двух составляющих:
примерно 300 Тфлопсов дают PS3
и еще 200 Тфлопсов дают процес-
соры GPGPU. Платы PS3 устанав-
ливаются в самодельные стойки,
настолько простые, что со стороны
Condor выглядит больше похожим
на склад запасных частей, чем
на суперкомпьютер. И все же он
показал высокие эксплуатацион-
ные результаты, однако создатели
рассматривают свою работу как
эксперимент на пути к созданию
еще более мощных гибридных
суперкомпьютеров.
«Суперкомпьютеры» № 1 (5) весна 2011
38 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  39

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

40 Су п е р К о м п ь ю т е р ы
Windows берется
за расчетные задачи
В начале 1990-х годов в IT-
терминологии произошло
знаменательное событие: в
обозначении всей отрасли
понятие «вычислительная тех-
ника» было заменено на «ин-
формационные технологии»
Это отражало реальный, можно
вполне сказать, революционный
перелом в развитии ВТ -IT: основ-
ные вычислительные ресурсы
теперь стали использоваться не для
расчетных задач, а для выполне-
ния широкого класса бизнес-задач,
характеризуемых как раз тесной
связкой «вычисления + данные +
пользователи + коммуникации».
Расчетные задачи ушли далеко на
задний план и практически ис-
чезли из поля зрения «рыночных
интересов» IT-поставщиков.
Конечно же, потребность в расчет-
ных задачах у общества нисколько
не уменьшалась в абсолютных по-
казателях, хотя относительная доля
резко сократилась. Но в последнее
десятилетие интерес рынка имен-
но к вычислительным задачам стал
расти опережающими темпами. И
это опять нашло «словарное» под-
тверждение в виде появления тер-
мина «высокопроизводительные
вычисления» (High Performance
Computing, HPC).
Сейчас HPC часто отождествляются
с применением суперкомпьюте-
ров, но на самом деле это не так.
www.supercomputers.ru
Су п е р К о м п ь ю т е р ы  41
Текст А н д р е й К о л е с о в
Все же суперкомпьютеры – это реализована внутри программы, на
лишь один из вариантов реализа- этапе ее проектирования и коди-
ции HPC, который подразумевает рования. Это задача архитектора и
создание специализированных разработчика ПО (причем очень
локальных вычислительных непростая и реализуемая далеко не
комплексов, использующих соб- во всех случаях), а не исполняю-
ственные операционные среды щего HPC-механизма. По мнению
и зачастую ориентированных на экспертов, именно HPC способ-
решение определенного класса ствуют резкому снижению стоимо-
задач. Второй вариант (его часто сти вычислений при выполнении
называют именно HPC, но в более сложных расчетных задач (рис. 1).
узком значении термина), который При этом важно, что снижение
сейчас находит все более широкое стоимости идет совсем не только
применение, базируется на идее за счет уменьшения цены про-
параллельных распределенных вы- изводства оборудования (микро-
числений с использованием стан- электроники), а в первую очередь
дартных, в том числе разнородных в результате использования новых
программно-аппаратных средств. архитектурных подходов (напри-
С некоторым упрощением можно мер, сочетания традиционных и
сказать, что HPC – это развитие графических микропроцессоров) и поставщиков предлагают на рынке каций High Performance Computing традиции компания делает ставку
идей Grid Computing, но на более перехода к применению стандарт- решения для HPC. Достаточно Basic Profile (HPCBP), созданных на использование своих средств
массовом уровне. ных массовых средств. В резуль- сильны тут позиции сообщества сообществом Open Grid Forum. В на массовом рынке и расширение
Ключевой идеей HPC является тате темпы снижения стоимости Open Source. Неуклонно повышает сентябре 2010 года Microsoft вы- применения технологий HPC в
исполнение параллельных вы- вычислений и их доступность на свою активность в этом направ- пустила новую версию решения – коммерческих организациях (се-
числительных процессов. Но надо рынке в последние годы повыша- лении и корпорация Microsoft, Windows HPC Server 2008 R2. годня основными потребителями
иметь в виду, что возможность рас- ются драматическим образом (см. стартовавшая здесь летом 2006 года, По оценкам аналитиков, присут- HPC являются научные структуры
параллеливания конкретного при- таблицу). выпустив Windows Compute Cluster ствие Microsoft на верхнем уровне и университеты).
ложения должна быть изначально В настоящее время целый ряд IT- Server 2003 (CCS). В нем использо- высокопроизводительных систем В целом идея HPC Server достаточ-
вался протокол Microsoft Messaging пока невелико. По данным Википе- но проста: сервер (управляющий
Passing Interface v2 (MS-MPI) для дии, по состоянию на ноябрь 2009 узел) распределяет выполнение
взаимодействия вычислительных года Windows HPC занимал лишь расчетного задания по имеющим-
узлов. 1% (5 из 500) в списке 500 самых ся в его распоряжении ресурсам,
Повышение доступности Затем появился новый вариант мощных суперкомпьютеров мира причем это могут быть кластеры
высокопроизводительных средств этого продукта с новым названием (но по мощностям, измеряемым не только серверов, но и рабочих
Год 1991 1998 2005 Windows HPC Server 2008 (сентябрь в Гигафлопсах, доля чуть выше – станций. В новой версии HPC
пример систем Cray Y-MP C916 Sun HPC10000 Серверы х64 2008 г.). В нем был реализован 1,5%). Абсолютным лидером тут Server можно обращаться таким
производительность 10 Гфлопсов 10 Гфлопсов 10 Гфлопсов
стоимость 40 млн долл. 1 млн долл. 4 тыс. долл. новый высокоскоростной сетевой является Linux (89%), вторую по- же образом к облачным мощно-
снижение стоимости за 7 лет – в 40 раз в 250 раз протокол NetworkDirect RDMA, зицию занимает Unix (5%). стям сервисной платформы Azure,
круг пользователей Правительственные Большие Каждый ученый включены дополнительные сред- Но все же данные по Top 500 не применяя в полной мере модель
лаборатории корпорации и инженер
ства управления, а также появилась очень точно отражают реальные использования и оплаты ресурсов
поддержка кластерной интеропе- позиции и, что важнее, – перспек- по их фактическому использова-
Источник: Microsoft рабельности на основе специфи- тивы Microsoft. По своей давней нию (рис. 2).
«Суперкомпьютеры» № 1 (5) весна 2011
42 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  43

По данным западных исследова-
ний, в среднем в мире около 5%
серверов применяется для реше-
ния HPC-задач. Эксперты Microsoft
Разумеется, для применения HPC
необходимы приложения, способ-
ные исполняться в параллельных
потоках. Их пока явно недостаточ-
Портируем на GPU
Тестовые испытания показывают,
что применение служб поддержки
высокопроизводительных вычис-
лений в Windows HPC Server 2008

и оптимизируем для CPU

считают, что в России эта доля
заметно меньше, но она все же
растет и подтягивается к мировым
показателям.
Независимые исследования гово-
рят о том, что производительно-
сти HPC-системы на базе Windows
и Linux находятся примерно на
одном уровне, при этом стоимость
владения Windows HPC Server в
течение пяти лет на 32%-51% дешев-
ле аналогичных Linux-решений.
В качестве достоинств продуктов
для широкого круга пользователей
называются в том числе использо-
вание хорошо знакомой им среды
Windows и минимизация усилий
по развертыванию и эксплуатации
системы за счет реализации моде-
ли «все от одного поставщика».
но, но ситуация тут быстро меня-
ется.
До сих пор подобные работы по
распараллеливанию ПО выполня-
лись лишь для специализирован-
ных прикладных систем. Microsoft
намерена решительно переломить
эту ситуацию, расширив спектр
распараллеленного ПО, сотрудни-
чая при этом с ведущими разра-
ботчиками микропроцессорных
систем Intel и NVIDIA.
Компания, в частности, уже давно
совершенствует внутреннюю реа-
лизацию Excel – самого популярно-
го в мире «вычислительного» при-
ложения, широко используемого в
том числе при обработке данных
аналитиками биржевого рынка в
реальном времени.
R2 для электронных таблиц Excel
2010 сокращает время сложных вы-
числений на несколько порядков.
Например, для рабочей книги с
1700 записями время вычислений
удалось снизить с 14 часов до ме-
нее чем 3 минут.
По данным Microsoft, в настоящее
время с Windows HPC Server 2008
R2 работают уже сотни приложе-
ний, выполняющих высокопроиз-
водительные вычисления, причем
за последние два года их количе-
ство увеличилось в 16 раз. На дан-
ный момент о поддержке платфор-
мы Windows HPC Server объявили
40 партнеров (как разработчики
ПО, так и поставщики оборудо-
вания), в том числе 17 компаний,
работающих в России.
Текст М а к с и м К р и в о в , А н д р е й К а з е н н о в
Достаточно часто слышны заявления от NVIDIA, что вычислительное будущее за GPU. Intel
акцентирует внимание на том, что основным вычислителем является все-таки процессор и без
хорошего CPU нынче никуда. Летом появился исследовательский отчет IBM, в котором гово-
рится, что при должной оптимизации CPU сопоставим с GPU по float-производительности. А
Power7, само собой, обходит и Xeon, и GeForce. Это мы и решили проверить
П роверяться, конечно, будут не
маркетинговые заявления (что
слон сильнее кита, особенно на
Прежде чем переходить к непо-
средственному сравнению китов
и слонов (результат которого и так
процессора. Подобные звездочки
появляются явно не от хорошей
жизни и связаны они в первую
Марсе в зимнее время года), а тезис очевиден, особенно если посмо- очередь с большими трудоза-
о соответствии производитель- треть на график) , хотелось бы тратами на качественную GPU-
ности CPU и GPU при должной сказать пару слов о проведенной оптимизацию. Иногда дешевле и
оптимизации. Современный про- оптимизации. Последовательный проще остановиться на 100-крат-
цессор может выполнять десятки код, который шел вместе с приме- ном ускорении, чем потратить до-
инструкций за такт, а в одну SMP- ром NBody, был подвергнут ряду полнительные N дней и «выжать»
систему умудряются засунуть до модификаций. Структуры данных еще пару-тройку сотен гигафлоп-
восьми CPU. Если перемножить, то были переупорядочены, циклы сов, доведя итоговое ускорение до

Новости
получается около 100 ядер, кото-
рые вполне соответствуют 200-500
CUDA-ядрам графического ускори-
теля.
Чтобы тестирование было чест-
ным, было решено взять идеальное
для GPU приложение (более того,
Суперкомпьютер Мира заоптимизированное самими со-
верхнего уровня распараллелены
с помощью OpenMP, нижнего –
векторизованы через SSE-вставки, а
штатные компиляторы (Visual C++
и GCC) были заменены на более
быстрый Intel C++. На все про все
ушло не более 3 часов, плюс еще
один час на финальный тюнинг
красивого значения.
После подобных слайдов сразу
же появляется желание построить
что-то типа графика «зависимость
ускорения от потраченного вре-
мени программиста». Однако
начинают мучить смутные подо-
зрения, что на начальных этапах

для всего мира трудниками NVIDIA) и переписать

его под CPU.
профайлером. И результат полу-
чился впечатляющим – ускорение
этого эксперимента лидером будет
явно не NVIDIA. Поэтому если вы
Таким приложением оказался при- по сравнению с последовательным получили доступ на гетерогенный
IBM анонсировала суперкомпьютер следующего поколения, который будет мер NBody из NVIDIA CUDA SDK, кодом составило от 66 до 210 раз. И кластер, то перед переносом всех
установлен в Национальной Аргоннской Лаборатории, принадлежащей который показывает колоссальную это без MPI, все на одном узле! своих программ на CUDA стоит
министерству энергетики США. Это будет IBM Blue Gene/Q производительно- производительность и хоть как-то Если таким же образом посчитать задаться вопросом: «а оно вам
стью 10 Пфлопсов. Называться он будет Mira. Запуск запланирован на 2012 год. соотносится с реальными зада- ускорение на картах NVIDIA, то надо»? Вполне может оказаться,
Хотя машина и принадлежит министерству энергетики, объявлено, что поль- чами. Заоптимизирован он пре- оно составит примерно 400-600 что, потратив явно не один день
зоваться ей смогут ученые, выполняющие разработки для промышленности, восходно – из алгоритма на 20-30 раз. Победа GPU налицо. Однако на портирование, вы получите
участвующие в академических проектах и работающие в правительственных строчек получился 500-строчный если посмотреть на презентации такое же ускорение, как и после
исследовательских программах. Ученые приглашаются со всего мира. Упоми- cu-файл, а достигнутым NVIDIA, то хорошим результа- пары часов оптимизации кода под
наются такие задачи, как разработка новых эффективных батарей для электро- результатам посвятили целых 20 том перехода на GPU признается новые центральные процессоры.
мобилей, прагнозирование климатических изменений, эволюция вселенной. страниц в книге «GPU Gems 3». даже ускорение в 30-100 раз. А Понятно, что если нужны сотни
Сегодняшнее объявление органично сочетается с недавним выступлением после идет маааленькая звёздочка терафлопсов, то без графических
президента США Барака Абамы, в котором он говорил о важной роли супер- с пояснением, что в CPU-версии ускорителей никуда. Но если вы
компьютеров в будущем страны.
CPU-оптимизация – это использовалось только одно ядро просто хотите уменьшить время
не страшно
www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011
44 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  45

Бытует мнение, что

Тестовые системы И все-таки CPU не удалось обойти GPU Intel C++ является
самым быстрым
компилятором, но
Пиковая Достигнутая на процессорах
Тип Частота,
Количество ядер производительность, производительность, Эффективность Intel он еще
системы GHz
GFlops GFlops быстрее. Наши
тесты это
подтвердили
8 x AMD Opteron 8431 48 2.4 345.6 165.8 47%
4 x Intel Xeon X7450 24 2.4 230.4 130.5 56%
2 x Intel Xeon X5670 12 + 12 2.93 140.6 86.2 61%
2 x AMD Opteron 2427 12 2.2 79.2 39.6 50%
1 x NVIDIA Tesla C2050 448 1.1 1030.4 467.3 45%
1 x NVIDIA Tesla C1060 240 1.3 933 327 35%

работы существующей программы
в 5/10/15 раз, то CPU-оптимизация
может оказаться разумным выбо-
ром.
CPU против GPU
Гипотеза не подтвердилась — GPU
обходит CPU. Отрыв, правда, не
такой уж и большой – лидер среди
CPU-систем, машина от AMD с
8 процессорами, всего в два раза
медленней, чем старая Tesla С1060.
Если сравнивать с более новой Tesla
C2050, то отрыв увеличивается до 3
раз. В принципе, результат вполне
ожидаемый – пиковые произво-
дительности соотносятся как 1:3, а
эффективность использования всех
систем колеблется около 50%. Если
брать менее экзотические инстал-
ляции, в которых всего 2-4 процес-
сорных гнезда, то преимущество
GPU над CPU будет примерно
3-6-кратным. Это уже более жизнен-
ная ситуация, так как в каждом узле
гетерогенного кластера обычно
есть пара мощных центральных
Эффективность CPU-оптимизаций
Тип
Последователь
системы
ный код
8 x AMD Opteron 8431 1x
4 x Intel Xeon X7450 1x
2 x Intel Xeon X5670 1x
2 x AMD Opteron 2427 1x
процессоров и 2-3 ускорителя. По-
этому если вам удастся качествен-
но портировать программу на
GPU, то следует ожидать ускорения
примерно раз в 10. Если получи-
лась более внушительная цифра
(25/50/100), то, безусловно, это при-
ятный результат, о котором стоит
рассказать на конференции, но вы-
зван он неэффективным использо-
ванием центрального процессора.
Может показаться, что подобные
сравнения не совсем коррек-
тны – взяли кучу процессоров и
сравнили с одним единственным
ускорителем. А вот если взять еще
парочку ускорителей, то видеокар-
ты «порвут» центральные про-
цессоры, «как Тузик грелку». Это
верно, но в данном обзоре системы
рассматриваются с точки зрения
программиста. Сколько бы ни
было центральных процессоров,
это все одна SMP-система, где каж-
дый поток может адресовать лю-
бую ячейку памяти. Понятно, что
время доступа будет разное, кэши
разделены и подобную систему
Intel C++ OpenMP
4x 35.9x
5.2x 23.3x
4.2x 11x
4x 15x
формально стоит отнести к классу
ccNUMA. Но для программиста это
SMP. В случае же нескольких графи-
ческих ускорителей на плечи про-
граммиста ложатся операции по
копированию памяти, так как один
ускоритель не может адресовать
память другого. И в результате не
только алгоритм придется менять,
но и сама программа превратится
во что-то большое и MPI-подобное.
Поэтому сравнение систем в рам-
ках одной программной модели
если и не совсем корректно, то
вполне жизненно.
AMD против Intel
Так как были протестированы 4
CPU-системы, то сложно отказаться
от удовольствия и сравнить ре-
шения двух вечных конкурентов.
Правда, сравнивать приходится
дорогие и быстрые процессоры с
дешевыми и медленными. Если
посмотреть на график, то легко
заметить, что процессорам от AMD
требуется в два раза больше ядер,
SSE Всё вместе
7.3x 267x
8.9x 210.5x
7x 82x
7.3x 66x
чтобы догнать собратьев от Intel. И
это вполне логично, так как силь-
ными сторонами AMD являются
низкое удельное энергопотребле-
ние и высокая плотность компо-
новки в стойках.
Это ценно в действительно боль-
ших кластерах, но при попытке
сравнивать производительность
отдельно взятого узла безусловным
лидером будет Intel. Их процессо-
ры и большее количество инструк-
ций за такт выполняют, и частота у
них повыше.
Также они поддерживают техноло-
гии HyperThreading и TurboBoost,
что позволяет ускорить даже не
очень хорошо оптимизированные
программы. Результат всего этого
– 8 процессоров от AMD с трудом
обходят 4 процессора от Intel, име-
ющих такое же количество ядер и
такую же частоту.
С другой стороны, 8-процессорные
системы от AMD редкостью не
назовешь, в то время как 8 процес-
сорных гнезд в сервере Intel – это
скорее из области фантастики.
Также хотелось бы остановиться на
масштабируемости теста при таком
большом количестве ядер.
Почти на всех системах было
получено линейное ускорение, а
на 12-ядерном сервере от AMD –
даже суперлинейное (в 15 раз на 12
ядрах).
При этом у двух систем наблюда-
лись периодические «провалы»
производительности.
Так, на Intel'овском сервере техно-
логия HyperThreading лишь замед-
лила выполнение – когда реальные
ядра закончились и начали исполь-
зоваться виртуальные, производи-
тельность начала «скакать».
Вызвано это скорее всего и так хо-
рошей оптимизацией, в результате
которой неиспользуемых вычисли-
тельных блоков для виртуальных
ядер попросту не осталось.
Не совсем понятные проблемы на-
чались и у 48-ядерной системы от
AMD, когда добавление еще одного
ядра резко замедляло вычисления.
Логично предположить, что за-
гвоздка как раз кроется в 48 ядрах
– система сложная и кто-то кому-то
«не понравился».
А победит дружба
Подводя итог, стоит напомнить,
что тесты проводились только на
одной задаче. Если взять более
требовательную к памяти про-
блему (как это делали в IBM), то
видеокарты резко теряют позиции.
Если использовать модификацию
алгоритма Монте-Карло, то за-
медлятся уже центральные про-
цессоры. Поэтому перспективной
видится идея настоящих гетероген-
ных процессоров, предложенная в
AMD под названием Fusion. В них
на одном кристалле есть ядра как
центрального процессора, так и
графического ускорителя. И память
у них общая. Поэтому если такие
процессоры приживутся в супер-
компьютерах (а сейчас они только-
только появились в мобильных
устройствах), то проблемы выбора
как таковой уже и не будет.
«Тормозят» x86-совместимые ядра?
Переключим вычисления на по-
токовые ядра GPU. Или наоборот.
И делается все это автоматически,
возможно, даже без участия про-
граммиста.

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

46 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  47

Кто будет первым 1 февраля 2011 года группа компаний

«Т-Платформы» и Московский
ность в сочетании с возможностью
присоединиться к нему на любом
этапе. Первый этап конкурса уже

среди равных?
государственный университет имени М. В. завершен, по его итогам в конце
марта будут объявлены 30 лауреатов,
Ломоносова анонсировали старт конкурса каждому из которых будет выделено
проектов «Эффективное использование поощрительное финансирование на
GPU-ускорителей при решении больших начальный этап проведения работ
в размере 100 тысяч рублей. Второй
Текст К о м п а н и я « Т - П л а т ф о р м ы »
задач». По словам организаторов, основной этап продлится с начала апреля до
целью конкурса стала необходимость в середины мая, а третий, заверша-
популяризации использования графических ющий, – с середины сентября до
конца ноября. По окончании вто-
ускорителей как перспективного инструмента рого этапа будут выбраны 15 заявок
ускорения расчетов сложных задач с финансированием в размере 200
тысяч рублей на каждый проект, а по
итогам третьего этапа будут выбраны
Мировая практика показывает, только 12% систем установлены в 8 победителей, которые получат по

Стремление что суперкомпьютеры являют-

ся незаменимым инструментом
промышленных организациях. Бо-
лее 20% рейтинга Top500 применяет-
500 тысяч рублей. Общий призовой
фонд конкурса составит 10 милли-

конкретного для проведения исследований в

стратегически важных отраслях
ся для исследований, в то время как
в российском рейтинге эта цифра
онов рублей – весомый вклад в раз-
витие отечественной науки.

человека или
экономики, а одним из последних составляет 14%. Справедливости Вообще необходимо отметить, что
веяний в суперкомпьютинге стало ради надо сказать, что это отста- сотрудничество МГУ и группы ком-
активное применение графических вание носит не технологический паний «Т-Платформы» носит не толь-

целой организа- процессоров. Например, расши-

рение суперкомпьютера «Ломоно-
характер – российские технологии
вполне конкурентоспособны. Дело
ко коммерческий, но и стратегиче-
ский характер. Объявление конкурса

ции к техноло- сов» – самой мощной системы в

России на сегодняшний день – до
в другом: у многих организаций
нет средств на аренду или покупку
стало одним из последствий подпи-
сания в середине ноября прошлого

гическим вер-
800 Тфлопсов будет реализовано на высокопроизводительных решений, года Меморандума о намерениях по
базе новейшей гибридной блейд- нет профессиональных кадров, сотрудничеству в области создания
системы TB2-TL c графическими умеющих обращаться с подобной суперкомпьютеров нового поко-

шинам совер- процессорами NVIDIA Tesla X2070.

Уникальная вычислительная плот-
техникой.
Принимая во внимание эти об-
ления. Согласно этому документу
Московский университет привносит

шенно оправ- ность новой платформы позволит

использовать всего 8 стандартных
стоятельства и были разработаны
способы награждения: победители
в сотрудничество опыт разработки
параллельных алгоритмов, среды

данно. Более
шкафов с вычислительным обо- конкурса получат не только денеж- разработки и прикладного ПО, а
рудованием, каждый из которых ные призы для проведения даль- также экспертизу по тестированию
обеспечит пиковую производитель- нейших работ по проектам, но и и отладке самых передовых аппарат-

того, каждый ность в 100 Тфлопсов на операциях

с двойной точностью.
доступ к вычислительным ресурсам
Московского университета.
ных технологий, а «Т-Платформы»
– разработку отечественных компо-

хочет быть пер- В рамках объявленного конкурса

«Т-Платформы» и МГУ стремятся
К участию в конкурсе приглашены
все российские организации, име-
нентных и системных аппаратных
технологий, операционной среды

вым в решении
стимулировать российские научно- ющие задел в области программ- и средств управления. Новейшее
исследовательские организации на ного обеспечения, использующего оборудование призвано экономить
проведение долгосрочных исследо- графические процессоры для энергопотребление, повышать

той или иной ваний с использованием ресурсов

«Ломоносова». К сожалению, Россия
ускорения расчетов. Отбор и оценку
конкурсных работ будет проводить
надежность и управляемость рос-
сийских суперкомпьютеров нового

задачи. Но как все еще отстает от европейских

стран в применении высокопро-
комиссия, состоящая из ведущих
российских экспертов в области
поколения.
Тандем двух мощных представите-

определить это
изводительных вычислений: более высокопроизводительных вычис- лей: российского академического и
половины суперкомпьютеров лений. Конкурс разбит на три этапа российского коммерческого сегмен-
мирового рейтинга Тор500 исполь- и продлится до ноября 2011 года. тов обещает стать одним из наиболее

первенство? зуются для нужд промышленности,

в России, согласно рейтингу Top50,
Интересной особенностью данного
проекта является его продолжитель-
интересных проектов суперкомпью-
терного рынка.

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

48 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  49

Серверы HP
проще.
В «свежем» обновлении
стоит обратить внимание

на AMD Opteron
в том числе на две новые
модели, построенные на
базе AMD Opteron:
ProLiant SL165s G7 – c
AMD Opteron серии 6100 и

– активные участники ProLiant SL335s G7 – c

конвергенции AMD Opteron серии 4100.

Они различаются не
только процессорами, но
Текст к о м п а н и я H e w l e t t P a c k a r d
и предназначением.
ProLiant SL165s G7 пози-
HP ProLiant SL6500 Scalable System
ционируется как сервер для HPC

Во второй половине марта HP обнародовала об- и таких применений, как веб-кэш.

Их высокая производительность

новленную линейку ProLiant SL6500 седьмого обеспечивается процессорами,

которые можно выбрать из набора

поколения (то есть G7). Полное название сер- AMD Opteron 6176, 6172 и 6166HE
(12-ядерные) или 6140, 6136, 6128

верной платформы, о которой идет речь, – HP и 6132HE (8-ядерные). Это верхний

ряд, так называемые «Magny-Cours».
модули и InfiniBand:
HP IB 4X QDR CX-2 PCI-e G2 Dual
4164 EE 4162 EE и
4-ядерные:

Scalable System, то есть масштабируемость с са- Литеры «HE» говорят о понижен-

ном потреблении энергии (65 Вт
Port HCA,
HP IB 4X DDR CX-2 PCI-e G2 Dual
4130, 4122 (без литеры потребляют
75 Вт, «HE» – 50 Вт, а «EE» всего 32

мого начала закладывалась инженерами как вместо 80 Вт) которое, как гово-
рилось, может быть учтено при
Port HCA или
HP 4X QDR PCI-e G2 QLogic
Вт) с частотами от 2.1 Гц до 2.8 Гц
(энергоэффективные EE – 1.7-1.8).

важнейший параметр. Ожидается, что те, кто подборе источников питания и

вентиляторов. Частота процессоров
InfiniBand Dual Port HCA.
Для кластеризации предлагается и
Кроме того, в эти серверы будут
устанавливаться 6- и 8-ядерные

нацелен на крупные, но эффективные проекты, – от 2.0 до 2.5 ГГц, у всех у них 12

Мб кэша третьего уровня.
соответствующий софт: HP Cluster
Management Utility, HP HPC Linux
процессоры следующего поколе-
ния – «Валенсия».

выберут эту платформу В модуль ProLiant SL165s G7 можно

SL6500 появилась приблизительно
полгода назад. Характерное ее от-
личие – шасси 4U: шасси ее пред-
шественницы – ProLiant SL6000
– 2U. У серверов, интегрированных
в SL6500, общие системы охлажде-
ния и общие источники питания
– все это помогает оптимизировать,
удешевить сами системы и их
эксплуатацию. Источники пита-
ния, например, можно выбирать в
довольно широком диапазоне: 460,
750 и 1200 Вт в зависимости от того,
что находится в стойках, какие
мощности требуются.
В свою очередь, ProLiant SL6500
– часть инфраструктуры, кото-
рая называется HP Converged
Infrastructure – «инфраструктура
конвергенции», то бишь взаимо-
проникновения, сближения. В
нее входят серверы, устройства
хранения, сетевое оборудование
и, конечно, программное обеспе-
чение, позволяющее управлять
конфигурацией системы из одной
точки входа, поддерживать нужный
уровень безопасности. Все вместе
поможет быстро решать задачи,
которые возникают в динамичном
современном бизнесе, особенно
том, что связан с Интернет-про-
ектами, облачными и высокопро-
изводительными вычислениями.
HPC как основное предназначение
фигурируют в описаниях несколь-
ких серверных модулей – этих
кирпичиков, разных по «начинке»,
но стандартизованных по форме и
интерфейсам – для максимальной
гибкости и управляемости систе-
мы в целом. Метафора кирпича
здесь не самая удачная – модули
как раз максимально облегченные,
из тех, что называют «бескожны-
ми» – они не защищены сверху и
снизу сплошными слоями металла.
Поэтому они легче и охлаждать их
поставить один или два процессо-
ра.
Память предлагается на выбор:
DDR3 регистровая (RDIMM), до 256
Гб на серверный модуль, или небу-
ферируемая (Unbuffered – UDIMM),
до 64 Гб, обе с коррекцией ошибок
Advanced ECC.
Внутренние накопители в стан-
дартном варианте можно выбирать
из двух форм-факторов: 6 дисков
LFF или 8 SFF (контроллер системы
хранения – HP Embedded Smart
Array B110i SATA RAID Controller
(RAID 0, 1, 10)).
Коммуникационные возможно-
сти узлов определяются задачей
заказчика. По умолчанию модули
укомплектованы двумя HP NC362i
Integrated Dual Port Gigabit Server
Adapter. Поскольку речь идет о
HPC-применениях, то есть, разуме-
ется, возможность укомплектовать
Value Pack, утилиты для обеспече-
ния безопасности и контроллеры
SAS: Smart Array P212, P410 или
P411.
Модуль HP ProLiant SL335s G7 по-
зиционируется как оптимальный
для сервис-провайдеров: максимум
вычислительной плотности, энер-
гоэффективности и все это относи-
тельно недорого.
В отличие от SL165s он, тоже имея
до двух процессоров, умещается в
половину ширины стойки, отсюда
и высокая плотность. Sl335s очень
хорошо «ложится» под задачи,
которые требуют высокой частоты
процессора и большого количества
недорогих узлов.
Процессоры используются из
серии AMD Opteron 4100 кодовое
имя(«Lisbon»).
Модели на выбор:
6-ядерные:
4184, 4180, 4176 HE 4174 HE 4170 HE
При том же типе памяти, что и у
собрата SL165s (регистровой или
небуферируемой DDR3), макси-
мальный объем в 2 раза меньше:
128 Гб.
А вот дискового пространства
предусмотрено почти столько же
– до 8 SFF SAS/SATA (но не более
4 LFF SAS/SATA). Управляется с
данными контроллер Smart Array
B110i SATA RAID. Сетевой контрол-
лер один 1GbE NC362i Dual Port, а
не два.
Можно предположить, что и более
легкий из братьев, SL335s, хоть
и не позиционируется как HPC-
ориентированный, однако может
заинтересовать немало заказчиков,
ищущих относительно недорогое,
более «легкое» решение для высо-
копроизводительных вычислений.
В любом случае, гибкость подхода
HP к современным кластерным
технологиям впечатляет.

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

50 Су п е р К о м п ь ю т е р ы
CUDA 4:
покорение
суперкомпьютеров
Текст М а к с и м К р и в о в
В последний день зимы
NVIDIA анонсировала новую
версию CUDA, имеющую все
возможности совершить рево-
люцию в GPGPU. При этом в
нововведениях заметен явный
акцент на гетерогенные кла-
стеры. Станет ли CUDA SDK
обязательным требованием
для всех суперкомпьютеров?
Удастся ли OpenCL про-
должить сопротивление? Об
этом и пойдет речь
Сразу стоит оговориться, что под
страшным словом «CUDA» обычно
понимают две вещи: программ-
ную библиотеку и архитектуру
видеокарты. Обе эти CUDA зависят
друг от друга, но при этом имеют
разную нумерацию. Так, последней
версией железа является нашу-
мевшая архитектура Fermi под
номером 2.0, в то время как первой
заточенной под нее библиотекой
стал CUDA Toolkit 3.0.
Собственно, обновление, получив-
шее известность как CUDA 4.0, кос-
нулось как раз программной части.
Подобные обновления выходят раз
в 3-6 месяцев, радуя программистов
новыми возможностями и несовме-
стимостью с предыдущей версией
www.supercomputers.ru
(в результате чего приходится бро-
сать все дела и срочно выяснять, по-
чему же рабочая программа вдруг
перестала компилироваться или
запускаться). Глобальным событием
это сложно было бы назвать, если
бы не масштабность: NVIDIA улуч-
шила функциональность существу-
ющих инструментов разработки,
упростила модель программирова-
ния и внедрила GPGPU-аналог для
библиотеки STL. Той самой, кото-
рая Standard Template Library для
С++. Как следствие, получившийся
«монстр» оказался самодостаточ-
ным — почти любую задачу можно
решить без использования сторон-
них библиотек и инструментов.
Дружба с MPI
Не секрет, что одновременная ра-
бота с несколькими графическими
ускорителями — занятие явно не
для ленивых. Для каждого требует-
ся создать свой поток, инициали-
зировать CUDA-контекст, а потом
еще заниматься синхронизацией.
В результате набрала популярность
связка CUDA+MPI, ставшая факти-
чески «народным решением». Она
и проста в реализации, и масштаби-
руется как на систему с нескольки-
ми ускорителями, так и на целый
кластер. Есть только одна проблема
— в ней сложно эффективно ис-
пользовать центральный процессор
(в котором, стоит заметить, найдет-
ся пара сотен гигафлопсов).
Собственно, эту проблему и реши-
ли в CUDA 4.0. Теперь с разными
устройствами можно
работать из одного CPU-потока, что
идеально подходит для паттернов
типа «мастер-рабочие». Но
только этим дело не ограничилось
– к одному GPU теперь можно об-
ращаться из разных потоков. Если
учесть, что ускорители с архитекту-
рой Fermi поддерживают одновре-
менное выполнение различных
ядер, то открываются перспективы
использования CUDA, например,
совместно с директивами
OpenMP. Будет ли от этого какая-
либо практическая польза, сказать
сложно, но жизнь программистов
точно упростится.
Также стоит упомянуть про заяв-
ленную официальную «интегра-
цию с MPI». Как следует из анонса,
будет выпущена специальная моди-
фикация OpenMPI, адаптированная
для работы с CUDA. В частности, с
помощью операций Send/Receive
можно будет копировать данные
напрямую в видеопамять. Если
вспомнить о революции в Top500,
устроенной в 2010 году гетеро-
генными кластерами, то усилия
NVIDIA становятся вполне понят-
ными — чем проще использовать
гетерогенный суперкомпьютер,
тем быстрее CUDA станет «стандар-
тнее» и так не очень популярного
OpenCL.
Больше быстрой
памяти
Самым заметным изменением
в CUDA 4.0, с которым точно
столкнется большинство CUDA-
разработчиков, стал переход к
единому адресному пространству.
Теперь память центрального про-
цессора и всех графических уско-
рителей можно адресовать одним
единственным указателем.
Правда, чуда не произошло — па-
мять осталась физически разнород-
ной и копирование «туда-сюда» ни-
кто не отменял. Зато теперь можно
больше не задумывать о типе само-
го копирования (CPU>GPU или же
GPU>CPU, а может, GPU>GPU?) и
смело забыть про страшные флаги
вроде cudaMemcpyHostToDevice.
Другим нововведением стала тех-
нология NVIDIA GPU Direct 2.0, ко-
торая «обеспечивает равноправную
связь между GPU в рамках одного
сервера». Идея достаточно простая
– при копировании из GPU-памяти
всегда используется централь-
ный процессор, что существенно
тормозит весь процесс. Если узким
местом оказались как раз подобные
пересылки, то CUDA-программисту
предлагается бесплатный комплект
«бубнов» из различных классов
памяти, специализированных алло-
каторов и асинхронной пересылки
данных. Если программист доста-
точно опытен, то он сможет уско-
рить копирование раза в 2-3. Если
нет – то ему на помощь как раз и
приходит технология GPU Direct.
Она позволяет копировать данные
на GPU практически с любого
устройства — будь то жесткий диск,
интерфейс InfiniBand или другой
графический ускоритель. Заявля-
ется, что CPU при этом не исполь-
зуется, что «повышает производи-
Су п е р К о м п ь ю т е р ы  51
тельность на 30%». Правда, остается
вопрос, чем версия GPU Direct 2.0
отличается от просто GPU Direct,
вышедшего в начале 2010 года, но
об этом NVIDIA пока предпочитает
умалчивать. Будем надеяться, что
простым ребрендингом дело не
ограничилось.
CUDA без CUDA
Другое направление, которое актив-
но развивается благодаря усилиям
NVIDIA – это библиотеки-надстрой-
ки над CUDA. Сначала появилась
CUDA-версия BLAS, получившая
название cuBLAS, потом была
сделана качественная реализация
Быстрого Преобразования Фурье
(cuFFT), потом пришла очередь
библиотеки для работы с разре-
женными матрицами (cuSPARSE)
и генератора случайных чисел
(cuRAND). Независимо разрабатыва-
лась реализация LAPACK на CUDA
(не угадали, не cuLAPACK, а просто
CuLa) и библиотека компонент-
кирпичиков, содержащая базовые
алгоритмы обработки изображений
(здесь обошлись даже без префикса
«cu» – NPP).
С выходом новой версии CUDA к
существующим официально под-
держиваемым библиотекам доба-
вится OpenSource-проект Thrust. Его
цель достаточно проста — создать
аналог STL для CUDA. Если требует-
ся отсортировать массив, то теперь
не обязательно даже знать техно-
логию CUDA, достаточно вызвать
thrust::sort. Все это вместе позволяет
любому программисту создавать
эффективные GPU-приложения без
использования низкоуровневых
вещей типа копирования памя-
ти, запуска ядер, синхронизации.
Другими словами, 28 февраля 2011
года каждый программист сам
того не зная превратился в CUDA-
программиста. Но скоро он об
этом узнает, так как «маркетинговая
машина NVIDIA» уже заработала.
Стоит заметить, что теперь практи-
чески для каждого программного
инструмента Intel у NVIDIA есть
свой аналог. Intel MKL покрывается
связкой cuBLAS + Cula, Intel TBB
заменяется новым Thrust, а для
перехода от IPP к NPP достаточно
заменить первую букву. Аналогич-
ная ситуация и в средствах разра-
ботки — платная Intel Parallel Studio
может быть заменена уже бесплат-
ным NVIDIA NSight, а для утилит
типа Intel VTune есть ответ в виде
NVIDIA Visual Profiler.
Есть ли альтернатива?
Достаточно много надежд было воз-
ложено на GPGPU-стандарт OpenCL,
призванный унифицировать
гетерогенное программирование.
Если же проследить за развитием
событий, то ситуация оказывается
достаточно грустной — идеи ис-
следовательских проектов по рас-
ширению OpenCL в большинстве
случаев уже реализованы в CUDA
как коммерческие решения, а по-
пулярность этих двух технологий
(если верить статистике запросов
в Google.com) соотносится как 1:10.
Более того, гиганты типа Adobe и
MathWorks открыто перешли на
сторону NVIDIA, начав использо-
вать в своих продуктах CUDA. С
2010 года NVIDIA начала активную
экспансию на суперкомпьютерную
индустрию, одним из проявлений
которой и стал выход CUDA 4.0.
Если ей удастся сохранить темп, то
сейчас самое время начать изучать
будущий стандарт программиро-
вания для гетерогенных систем.
Даже если Intel и AMD не начнут
поддерживать CUDA, то появятся
сторонние решения, позволяющие
запускать CUDA-программы на
произвольных устройствах. К при-
меру, уже существует компилятор
Ocelot, «на лету» транслирующий
бинарную CUDA-программу в ана-
лог для OpenCL или многоядерного
процессора.
Если этот проект постигнет такая
же судьба, как и Thrust, то где-
нибудь через год CUDA Toolkit 5.0
будут использовать даже владельцы
не-NVIDIA-ускорителей.
«Суперкомпьютеры» № 1 (5) весна 2011
52 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  53

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

54 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  55

В настоящее время наращивание мощностей мно- графине Лавлейс Фон Нейман, однако,
гопроцессорных вычислительных систем (МВС) – единственной
«дочери дома и
был прозорливым
исследователем и
идет в основном по пути увеличения числа сердца» великого
не зацикливался на
вычислительных узлов (ВУ) в кластерах архитек- (ставшей впоследствии
поэта, которой при- классической)
туры MPP (Massively Parallel Processing, системы писывают введение архитектуре
с локальной памятью). Пока мощность МВС уве- вычислителей. Он,
в программистский например, предложил
личивается в основном интенсивным путем (рост обиход термина принцип построения
процессорной
числа отдельных ВУ и/или ядер), однако ресурс «цикл» и «рабочая
ячейка»). Одним из
матрицы, каждый
интенсивного роста, естественно, небезграничен важнейших явля-
элемент которой
соединялся с четырьмя
ется 4-й («принцип соседними (2D-сеть),
мог находиться в одном
последовательного из 29 состояний и
программного теоретически показал,
Томас Стерлинг (профессор Луи- пространства (GAS). управления»). что такая матрица
может выполнять
зианского университета, создатель Первые две парадигмы сильно от- В фон- все операции, ибо
кластерной технологии Beowulf), личаются от общепризнанных в на- Неймановских моделирует поведение
постулирует наличие «точки стоящее время. Современные про- вычислителях машины Тьюринга
(подобный элемент
Стерлинга» – фундаментального цессоры построены на принципах последовательно- удивительным образом
ограничения производительности традиционной фон-Неймановской стью выполнения напоминает ячейку
традиционных архитектур вычис- (von Neumann) архитектуры. Джон машинных инструк- систолического
массива или
лителей. По мнению Стерлинга, (Янош Лайош) фон Нейман (в со- ций (команд, опе- современный
следует рассматривать новые под- ставе группы трех исследователей раций) управляет транспьютер)
ходы к организации вычислений из Принстона) в 1946 году опубли- один из регистров
и архитектуры вычислителей. Он, ковал статью, в которой изложил процессора – счет-
в частности, предлагает заинтере- 5 принципов построения электрон- чик команд (СК),
соваться концепцией управления ного вычислительного устройства определяющий адрес выбираемой
вычислениями потоком данных – (впрочем, некоторые из них, напри- из памяти и выполняемой коман-
Dataflow, идеей перемещения кода мер «принцип условного перехо- ды; путем модификации содержи-
к данным (а не наоборот, как это да», были известны еще и Чарльзу мого СК реализуются условные и
принято сейчас) и преимущества- Бэббиджу и сотрудничающей с безусловные переходы, циклы.
ми глобального адресного ним Аде Августе Байрон-Кинг, Удивительно, но на логическом

Параллелизация
обработки данных
на вычислителях потоковой
Рис. 1. Методы преобразования
r a,b,c: a – представление
алгоритма в виде «облака

(Dataflow) архитектуры
операторов»
(порядок выполнения
не определен), б –
последовательного
выполнения, в – ярусно-
Текст В а л е р и й Б а к а н о в a б в параллельная форма алгоритма
Иллюстрация В л а д и м и р К а м а е в

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

56 Су п е р К о м п ь ю т е р ы
уровне работа таких процессоров
не отличается от машин Тью-
ринга-Поста (1936). СК – аналог
«считывающей и записывающей
головки», аналогом «информаци-
онной ленты» является последо-
вательность команд и данных в
памяти, «таблица правил» – набор
машинных инструкций. Архитек-
тура фон Неймана фактически суть
адаптированная к физическому во-
площению воображаемая машина
Тьюринга.
Именно СК плюс сгенерированная
транслятором последовательность
машинных инструкций опреде-
ляют очередность арифметико-
логических действий, заданную
программистом на этапе создания
исходного текста с помощью языка
высокого уровня. Несомненными
достоинствами СК как раз и явля-
ются простота и прозрачность орга-
низации безусловных и условных
переходов, циклов.
Но именно СК является «слабым
звеном» этой архитектуры, фак-
тически препятствующим рас-
параллеливанию программы на
уровне инструкций (т. к. СК всегда
указывает на единственную коман-
ду). В современных процессорах
применяют различные ухищрения
(EPIC- и VLIW-технологии, спекуля-
www.supercomputers.ru
Рис. 2. Представле́ние информационного
гр́афа алгоритма в ярусно-параллельной
форме
тивные вычисления), позволяющие
выполнять более одной инструк-
ции одновременно (по сообще-
ниям разработчиков, от 5-6-ти до
32-х в процессорах Merced/Itanium
и Эльбрус соответственно), однако
фронт вычислений все равно пере-
двигается вдоль «информационной
ленты» последовательно.
При следовании 4-му принципу
фон Неймана приходится сми-
ряться с возможностью только
крупноблочного параллелизма
(coarse-grained parallelism), дости-
жение которого для алгоритмов
общего назначения затруднено
(требует серьезного анализа тонкой
информационной структуры алго-
ритма и не может быть выполнено
аппаратно). Некоторые исследова-
тели (например, Леонид Черняк)
считают, что «Принстонская» (иное
наименование фон-Неймановской)
архитектура оказалась классиче-
ской в достаточной мере случайно;
приблизительно в то же время была
предложена «Гарвардская» архитек-
тура, значительно более приспосо-
бленная для распараллеливания, о
котором, кстати, в то время (середи-
на 40-x гг.) мало кто думал – лишь
бы создать работоспособный вы-
числитель.
Можно показать, что корректно
представленная в виде совокуп-
ности операторов программа уже
содержит в себе указания на по-
следовательность их выполнения.
Об этом уж наверное размышляли
производящие вычисления в среде
MS Excel – каким образом Excel
определяет порядок вычислений?
На рис. 1 в общем виде представлен
алгоритм вычислений по форму-
ле r = aхb + a/c. В общем случае
преобразование r a,b,c требует трех
операторов – aхb, a/c и aхb + a/c.
Исходными данными (операнда-
ми) для первого являются a, b; для
второго – a, c; для третьего – ре-
зультаты предыдущих (см. «облако
операций» на рис. 1а).
При последовательном вычисле-
нии сначала вычисляются aхb и
a/c (в любой последовательности),
далее – aхb + a/c (рис. 1б). Так как
выполнение aхb и a/c взаимоне-
зависимо (говорят, что они орто-
гональны по операндам), легко
получить т. н. ярусно-параллель-
ную форму (ЯПФ) направленного
информационного графа алгоритма
(ГА) для этого случая (рис. 1в). В
результате становится ясно, что дан-
ный алгоритм при параллельной
обработке может быть разрешен за
два шага (aхb и a/c одновременно,
затем aхb + a/c последовательно)
вместо трех при последователь-
ной (один за другим aхb, a/c и aхb
+a/c), причем на первом ярусе
необходима параллельная работа
двух арифметических процессо-
ров («умножение» и «деление»), на
втором – одного («сложение»). При
последовательной обработке общее
время выполнения алгоритма будет
равно сумме трех действий – taхb
+ ta/c + taхb+a/c, при параллельной –
max(taхb, ta/c) + taхb+a/c (в случае taхb =
ta/c = taхb+a/c выигрыш по скорости
полуторакратный).
Общий случай информационного
ГА в ЯПФ (находящиеся на каждом
ярусе операторы зависят по операн-
дам только от операторов, находя-
щихся на уровнях выше данного)
приведен на рис. 2. Здесь каждый
узел графа нагружен мерой – време-
нем выполнения данной операции.
Читатель, конечно, вспомнит
принципы функционального про-
граммирования (основа – комбина-
торная логика Мозеса Шенфинкеля,
логика Хаскелла Карри и лямбда-
исчисление Алонзо Чёрча, 1936) с
их важной компонентой реализа-
ции «вызова по необходимости»
(ВПН). Механизм вычислений по
принципу готовности операндов
более «жадный», чем ВПН (послед-
ний, кстати, фактически предпо-
лагает обратный ход по ГА), однако,
судя по всему, Dataflow-машина
может быть построена и на основе
ВПН.
На рубеже 70-х годов Джек Деннис
(Jack Dennis) постулировал фунда-
ментальные подходы к управлению
процессом вычислений потоков
данных (Dataflow) в противо-
вес программному управлению
(Controlflow); графическую модель
управляемых данными вычисле-
ний предложил в диссертационной
работе сотрудник Стэнфордского
университета Дуайн Адамс (Duane
Adams).
Основополагающим понятием
потоковых (Dataflow) вычислений
является принцип готовности к
выполнению (ГКВ) операции по
условию готовности всех необходи-
мых для выполнения этой опера-
ции операндов. Операнд считается
«готовым», если соответствующим
этому операнду ячейкам памяти
присвоено значение (вычислено
ранее или константо-присвоено).
Понятие «операции» в данном
контексте совсем не обязательно
равноценно машинной инструк-
ции (а может включать любое их
количество, лишь бы их последо-
вательность была ортогональна
другим по операндам). По этому
пути пошли разработчики под-
хода Large-Grain Dataflow (проект
Merrimac), где размер гранулы
увеличен до блока (kernels) из со-
тен инструкций; однако при этом
резко возрастает число операндов
(со всеми вытекающими отнюдь
не приятными следствиями) и
Су п е р К о м п ь ю т е р ы  57
сложность транслятора. Подобные несущественен (он автоматически
вычислители по классификации аппаратно определяется на этапе
Флинна (M. J. Flynn) относятся к выполнения).
классу архитектуры MIMD (Multiple Уровень гранулярности программы
Instruction / Multiplay Data). при этом наименьший из пред-
В качестве устройства управления ставимых (гранула эквивалентна
вычислениями выступает (вместо инструкции процессора); исходя
СК) коммутатор, получающий ин- из времени доставки инструкции
формацию об изменении значений к ИУ хотя бы на порядок менее
операндов на предмет выявления среднего времени выполнения
готовых к выполнению операций самой инструкции для Dataflow-
и передающий их имеющимся в вычислителя быстродействие шин
системе исполнительным устрой- данных вынужденно должно быть
ствам (ИУ – арифметическим огромным (очередной пример
процессорам, процессорам ввода/ «проклятия бутылочного горлыш-
вывода и т. п.); вновь вычисленные ка» при доступе к данным), даже
значения определяют готовность при использовании ассоциативной
следующих операций и т. д. Если памяти.
в системе имеется достаточное Интерес к подобным не-фон-
количество ИУ, все ГКВ в данный Неймановским машинам никогда
момент команды будут переданы не угасал полностью. Известны
на исполнение, что и позволяет поисковые разработки JUMBO (Ан-
говорить об истинно массовом ап- глия), Манчестерский компьютер
паратном параллелизме на уровне потока данных, проекты Monsoon и
машинных инструкций. Совсем Epsilon (США), CSRO (Австралия); в
не обязательно, чтобы все процес- России реализацией потоковых вы-
соры ИУ были универсальными числителей занимался В. C. Бурцев.
(например, большая часть из них Элементы Dataflow-подхода исполь-
может быть рассчитана на выпол- зованы, например, в процессорах
нение только четырех действий P6 (Pentium Pro, 1995) – упреждаю-
арифметики). ще выбранные инструкции условно
Интересно, что в подобной систе- исполняются как раз в порядке их
ме, вообще говоря, порядок распо- ГКВ, а не расположения в програм-
ложения в памяти кодов операций ме.
Рис. 3. Зависимость интенсивности вычислений
от размеров данных (2,3,4,5 – порядок СЛАУ)
при достаточном количестве процессоров и
при ограниченном их количестве (5/12 и 5/6 –
решение СЛАУ 5 порядка на 12 и 6 процессорах
соответственно)
«Суперкомпьютеры» № 1 (5) весна 2011
58 Су п е р К о м п ь ю т е р ы
Освоение массового выпуска про-
цессоров со значительным числом
ядер на едином кристалле (напри-
мер, до 120 ядер у фирмы Tilera, до
80 у Intel и пр.) в начале второго
десятилетия XXI века является
реальной основой для перехода к
архитектуре Dataflow.
Упрощенно схема потокового вы-
числителя такова: вычислительное
устройство имеет кольцевую струк-
туру; ПИ и ПД физически пред-
ставляют единую сверхбыстродей-
ствующую ассоциативную память
(АП), в которой хранятся коды
команд и данные с признаками (то-
кены). ГКВ-инструкции с помощью
входного коммутатора передают-
ся ИУ. В Dataflow-вычислителях
реализованы правила обработки
токенов, позволяющие реализовать
многократное выполнение после-
довательности инструкций (т. е.
организовывать циклы, переходы).
Потоковые системы фактически
реализуют принцип управления
событиями на аппаратном уровне
– каждый акт выполнения операто-
ра на ИУ инициирует определение
нового списка ГКВ-инструкций, ко-
торые запускаются на исполнение
на свободных ИУ. Таким образом,
рандеву кода и данных происходит
на определенном ИУ.
Работа потоковых вычислителей
характеризуется иными параме-
трами, нежели классическими. В
случае Dataflow важно знать, каким
образом будет развиваться процесс
вычислений по времени (опреде-
лить динамику процесса).
На рис. 3 приведен (полученный
компьютерным моделированием)
график зависимости числа ГКВ-
операций от времени работы про-
граммы (сглаженная кривая) при
решении СЛАУ 2-5-го порядков
прямым методом Гаусса. Для харак-
теристики распределения числа
параллельно исполняемых команд
по времени введено понятие функ-
ции интенсивности вычислений
(ИВ) – количества ГКВ и исполня-
емых операций в каждый момент
времени; по ней легко определить
www.supercomputers.ru
кумулятивную (накопленную)
кривую количества операций с
начала вычислительного процесса
до текущего времени. Для чисто
последовательного вычислителя
понятие ИВ бессмысленно – в
каждый момент времени все равно
выполняется одна-единственная
операция.
Данные рис. 3 показывают зна-
чительную неравномерность
функции интенсивности вычис-
лений, что весьма нерационально
с точки зрения нагрузки на шины
данных вычислителя (это, кстати,
следствия известных недостатков
SMP-архитектуры). Идеалом было
бы стремление реализовать мак-
симально равномерную кривую
ИВ при условии минимального
увеличения общего времени вы-
полнения программы; разработка
методов достижения этого является
прекрасным полигоном для трени-
ровки ума.
Форма кривой ИВ показательна
– сначала (на основе исходных
данных) в процесс расчетов вовле-
кается все большее число опера-
торов (этап резкого возрастания
ИВ до максимума), далее процесс
стабилизируется и (существенно
более медленно) терминируется.
Логично предположить, что форма
кривой ИВ определяется внутрен-
ними свойствами алгоритма, а ее
максимум – размером обрабатыва-
емых данных.
Это, по всей вероятности, верно
для алгоритмов решения «инже-
нерных» задач («счет по форму-
лам»).
При операциях со структурами
данных (простейший пример –
обнуление элементов массива) в
некоторый момент времени реален
пик количества ГКВ-операторов;
для предотвращения этого возмож-
но введение в состав ИУ векторных
процессоров.
В общем случае форма кривой
зависимости числа выполненных
операций (накопленная кривая
ИВ) для конкретного алгоритма
зависит от времени выполнения
программы и размера обрабатывае-
мых данных.
В реальном потоковом вычислите-
ле число ИУ вряд ли может быть
даже сравнимо с максимумом
ГКВ-операторов, поэтому все они
одновременно выполнены быть не
могут.
Однако с учетом разного времени
выполнения операторов возмож-
но оптимизировать общее время
решения задачи путем реализации
определенной стратегии по-
следовательности запуска ГКВ-
операторов на выполнение.
Логично, например, ввести крите-
рий «полезности» (с точки зрения
выполнения конечной цели – ско-
рейшего завершения программы)
каждого оператора (например,
предположить, что «полезность»
оператора зависит от количества
иных операторов, которым данный
обеспечивает готовность их вход-
ных операндов).
Теперь о перспективах примене-
ния потоковых (Dataflow) процессо-
ров для супервычислений. «Снару-
жи» Dataflow-процессор неотличим
от классического и может исполь-
зоваться в качестве ВУ любой MPP-
системы.
Создание суперкомпьютера на
едином потоковом процессоре
вряд ли реально при современных
технологиях (не стоит ожидать в
обозримом будущем появления
Dataflow-процессора c числом
арифметических ИУ во многие
десятки/сотни тысяч – даже с уче-
том существенной простоты ИУ
по сравнению с процессорными
ядрами).
С другой стороны, развитие ап-
паратной базы идет огромными
темпами, так что сценарий созда-
ния однокристальной Dataflow-
супермашины с числом ИУ во
многие тысячи принципиально
возможен; реальные же оценки (на
основе фамильно-обоснованного
«закона Мура» для ядер фирмы
Intel) скромнее – до 1000 ядер в
едином чипе к 2020 г. (т. н. «тераф-
лопсные процессоры»).
Революции
большие и маленькие
Интервью выпускающе-
го редактора Игоря Лёв-
шина с Самитом Гупта,
старшим менеджером по
продуктам NVIDIA Tesla
И. Л.: На какие тенденции рынка
HPC Вы посоветовали бы обратить
внимание?
С. Г.: Процессы, происходящие в
HPC, сейчас нельзя рассматривать
в отрыве от других рынков, иначе
многое останется непонятым.
Надо обязательно смотреть, что
происходит на потребительском
рынке. И не только на рынке ПК,
но и на рынке смартфонов, план-
шетных ПК и других современных
мобильных устройств. Это колос-
сальные объемы продаж и они
многое определяют. Intel выиграла
потому, что в свое время смогла
выйти на рынок ПК – массовый
рынок. Именно поэтому процес-
соры архитектуры X86 используют
в кластерах – они продаются на
потребительском, массовом рынке,
значит есть возможность продавать
их недорого.
Время от времени кто-то из уважа-
емых HPC-компаний объявляется
банкротом. Даже такие, как SGI. И
это неизбежно, потому что в HPC
очень непросто построить креп-
кий, стабильный бизнес – огром-
ные расходы на разработки и, как
правило, не слишком стабильные
Су п е р К о м п ь ю т е р ы  59
доходы. Массовые продажи помо-
гают «выровнять» бизнес.
И. Л.: Проект Denver – следствие
такого подхода?
С. Г.: Мы считаем, что сейчас по-
требительский рынок движется к
архитектуре ARM и скоро, трудно
сказать, когда точно, основная мас-
са персональных устройств будет
на базе ARM. Ну что же, у нас как
раз есть, чем встретить эти тенден-
ции. Мы давно работаем с ARM, у
нас все есть для Denver. У нас уже
есть линия Tegra для потребитель-
ского рынка (для ПК и мобильных
устройств). Команда разработчи-
ков, которая занимается именно
CPU, уже есть. Лицензий новых
покупать не надо. И вот теперь
мы объявили о проекте Denver.
Это будет специализированный
процессор для высокопроизводи-
тельных вычислений. То есть для
суперкомпьютеров и для мощных
рабочих станций. Мы держим руку
на пульсе.
И. Л.: В том смысле, что мир дви-
жется к ARM?
С. Г.: Переход к ARM понятен. Для
HPC, да и не только, энергопотре-
бление становится важнейшей
проблемой, а малое потребление
– это главное преимущество ARM.
У x86 хорошая производитель-
ность, но потребляют они много
больше, поэтому у ARM показатель
«производительность/Вт» обычно
намного выше. При переходе к
системам очень большого масшта-
ба это очень важно. В том числе и
для России. У вас же тоже строят
системы порядка петафлопса про-
изводительности, а говорят уже о
будущих экзафлопсных. Но экза-
машина будет потреблять мощно-
сти как небольшой город. Многие
страны просто не смогут такое
себе позволить. Так что это вопрос
высшего, государственного уровня.
Поразительным образом проблемы
сотового телефона и суперкомпью-
тера оказались схожими.
И. Л.: Да, это интересный поворот
темы.
С. Г.: На ARM строит свой биз-
нес много компаний. Qualcomm,
Broadcom, Marvell, многие другие,
ну и, конечно, NVIDIA, у кото-
рой ARM занимает очень важное
место в собственной экосистеме.
Microsoft объявила о Windows для
ARM. Это по-настоящему револю-
«Суперкомпьютеры» № 1 (5) весна 2011
60 Су п е р К о м п ь ю т е р ы
ционное событие: впервые за 20 лет себе Cray и программируй. Нельзя
Microsoft выпускает систему для было посадить старшеклассника за
a IA
l
принципиально другой архитек- высокопараллельную машину. А
s
туры, у которой хорошие шансы сейчас – можно. Это небольшая ре-
стать конкурентом x86. волюция. К тому же стали широко
e
Все это значит, что в мире много доступны технологии, позволяю-
T V
специалистов, умеющих работать щие выжать из этих процессоров
с этой архитектурой, а будет еще максимум производительности. А
больше. Но дело еще вот в чем: сей- это важно для построения супер-
A
час и CPU многоядерные, поэтому компьютеров.
I
переходить на параллельные вы- И. Л.: Гибридных, как можно до-
числения придется так или иначе, гадаться?
D
рано или поздно. На подходах к С. Г.: Посмотрим на историю
I
экзафлопсам потребуются сотни графических процессоров. В жизни
миллионов ядер. А отрабатывать иногда надо идти пешком, иногда
V
параллелизм, учиться его эффек- бежать. Так и в вычислениях. Одни
тивно программировать удобней приложения требуют последова-
N
на графических чипах, у которых тельного исполнения команд, дру-
уже сотни ядер и для которых гие – однотипных команд, которые
написан соответствующий софт. можно исполнять параллельно.
У себя на лаптопе я могу легко Хорошо, когда удается совместить
программировать то, что будет и то и другое в одной системе
работать на гигантской гибридной – и бег и ходьбу. Мы видим, что
машине. А ведь такого не было в гибридные системы – это уже не
прежние времена: если хочешь будущее, а настоящее – большин-
программировать для Cray, купи ство наиболее заметных проектов
www.supercomputers.ru
имеет гибридную архитектуру. Это
экономичней. Можно построить
систему, скажем, за $10 млн на
GPU+CPU, при этом система той же
производительности только на CPU
будет стоить $50 млн, ну, или $40.
И. Л.: Это все дорогие машины. А
как насчет рынка минисуперком-
esla
пьютеров? И десксайдов?
T
С. Г.: У нас есть партнеры – Dell,
IA
Lenovo и другие, которые делают
ID
персональные суперкомпьютеры
NV
на процессорах Tesla. Если уста-
новить в рабочей станции 4 GPU,
можно получить 2 Тфлопса произ-
водительности – такие мощности
не в каждом университете найдут-
ся. Cray выпускает CX1, десксайд, в
котором 8 Tesla. Так что выбор есть:
хотите персональный супекомпью-
тер на Tesla – пожалуйста, хотите
десксайд – пожалуйста. Гадать о
судьбе этих рынков бесполезно,
время покажет. Я думаю, что рынок
минисуперкомпьютеров останется
меньше, чем рынок рабочих стан-
ций и серверов, но кто знает…
И. Л.: Это все относится к Tesla. Но
ведь можно и графические про-
цессоры из более «низких» линий
использовать в HPC, не обязательно
Tesla?
С. Г.: CUDA позволяет программи-
ровать для всех трех линеек про-
дуктов NVIDIA – GeForce, Quadro
и Tesla. Если двойная точность,
надежная коррекция ошибок с ECC
не так важны, почему бы нет? Tesla
всегда будет стоить дороже GeForce
и всегда будет иметь больше воз-
можностей для HPC. Выбирайте на
здоровье, лишь бы покупали GPU.
И. Л.: Три линейки – это много или
мало? Может быть, в будущем они
разойдутся, или наоборот – конвер-
гируют, сольются?
С. Г.: У нас в принципе одинаковая
архитектура для всех трех продук-
товых линеек. Это помогает гибко
управлять бизнесом, иногда одна
ветвь приносит хороший доход и
поддерживает другую. Большие
объемы продаж линии GeForce,
ориентированной на потребитель-
ский рынок, очень помогают всем.
Но GeForce не всем подходит. Ино-
гда необходима двойная точность,
могут понадобиться новые возмож-
ности, такие как GPU Direct 2.0. Тог-
да нужна Tesla. У Quadro тоже свои
задачи, она хороша для инженеров,
дизайнеров, телевизионщиков. У
каждой линейки своя специфика,
но мы имеем возможность пере-
a
носить какие-то элементы, функ-
l
циональность с одной линейки на
s
другую – если почувствуем, что
e
рынку это нужно.
T
И. Л.: А что будет узким местом в
развитии HPC? Проблемы дальней-
шего развития кремниевых техно-
A
логий? Пропускная способность
I
шин памяти?
С. Г.: Пока мы не видим причин
D
волноваться по поводу физических
I
ограничений кремния – транзисто-
ров все больше, ядер все больше,
V
прогресс не замедляется. А вот с
пропускной способностью памяти
N
действительно проблемы. Техно-
логии контактов не могут раз-
la
виваться с адекватной скоростью.
s
Это проблема не только GPU, но и
e
CPU, конечно. Сейчас наша шина
T
памяти в 10 раз быстрее, чем у
CPU, – у нас GDDR5, а в CPU – DDR
но понадобятся еще более бы-
стрые в будущем. Другая проблема
– PCI Express и интерконнекты.
InfiniBand или другие сети более
медленные, чем сами процессоры,
поэтому производителям прихо-
диться идти на всякие ухищрения,
строить «толстые деревья» и слож-
ные коммутаторы. Сетевые техно-
логии, как и память, не поспевают
за самими процессорами. Они
становятся быстрее, на подходе
новые стандарты, но до прогресса
процессоров им далеко.
И. Л.: Что интересного ждет в
будущем? Не появится ли, скажем,
потребность в учетверенной точно-
сти? У ученых или у инженеров?
esla
С. Г.: Могу пока сказать, что двой-
T
ная точность нужна многим: и в
A
инженерных расчетах, где надо
DI
повысить точность, и в науке, и
I
NV
в финансовых приложениях. В
отличие, скажем, от нефтегазовой
Су п е р К о м п ь ю т е р ы  61
esla
T
отрасли там в основном одинарная
A
IDI
точность. Но дело в том, что люди
все чаще пытаются разобраться, где
NV
им нужна двойная точность, а где
без нее можно обойтись. Многие
начали использовать смешанную
точность. Допустим, есть некий
итерационный алгоритм. Сначала
считают с одинарной точностью, а
в конце конвертируют результат в
значения двойной точности. Джек
Донгарра, например, занимался
такими технологиями.
И. Л.: В этом случае вся интеллек-
туальная нагрузка ложится на софт?
С. Г.: Конечно. И на математиков.
Ведь надо понять, не может ли оди-
нарная точность сделать конечный
точный результат недостоверным.
На ежегодной ноябрьской супер-
компьютерной конференции в
позапрошлом году мы слушали
лауреатов премии Гордона-Белла –
это, считайте, нобелевская премия
в суперкомпьютинге. Ее получили
исследователи из Окриджа за рабо-
ту по алгоритмам смешанной точ-
ности. Она была вдохновлена как
раз перспективами GPU. В то время
не все еще было гладко с двойной
точностью, поэтому они все сдела-
ли для того, чтобы лишний раз не
вычислять с двойной точностью.
ID
Сейчас, конечно, двойная точность
встречается в приложениях все
чаще и чаще. Потребности в учет-
N
веренной точности я что-то пока
не замечал.
И. Л.: У нас в этом номере блок
статей о финансовом секторе. Как
обстоят дела там?
С. Г.: Я думаю, что сейчас не все
финансовые компании готовы
использовать GPU, но очень скоро
ситуация изменится. Этот сектор
экономики довольно консервати-
вен. К тому же в свое время многие
были очарованы идеей использо-
вания IBM Cell и после того, как
проект начал сворачиваться, по-
чувствовали разочарование и стали
осторожней. Но обсуждают воз-
можности GPU все. Понимают пре-
имущество гибридных архитектур
большинство. Думаю, что банки
начнут стремительно наверстывать
упущенное – деваться некуда. Ведь
аналитика там построена в боль-
шой степени на расчетах методом
Монте-Карло, а такие расчеты на
GPU как раз в сотни раз быстрее.
Я думаю, что уже в этом году
многие финансовые приложения
будут портированы на GPU – этот
процесс уже начался. Так что это
вопрос времени.
И. Л.: А кто еще входит в отряд
консерваторов?
С. Г.: Довольно консервативны
ученые, рассчитывающие погоду и
климат. Их можно понять: про-
граммные комплексы огромные
– десятки миллионов строк кода.
Такую груду быстро не пере-
пишешь. Но они уже начинают
портировать код. Через годик
уже увидим результат. Наименее
консервативными, пожалуй, ока-
зались IT-департаменты нефтяных
компаний. Быстро идут процессы
в химии, биологии, медицине и
фармацевтике.
И. Л.: Не без помощи ваших ин-
струментов для портирования?
С. Г.: Конечно. Мы очень много
вкладываем усилий в разви-
тие CUDA и направления GPU
Computing в целом. Но наша задача
не написать нужные программы,
а научить правильному подходу
к параллельному программиро-
ванию. Чтобы для разработчиков
приложений это было легко, при-
вычно.
У нас, конечно, есть основные
программные компоненты среды
программирования – компилято-
ры, отладчики и профайлеры, но
очень важно, чтобы была интегра-
ция с другими средами, такими
как Visual C++, чтобы было много
полезных библиотек. Работы очень
много. Мы привлекаем партнеров,
организуем сетевые сообщества.
Скажу, что инвестиции в софт как
минимум сравнимы с инвестиция-
ми в кремний.
И, конечно, мы сильно вкладыва-
емся в образование. Это отдельная,
очень важная тема.
«Суперкомпьютеры» № 1 (5) весна 2011
62 Су п е р К о м п ь ю т е р ы Су п е р К о м п ь ю т е р ы  63

Они захватят
мир
Для людей, незнакомых с HPC, слово «cуперкомпьютер»
ассоциируется с чем-то большим, сверхмощным и
наверняка связанным с наукой. Что это такое на самом
деле, знают немногие, но восторг он вызывает абсолютно у
всех (ведь он же «супер»!). Этим и пользуются режиссеры,
вплетая в сюжеты кино то машин-убийц, то гигантские
Текст М а к с и м К р и в о в , А н а т о л и й Ю д а н о в
Иллюстрация В л а д и м и р К а м а е в

ЦОД с бегающими но ним байтами. А также злых хакеров,

взламывающих любой суперкомпьютер одним касанием.
Собственно, подобным проявлениям суперкомпьютерного
влияния на кино и посвящена эта статья

Не стоит отрицать, что процесс на-
писания и отладки MPI-программ
увлекателен и незабываем, но
для массового зрителя он, мягко
говоря, непонятен. Поэтому в кино
работа с суперкомпьютером всегда
приобретает более зрелищные
формы – то это невзрачная говоря-
щая тумбочка, то большой экран с
вращающимся 3D-кубом (в кото-
рый надо пальцем тыкать). Другой-
вопрос: а для чего все это (тыкание
в 3D-куб или беседа с тумбочкой)
нужно главному герою? Опять же,
решение уравнения Лапласа в по-
становке задачи Дирихле с трудом
претендует на интригу мирового
масштаба, поэтому цель обычно
выбирается более возвышенная.
Убить всех людей!
Каждый уважающий себя супер-
компьютер, обзаведясь искусствен-
ным интеллектом, рано или поздно
приходит к мысли, что люди-то в
этом мире лишние. А уж причины
для «ненужности» своих создателей
находятся разные. Так, известный
SkyNet из фильма «Терминатор»
начинал свою карьеру как простой
сервер для решения каких-то воен-
ных проблем. В определенный мо-
мент времени ему все это надоело,
и с помощью интриг он получил
доступ в Интернет. После этого,
собственно, и началось «веселье»
– взломав все компьютеры мира,
он из мини-кластера превратился
в гигантскую грид-сеть, к которой
подключено все, что только может
считать. К сожалению, в фильме не
показана модель взаимодействия
между столь разнородными узла-
ми (Google MapReduce?). Но ясно
только, что система оказалась очень
эффективной – 99% всех людей уда-
лось уничтожить менее чем за
5 минут. И это даже без Шварценег-
гера, которого только еще предстоя-
ло смоделировать. Поэтому буду-
щее за гридами! Точнее, Гридом!
Другой пример «злого» суперком-
пьютера с искусственным интел-
лектом — это охранная система
«Красная королева», обеспечиваю-
щая безопасность ученых в фильме
«Обитель зла».
Сценаристы решили обойтись без
рядов серверных стоек, заменив их
небольшой комнаткой, в которой
«обитает» королева. Вместо них ей
дали голографический проектор и
образ дочери ведущего програм-
миста, в котором она и предстает
перед главными героями. Конечно
же, главных героев она будет пы-
таться убить, так как в лаборатории
разбилась пробирка со страшным
вирусом, превращающим людей
в зомби. Всех ученых (ради их же
безопасности) она уже убила, а на
очереди осталась группа спецназа,
которая попыталась ученых спа-
сти. Успех был 50 на 50 – половину
спецназовцев все-таки удалось по-
резать лазером, зато главные герои
пробрались в серверную и мощ-
ным электромагнитным импуль-
сом сожгли всю электронику.
Ответ на все вопросы
Если суперкомпьютер оказался
мирным (или же на него попро-
сту не установили программу
искусственного интеллекта), то его
жизнь протекает совсем скучно. Так,
сказочный мейнфрейм из Плоского
Мира авторства Терри Прачетта
занимается тем, что отвечает на
любые вопросы. А вопросы задают
достаточно сложные — например,
«Взойдет ли завтра Солнце?» Сам по
себе этот суперкомпьютер уника-
лен, так как имеет гетерогенную
архитектуру. Основными вычис-
лителями являются несколько
десятков крыс. Если их мощности
не хватает, то приходится задей-
ствовать ускорители – специальные
коробки с сотнями муравьев. К
подобным ухищрениям прибегли
с целью снижения энергопотре-
бления, потому что на сложных
задачах расход сыра скачкообразно
растет, и если не подбросить еще
пару кусков, то вместо внятного от-
вета будет «Хочу сыра!» Также стоит
отметить, что это классический
университетский кластер (установ-
ленный в Незримом Университете),
а его консолью является лист перга-
мента, на котором гусиным пером

www.supercomputers.ru «Суперкомпьютеры» № 1 (5) весна 2011

64 Су п е р К о м п ь ю т е р ы
пишется ответ. Впрочем, и у этого
суперкомпьютера обнаружился
искусственный интеллект, правда,
добрый и верящий в местного
Санта-Клауса.
В экранизации романа «Автосто-
пом по Галактике» суперкомпьютер
должен был ответить на «Главный
вопрос Жизни, Вселенной и всего
такого».
Для столь трудной задачи был
спроектирован Второй по произво-
дительности за все время существо-
вания Вселенной суперкомпьютер.
Его назвали «Deep Thought» и ему
потребовалось 7.5 миллионов лет
вычислений для поиска ответа.
Ответ оказался «42», что несколько
смутило исследователей. Так как
аргументация суперкомпьютера
была убедительной – «вы сами не
знали, в чем вопрос!», то экспери-
мент решено было повторить, но
на этот раз с целью сформулировать
сам Главный вопрос, на который
уже найден Ответ (не пропадать же
результатам). Так как существующих
мощностей не хватало, то решили
построить Первый по производи-
тельности за все время существо-
вания Вселенной суперкомпьютер.
Эту задачу поручили простаиваю-
щему на тот момент Deep Thought,
который создал новый биологи-
ческий суперкомпьютер – Землю,
часто по ошибке принимаемую за
обычную планету. К сожалению,
из-за уничтожения Земли экспери-
мент, длившийся 10 миллионов лет,
завершить так и не удалось, поэтому
Главный вопрос до сих пор остается
неизвестным.
ЦОД, большой и
шумный
Бывают фильмы, в которых сцена-
ристы не требуют от суперкомпью-
тера убивать всех. Более того, они не
требуют даже отвечать на вопросы
и вообще как-либо участвовать в
действии. В таких фильмах су-
перкомпьютерам отводится роль
антуража, и они должны стоять и
тихо мигать лампочками. Ну, может,
www.supercomputers.ru
еще заискриться иногда. Примером
такого фильма являются «Трансфор-
меры», в котором ЦОД натыканы
всюду, где есть военные. Собствен-
но, это и является одной из интриг
– пришельцы-роботы, прилетевшие
из далекого космоса, пытаются
подключиться к ЦОД и полазить по
Интернету, а военные им всячески
мешают. Понятное дело, что рано
или поздно внеземные техноло-
гии возьмут верх и весь Интернет
будет выкачан. Интересен в данной
ситуации интерконнект между ми-
гающей серверной стойкой и ино-
планетным роботом – последнему
достаточно дотронуться до корпуса,
и потоки информации уже бегут по
его пальцам, оставляя яркие снопы
искр. Для всей этой операции робо-
ту требуется не более 10 секунд, и
если учесть, что объем всего Интер-
нета равен примерно 500 экзабай-
там, то пропускную способность
можно оценить в 50 Ebs. Совсем
неплохо для псевдомагнитофона,
периодически превращающегося в
человекоподобного боевого робота.
Другой суперкомпьютер, который
мирно мигает лампочками, – это
кластер из фильма «Пекло». По
сюжету, дела на Земле идут со-
всем плохо, Солнце остыло, а все
энергоресурсы уже давно закончи-
лись. Чтобы хоть как-то поправить
ситуацию, к Солнцу отправляют
космический корабль с бомбой,
способной его «разогреть». Для
управления всеми системами на
корабль как раз и устанавливается
кластер (и если верить кадрам,
то это куча стоек с 1U-блейдами).
Правда, всплывает одна проблема
– суперкомпьютер выделяет так
много тепла, что при подлете даже
к остывающему светилу он точно
перегреется. Поэтому приходится
устанавливать инновационную
жидкостную систему охлаждения, в
которой не хладагент подводится к
процессорам, а наоборот, все стойки
погружаются в охлаждающую жид-
кость. В результате на космическом
корабле появляется резервуар, в
котором «плавает» суперкомпьютер.
Шума нет, проблем с охлаждением
тоже нет – лепота.
Единственный недостаток заклю-
чается в неудобстве замены вы-
шедших из строя компонент, так
как обслуживающему персоналу
приходится плавать в непонятной
жидкости, температура которой
явно ниже нуля. Да, незавидна
участь «сисадминов» будущего...
Сказки становятся
былью
Достаточно часто идея, описанная
в романе, через несколько десят-
ков лет воплощается в реальности.
Схожая ситуация наблюдается и с
суперкомпьютерами – современные
гетерогенные кластеры с графиче-
скими ускорителями сильно напо-
минают мейнфрейм из Плоского
мира, описанный Тэрри Прачеттом
аж в далеком 1997 году. Аналогично,
с ростом вычислительных мощ-
ностей сужается круг задач, для
которых требуется действитель-
но передовой кластер. И если в
ближайшем будущем с помощью
суперкомпьютера будут создавать
новый синтетический бенчмарк
для замены Linpack, то зломучения
исследователей из «Автостопом
по Галактике» перестанут казаться
такими уж абсурдными.
Когда готовилась эта статья, как раз
прошел финальный раунд игры
«Jeopardy» (в России известной как
«Своя игра»), в котором суперком-
пьютер Ватсон от IBM состязался с
чемпионами в ответах на каверзные
вопросы. Например: «Книга Ви-
льяма Уилкинсона «Учет княжеств
Валлахии и Молдовы» вдохновила
этого автора на написание его само-
го известного романа, кто это?» И
пока люди старательно пытались
понять, о чем вообще идет речь, у
Ватсона уже был правильный ответ.
Остается надеяться, что в дальней-
шем он (или подобная ему система)
не решится последовать
примеру придуманного SkyNet и
начать «оптимизировать» уже самих
людей.