Вы находитесь на странице: 1из 29

Математические модели принятия решений

15.11.2010

О высокопроизводительном 
вычислительном комплексе
Информационно­вычислительного центра 
НГУ

Дмитрий Чубаров 
ИВТ СО РАН

О высокопроизводительных вычислениях

История вопроса «в фантиках»: 
Cray, Linux, Tesla, ...

Кто и где этим занимается

Вычислительный центр в НГУ

Поставленные цели и полученные результаты

Параллельное программирование: 
теоретический минимум

Примеры из практики

Содержание
В истории наблюдались и всплески, и спады интереса к 
высокопроизводительным вычислениям

За: Против:
Очереди
Высокая надежность

● Необходимость защиты 
● Масштабируемость информации
● Сокращение накладных  ● Дороговизна
расходов за счет  ● Зависимость от сетей и 
централизации прочей инфраструктуры
● Мировая тенденция ● Недостаток индивидуального 
подхода

Высокопроизводительные вычисления
и вычислительные центры
● 1976: Cray­1
● 1980: Ethernet 

1998: Intel Xeon

1985: DNS

2000: InfiniBand
● 1987: T8 Transputer ●
2003: AMD64

1991: Linux ●
2005: InfiniBand DDR
● 1994: NASA Beowulf ●
2007: CUDA
1996: MPI­2
2008: InfiniBand QDR

● 1997: OpenMP 1.0

К истории вопроса
Top 500

Развитие процессорных архитектур и 
компиляторов

Построение вычислительных кластеров на 
основе открытых стандартов

Возникновение глобальных 
вычислительных сетей

Основные тенденции
● США: 
● Национальные лаборатории
● Вычислительные центры в университетах
● Европа:
● вычислительные центры общего назначения
● Специализированные вычислительные центры
● Азия: 
● национальные вычислительные центры
● Вычислительные центры в университетах
● Россия

Вычислительные центры
Вычислительные системы:
● Jaguar (#1)(#2)
● Kraken (#4)(#5)
● ...
Разработка программного 
обеспечения:
● LAPACK
● BLAS
● MAGMA
● ...

University of Tennesse & ORNL
Вычислительные системы
● BlueGene/P (#13)
● IdataPlex (#289)
Разработка программного 
обеспечения:
● MPICH, MPICH2
● Globus Toolkit
● ...

Argonne 
Национальные лаборатории в Лос­
Аламосе, Беркли, Ливерморе, 
вычислительный центр в Сан­Диего...
Вычислительные системы: 
● Cray XE6 (#6)
● Roadrunner (#7)
● ...
Разрабатываемое программное 
обеспечение:
● LS­Dyna
● VTK (GE + LANL)
● ...

University of California & National Labs
Великобритания: Эдинбург, 
Манчестер, ...
Германия: Юлих, Мюнхен, 
Штутгарт, ...
DEISA — Distributed 
European Infrastructure for 
Supercomputing 
Applications

Европа
США — TeraGrid при поддержке NSF
Европа — HPC Europa + доступ к центрам, 
расположенным поблизости
Специализированные центры для определенного 
класса задач: 

«метеорология», обработка спутниковых 
изображений, моделирование климата

Биоинформатика

Инженерные расчеты

Предоставление доступа
Центры общего  ●
Университетские 
пользования центры: ЮУрГУ, ТГУ, 
● НИВЦ МГУ СФУ, НГУ, ...
● ВМК МГУ (BlueGene/P)

МСЦ РАН
● ССКЦ СО РАН

Российские суперкомпьютерные 
центры
14

ИВТ
12 ИВМ
ИДСТУ
ИТПМ
10
ССКЦ
ТГУ
8 НГУ

0
2002 2004 2006 2008 2010

* По СФУ нет данных
** В ТГУ в конце 2010­го года планируется увеличить мощность до 18.9 Т

Динамика запуска вычислительных кластеров
в ВУЗах СФО и институтах СО РАН
● 1999: Кластер Pentium III/5 1200

● 2004: Кластер Xeon/8
1000

● 2007: Кластер Opteron/44
● 2009: Ускоритель вычислений  800

Tesla S1070
● 2010: Кластер InfiniBand/96 600

400

200

0
2004 2007 2009 2010

Развитие вычислительных ресурсов 
в ИВТ СО РАН
СПД СО РАН — арендуемые каналы связи 
пропускной способностью 10 Мбит/с, свободные 
от Интернет­трафика

Вычислительные сети в Сибири
Первый эксперимент по созданию сегмента на основе 
технологии 10 Гбит/с
Используется для передачи результатов расчетов между 
вычислительными машинами и системами хранения
ИВЦ НГУ
● 2007 г. Инновационная  ● Март 2007 г. ­­ итоги 
образовательная  конкурса программ
программа НГУ  ● Октябрь 2007 г. ­­ 
поддержана в рамках  конкурс на поставку 
НП «Образование» оборудования, монтаж, 
● 2009 г. программа  подготовку помещений
развития Национального  ● Октябрь 2008­го года — 
исследовательского  открытие ИВЦ НГУ
университета
● Март 2010­го года — 
запуск второй очереди 
комплекса

Развитие ресурсов в НГУ

Декабрь 2008 — первый  ●
Октябрь 2010 — описания 
семинар для пользователей работ

Февраль — Май 2009: курсы  ●
20 — 25 текстов объемом до 
по параллельному  6 страниц
программированию и  ●
Более 3 млн. CPU ­ часов
биоинформатике в 
лаборатории HP+НГУ

Март — Май 2010: курсы по 
параллельным алгоритмам 
решения уравнений в 
частных производных, 
биоинформатике

Некоторые итоги

160 узлов (64 + 96) ●
Подключиться с любого 
компьютера в Интернет

InfiniBand

Протоколы: SSH, SFTP

Каждый узел — два 
четырехъядерных  ●
Время отклика зависит от 
процессора, 16 ГБ памяти способа подключения!

Linux x64 ●
Копирование данных — 
отдельная проблема

Вычислительный комплекс с 
общей памятью 128 ГБ

Очередь задач

Характеристики вычислительной 
системы

Цунамирайонирование

Исследование квантовых эффектов в 
полупроводниках

Разработка пассивных элементов для 
систем терагерцового диапазона

Обработка данных эксперимента КЕДР

Теория групп

Компьютерная анимация

Примеры

Объем вычислений — около 40 тыс. CPU­
часов

Расчеты на основе последовательных 
программ выполняются для достаточно 
большого набора модельных источников

При поступлении сообщения об угрозе 
цунами, прогноз быстро вычисляется на 
основе результатов расчетов для близких 
модельных источников

Цунамирайонирование
Задачи

● Адаптация исходного кода программ
● Описание зависимостей между модулями и 
направлений обмена данными между ними
● Автоматизация одновременного запуска расчетов 
для всех источников в заданной акватории
● Сбор результатов для дальнейшей обработки

Цунамирайонирование
● Около 900 тыс. CPU­часов
● Свободно распространяемый код компьютерной 
модели (siesta)
● Параллельная реализация с использованием 
интерфейса MPI
● Выбор «оптимального» числа процессоров для 
каждого расчета
● Контроль за эффективностью вычислений, 
ускорение коммуникаций за счет использования 
InfiniBand

Квантовые эффекты
● Около 40 тыс. CPU­часов
● Ограниченная лицензия (без доступа к коду 
программы, за плату, с ограничениями на 
способы использования) — ANSOFT HFSS
● Необходимость интерактивной работы с 
графическим интерфейсом пользователя
● Запуск расчетов на одной машине с большим 
объемом доступной  оперативной памяти

Терагерцовые устройства

Более 20 тыс. CPU­часов

Запуск расчетов в виртуальных машинах. 

128 виртуальных машин занято в 
обработке

Данные хранятся на стороне ИЯФ, 
обработка — на стороне НГУ

Обработано более 1 млрд. событий за 
месяц

КЕДР
http://www.nusc.ru
Демонстрация