1.

Эволюция ЭВМ (электронных вычислительных машин) от мейнфреймов к

суперкомпьютерам. Источники больших объёмов данных в разных областях науки и
бизнеса. Проект WLCG как источник данных, необходимость совместной работы больших
научных сообществ. Рабочие этапы проекта как поставщика данных, требования к
ресурсам. Принципы организации иерархических уровней (Tiers) WLCG –
функциональные отличия. Понятие SLA соглашений (Service Layer Agreements).

Первый этап (ЭВМ первого поколения) –  до конца 50-х годов XX века.

Точкой отсчета эры ЭВМ считают 1946 год, когда был создан первый
электронный компьютер ЭНИАК (Electronic Numerical Integrator and
Computer). Вычислительные машины этого поколения строились на
электронных лампах, потребляющих огромное количество электроэнергии и
выделяющих много тепла.
Числа в ЭВМ вводились с помощью перфокарт и набора переключателей, а
программа задавалась соединением гнезд не специальных наборных платах.
Производительность такой гигантской ЭВМ была ниже, чем современного
калькулятора. Широкому использованию таких ЭВМ, кроме дороговизны,
препятствовали также низкая надежность, ограниченность их ресурсов и
чрезвычайно трудоемкий процесс подготовки, ввода и отладки программ,
написанных на языке машинных кодов. Основными их пользователями были
ученые, решавшие наиболее актуальные научно-технические задачи,
связанные с развитием реактивной авиации, ракетостроения и т. д.
Второй этап (ЭВМ второго поколения)  – до середины 60-х годов XX века.
Развитие электроники привело к изобретению в 1948 г. нового
полупроводникового устройства – транзистора, который заменил лампы.
Появление ЭВМ, построенных на транзисторах, привело к уменьшению их
габаритов, массы, энергопотребления и стоимости, а также к увеличению их
надежности и производительности.
Со структурной точки зрения ЭВМ второго поколения характеризуются
расширенными возможностями по вводу-выводу, увеличенным объемом
запоминающих устройств, развитыми системами программирования.
В этот период появились так называемые алгоритмические языки высокого
уровня, средства которых допускают описание всей необходимой
последовательности вычислительных действий в наглядном, легко
воспринимаемом виде.
Появился широкий набор библиотечных программ для решения
разнообразных математических задач. Были созданы мониторные системы,
управляющие режимом трансляции и исполнения программ. Из мониторных
систем в дальнейшем выросли современные операционные системы (ОС).

Первые ОС просто автоматизировали работу оператора ЭВМ, связанную с

выполнением задания пользователя: ввод в ЭВМ текста программы, вызова
нужного транслятора, вызов необходимых библиотечных программ и т. д.
Теперь же вместе с программой и данными в ЭВМ вводится еще и
инструкция, где перечисляются этапы обработки и проводится ряд сведений
о программе и ее авторе. Затем в ЭВМ стали вводить сразу по нескольку
заданий пользователя (пакет заданий), ОС стали распределять ресурсы ЭВМ
между этими заданиями – появился мультипрограммный режим обработки.
Третий этап (ЭВМ третьего поколения)  –  до начала 70-х годов XX века.
Элементной базой в ЭВМ третьего поколения являются интегральные схемы.
Создание технологии производства интегральных схем, состоящих из
десятков электронных элементов, образованных в прямоугольной пластине
кремния с длиной стороны не более 1 см, позволило увеличить
быстродействие и надежность ЭВМ на их основе, а также уменьшить
габариты, потребляемую мощность и стоимость ЭВМ.
Машины третьего поколения – это семейство машин с единой архитектурой,
т.е. программно-совместимых. Они имеют развитые операционные системы,
обладают возможностями мультипрограммирования. Многие задачи
управления памятью, устройствами и ресурсами стала брать на себя
операционная система или же непосредственно сама машина.
Быстродействие машин внутри семейства изменяется от нескольких десятков
тысяч до миллионов операций в секунду. Емкость оперативной памяти
достигает нескольких сотен тысяч слов.
В период машин третьего поколения произошел крупный сдвиг в области
применения ЭВМ. Если раньше ЭВМ использовались в основном для научно-
технических расчетов, то в 60-70 годы все больше места стала занимать
обработка символьной информации.
Четвертый этап (ЭВМ четвертого поколения)  – по настоящее время.
Этот этап условно делят на два периода: первый – до конца 70-х годов и
второй – с начала 80-х годов по настоящее время.
В первый период успехи в развитии электроники привели к созданию
больших интегральных схем (БИС), где в одном кристалле размещалось
несколько десятков тысяч электронных элементов. Это позволило
разработать более дешевые ЭВМ, имеющие большую память и меньший
цикл выполнения команд: стоимость байта памяти и одной машинной
операции резко снизилась. Но так как затраты на программирование почти
не сокращались, то на первый план вышла задача экономии человеческих, а
не машинных ресурсов.
Разрабатывались новые ОС, позволяющие программистам отлаживать свои
программы прямо за дисплеем ЭВМ, что ускоряло разработку программ.
В 1971 г. был изготовлен первый микропроцессор – большая интегральная
схема, в которой полностью размещался процессор ЭВМ простой
архитектуры. Стала реальной возможность размещения в одной БИС почти
всех электронных устройств несложной по архитектуре ЭВМ, т. е.
возможность серийного выпуска простых ЭВМ малой стоимости. Появились
дешевые микрокалькуляторы и микроконтроллеры – управляющие
устройства, построенные на одной или нескольких БИС, содержащих
процессор, память и системы связи с датчиками и исполнительными
органами в объекте управления.
Во втором периоде улучшение технологии БИС позволяло изготовлять
дешевые электронные схемы, содержащие сотни тысяч элементов в
кристалле – схемы сверхбольшой степени интеграции – СБИС.
Появилась возможность создать настольный прибор с габаритами
телевизора, в котором размещались микро-ЭВМ, клавиатура, а также схемы
сопряжения с малогабаритным печатающим устройством, измерительной
аппаратурой, другими ЭВМ и т. п. Благодаря ОС, обеспечивающей простоту
общения с этой ЭВМ, большой библиотеки прикладных программ по
различным отраслям человеческой деятельности, а также малой стоимости
такой персональный компьютер становится необходимой принадлежностью
любого специалиста.

Существуют различные системы классификации электронных средств

обработки информации: по архитектуре, по производительности, по
условиям эксплуатации, по количеству процессоров, по потребительским
свойствам и т. д. Один из наиболее ранних методов классификации –
классификация по производительности и характеру использования
компьютеров. В соответствии с этой классификацией компьютерные
средства обработки можно условно разделить на следующие классы:
· микрокомпьютеры;
· мэйнфреймы;
· суперкомпьютеры.
Микрокомпьютеры.  Первоначально определяющим признаком
микрокомпьютера служило наличие в нем микропроцессора, т. е.
центрального процессора, выполненного в виде одной микросхемы. Сейчас
микропроцессоры используются во всех без исключения классах ЭВМ, а к
микрокомпьютерам относят более компактные в сравнении с мэйнфреймами
ЭВМ, имеющие производительность до сотен МИПС (МИПС – миллион
команд в секунду).
Современные модели микрокомпьютеров обладают несколькими
микропроцессорами. Производительность компьютера определяется не
только характеристиками применяемого микропроцессора, но и емкостью
оперативной памяти, типами периферийных устройств, качеством
конструктивных решений и др.
Микрокомпьютеры представляют собой инструменты для решения
разнообразных сложных задач. Их микропроцессоры с каждым годом
увеличивают мощность, а периферийные устройства – эффективность.
 Персональные компьютеры (ПК) –  это микрокомпьютеры универсального
назначения, рассчитанные на одного пользователя и управляемые одним
человеком. В класс персональных компьютеров входят различные
вычислительные машины – от дешевых домашних и игровых с небольшой
оперативной памятью до сверхсложных машин с мощным процессором,
винчестерским накопителем емкостью в десятки гигабайт, с цветными
графическими устройствами высокого разрешения, средствами мультимедиа
и другими дополнительными устройствами.
Персональные компьютеры можно классифицировать и по конструктивным
особенностям. Они подразделяются на стационарные (настольные) и
переносные. Переносные, в свою очередь, делятся на портативные (Laptop),
блокноты (Notebook), карманные (Palmtop).
Мэйнфреймы.  Предназначены для решения широкого класса научно-
технических задач и являются сложными и дорогими машинами. Их
целесообразно применять в больших системах при наличии не менее 200-
300 рабочих мест. Несколько мэйнфреймов могут работать совместно под
управлением одной операционной системы над выполнением единой задачи.
Суперкомпьютеры.  Это очень мощные компьютеры с производительностью
свыше 100 МФЛОПС (МФЛОПС – сто миллионов операций в секунду). Они
называются сверхбыстродействующими. Создать такие
высокопроизводительные ЭВМ по современной технологии на одном
микропроцессоре не представляется возможным ввиду ограничения,
обусловленного конечным значением скорости распространения
электромагнитных волн, так как время распространения сигнала на
расстояние нескольких миллиметров (линейный размер стороны
микропроцессора) при быстродействии 100 млрд оп./с становится
соизмеримым со временем выполнения одной операции. Поэтому суперЭВМ
создаются в виде высокопараллельных многопроцессорных вычислительных
систем.
Больши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — обозначение структурированных
и неструктурированных данных огромных объёмов и значительного многообразия,
эффективно обрабатываемых горизонтально
масштабируемыми программными инструментами, появившимися в конце 2000-х годов и
альтернативных традиционным системам управления базами данных и решениям
класса Business Intelligence[1][2][3].
В широком смысле о «больших данных» говорят как о социально-экономическом феномене,
связанном с появлением технологических возможностей анализировать огромные массивы
данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из
этого трансформационных последствий[4].
В качестве определяющих характеристик для больших данных традиционно выделяют «три
V»: объём (англ. volume, в смысле величины физического объёма), скорость (velocity в
смыслах как скорости прироста, так и необходимости высокоскоростной обработки и
получения результатов), многообразие (variety, в смысле возможности одновременной
обработки различных типов структурированных и полуструктурированных данных)[5][6]; в
дальнейшем возникли различные вариации и интерпретации этого признака[⇨].
С точки зрения информационных технологий в совокупность подходов и инструментов
изначально включались средства массово-параллельной обработки неопределённо
структурированных данных, прежде всего, системами управления базами данных
категории NoSQL, алгоритмами MapReduce и реализующими их программными каркасами и
библиотеками проекта Hadoop[7]. В дальнейшем к серии технологий больших данных стали
относить разнообразные информационно-технологические решения, в той или иной степени
обеспечивающие сходные по характеристикам возможности по обработке сверхбольших
массивов данных.

История
Широкое введение термина «большие данные» связывают с Клиффордом Линчем,
редактором журнала Nature, подготовившим к 3 сентября 2008 года специальный выпуск с
темой «Как могут повлиять на будущее науки технологии, открывающие возможности
работы с большими объёмами данных?», в котором были собраны материалы о феномене
взрывного роста объёмов и многообразия обрабатываемых данных и технологических
перспективах в парадигме вероятного скачка «от количества к качеству»; термин был
предложен по аналогии с расхожими в деловой англоязычной среде метафорами «большая
нефть», «большая руда»[9][10].
Несмотря на то, что термин вводился в академической среде и прежде всего разбиралась
проблема роста и многообразия научных данных, начиная с 2009 года термин широко
распространился в деловой прессе, а к 2010 году относят появление первых продуктов и
решений, относящихся исключительно и непосредственно к проблеме обработки больших
данных. К 2011 году большинство крупнейших поставщиков информационных технологий для
организаций в своих деловых стратегиях используют понятие о больших данных, в том
числе IBM[11], Oracle[12], Microsoft[13], Hewlett-Packard[14], EMC[15], а основные аналитики рынка
информационных технологий посвящают концепции выделенные исследования[5][16][17][18].
В 2011 году Gartner отметил большие данные как тренд номер два в информационно-
технологической инфраструктуре (после виртуализации и как более существенный,
чем энергосбережение и мониторинг)[19]. В это же время прогнозировалось, что внедрение
технологий больших данных наибольшее влияние окажет на информационные технологии
в производстве, здравоохранении, торговле, государственном управлении, а также в сферах и
отраслях, где регистрируются индивидуальные перемещения ресурсов[20].
С 2013 года большие данные как академический предмет изучаются в появившихся вузовских
программах по науке о данных[21] и вычислительным наукам и инженерии[22].
В 2015 году Gartner исключил большие данные из цикла зрелости новых технологий и
прекратил выпускать выходивший в 2011—2014 годы отдельный цикл зрелости технологий
больших данных, мотивировав это переходом от этапа шумихи к практическому применению.
Технологии, фигурировавшие в выделенном цикле зрелости, по большей части перешли в
специальные циклы по продвинутой аналитике и науке о данных, по BI и анализу данных,
корпоративному управлению информацией, резидентным вычислениям, информационной
инфраструктуре[23

Проект EGEE («Развёртывание грид-систем для развития е-науки») воплотил в

действительность замысел превратить мировые компьютерные ресурсы в единую
однородную среду, где ими можно пользоваться совместно в мировом масштабе.

Проект финансировался Европейским Сообществом и странами-участницами. В

результате появилась высокопроизводительная всемирная инфраструктура,
намного превосходящая по своим возможностям локальные кластеры и
отдельные центры. Проект EGEE был успешно завершен в апреле 2010 года.

В консорциум EGEE входили свыше 140 организаций из более чем 50 стран,

которые были объединены в 13 федераций (одна из которых «Russia»), и
представляли почти все основные европейские международные и национальные
 грид-проекты, а также проекты в США и Азии. Кроме того, множество
родственных проектов (более 50 ассоциированных участников) распространили
грид-инфраструктуру на Средиземноморье, Балтику, Латинскую Америку, Индию
и Китай .

Грид-инфраструктура EGEE стала повседневным рабочим средством для целого

ряда больших и малых исследовательских сообществ: физики высоких энергий,
биологических наук и смежных дисциплин, наук о Земле, астрофизики,
вычислительной химии, термоядерной энергетики и других. Число пользователей
инфраструктуры EGEE, объединенных в более чем 200 виртуальных организаций,
составляло более 14000 человек, а ежедневно в
инфраструктуре EGEE выполнялось более 400 тысяч заданий, т.е. более 12
миллионов заданий в месяц.

Проект WLCG (Worldwide LHC Computing GRID) принят в 2001 году в ЦЕРНе с

целью создания глобальной информационно-вычислительной инфраструктуры
для обработки, хранения и анализа данных, полученных во время экспериментов,
проводимых на Большом адронном коллайдере. Для реализации этой
грандиозной задачи построена масштабная глобальная грид-инфраструктура на
основе региональных центров различного уровня, обеспечивающая
моделирование, хранение, передачу данных с Большого адронного коллайдера.

SLA — Service Level Agreement (соглашение об уровне обслуживания) — внешний документ

(существующий между заказчиком и исполнителем), описывающий параметры
предоставляемой услуги. “Соответствие SLA” эквивалентно тому, что сервис работает так,
что реальные параметры соответствуют заявленным в соглашении значениям метрик. Хотя
сам термин SLA появился в ИТ, сегодня такие документы используются для описания самых
разных услуг, как в ИТ, так и в других сегментах B2B, например, в
обслуживании коммерческой недвижимости, при ремонте специализированного оборудования
и т.п.
Соглашения SLA активно применяются там, где исполнитель и заказчик услуг автономны по
отношению друг к другу. Это могут быть отношения между компаниями или даже
подразделениями одного бизнеса, если одно из них позиционируется, как внутренний
аутсорсер. В таких случаях, правда, предусмотрена иная аббревиатура из трех букв: OLA —
Operational Level Agreement — аналогичный SLA внутренний документ компании,
определяющий зоны ответственности подразделений при взаимодействии в процессе
формирования некой внешней услуги.
Опасения компаний, не сталкивавшихся с подобным документом, напрасны. Договор SLA не
бюрократизирует работу ИТ или иного сервисного подразделения, а наоборот, формализует и
делает более прозрачным взаимодействие с потребителями услуг.

 SLA не только содержит описание услуг, но и ставит границы ответственности в

рамках определенного сервиса. Всем приходится сталкиваться с не типовыми заявками. К
примеру, вы договаривались на обслуживание типовой ИТ-инфраструктуры, но уже после
заключения договора в ней появляется специфическое оборудование, а вместе с ним - и заявки
по его настройке. Кто должен им заниматься? Соответствующий специалист стоит дорого, а
его зарплату вы не закладывали при расчете стоимости услуги. С другой стороны, клиент
считает, что это часть инфраструктуры, а значит ваша ответственность. Или вы обслуживаете
он-лайн кассу, а у клиента проблемы с 1С, которые он пытается повесить на вас. SLA
позволяет навсегда закрыть этот вопрос, ограничив область взаимодействия с пользователями
только лишь заранее объявленными объектами или продуктами.
 SLA соглашение содержит информацию о том, в каком случае услуга считается
выполненной (когда ответственность исполнителя прекращается) - это значит организации,
обслуживающей, допустим, коммерческую недвижимость, уже не придется ремонтировать
крышу за свой счет, если новые проблемы вскрылись через 2 года после предыдущего
ремонта, а заявленная гарантия на работы — 1 год.
 в SLA прописываются параметры услуги и их допустимые колебания —  уровень SLA.
К примеру, в соглашении можно прописать, что специалист поддержки имеет право отвечать в
течение 4х часов после регистрации заявки, а не мгновенно, а также не отвечать в выходные и
праздничные дни. Однако чтобы SLA не превратилось в головную боль для всех
заинтересованных сторон, важно указывать там реально достижимые параметры услуг. И если
они кого-то не устраивают, лучше обсуждать их на этапе подписания - расставить все точки
над “и”, чтобы ни у кого не было завышенных ожиданий. Кстати, время — далеко не
единственно возможный источник метрик для услуг, однако предлагать слишком много
параметров или использовать какие-то косвенные показатели, слабо коррелирующие с
действиями исполнителя, не стоит. Они только усложняют работу.
 содержание SLA со стороны сервисного отдела или компании — это набор целевых
метрик, к которым стремятся исполнители (в отличие от KPI, представляющих собой
фактическое измерение услуги, но часто смешиваемых с понятием SLA). Тот факт, что
параметры SLA соблюдаются — повод похвалить сервисный отдел, заплатить премии его
сотрудникам. А несоблюдение заявленных условий — причина начать внутреннее
расследование и депремировать виновных. Правда, выбор правильных показателей для
контроля, как выбор правильных метрик, требует опыта и понимания ситуации. К примеру,
нельзя бездумно мотивировать сотрудников решать задачи клиента быстрее — так пострадает
качество решения.