На правах рукописи

КУЧЕРОВ НИКОЛАЙ НИКОЛАЕВИЧ

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ МОДЕЛИРОВАНИЯ,

ХРАНЕНИЯ И ОБРАБОТКИ ДАННЫХ БОЛЬШОЙ РАЗРЯДНОСТИ С
ВЫСОКОЙ НАДЕЖНОСТЬЮ В ОБЛАЧНОЙ СРЕДЕ НА ОСНОВЕ
СИСТЕМЫ ОСТАТОЧНЫХ КЛАССОВ

Специальность: 05.13.18 – Математическое моделирование, численные

методы и комплексы программ

Автореферат диссертации на соискание ученой степени

кандидата технических наук

Ставрополь – 2018
 2

Работа выполнена в федеральном государственном автономном

образовательном учреждении высшего образования
«Северо-Кавказский федеральный университет»

Научный руководитель: доктор технических наук, профессор

Червяков Николай Иванович

Официальные оппоненты: Оцоков Шамиль Алиевич

доктор технических наук, доцент,
ФГБОУ ВО Национальный исследовательский
университет «Московский энергетический
институт», доцент кафедры вычислительных
систем и сетей

Исупов Константин Сергеевич

кандидат технических наук,
ФГБОУ ВО «Вятский государственный
университет», ведущий научный сотрудник
кафедры электронных вычислительных машин

Ведущая организация: ФГАОУ ВО «Южный федеральный

университет» (г. Ростов-на-Дону)

Защита состоится «26» декабря 2018 года в 11:30 ч. на заседании

диссертационного совета Д 212.245.09 при ФГАОУ ВО «Северо-Кавказский
федеральный университет» по адресу: 355009, г. Ставрополь, ул. Пушкина, 1,
корп. 20, ауд. 312.

С диссертацией можно ознакомиться в библиотеке и на сайте ФГАОУ ВО

«Северо-Кавказский федеральный университет» по адресу: 355028, г.
Ставрополь, пр. Кулакова 2, http://www.ncfu.ru/uploads/doc/diss_kucherov.pdf

С авторефератом можно ознакомиться на сайте СКФУ:

http://www.ncfu.ru/dissertaciya-kucherova-nikolaya-nikolaevicha.html

Автореферат разослан «__» _________ 2018 г.

Ученый секретарь диссертационного совета,

кандидат физико-математических наук, доцент О.С. Мезенцева
 3

Актуальность работы. Существенное увеличение объемов

информации является отличительной чертой современного мира. При работе
таких установок как Европейский рентгеновский лазер на свободных
электронах XFEL, Большой адронный коллайдер, коллайдер НИКА и других
научных систем уже получены сотни петабайт экспериментальных данных в
области физики элементарных частиц, биоинформатики, геофизики и др.,
причем объемы получаемых данных будут расти и скоро достигнут
экзабайтной отметки. Вся полученная в ходе экспериментов информация
должна быть доступна всем членам научных коллабораций и коллективов
компаний, где участники коллективов почти всегда географически
распределены. В этой ситуации задача надежного хранения и управления
данными становится фундаментальной и отсутствие ее адекватного решения
приводит к экономическим и функциональным потерям.
В основе всех облачных служб, продуктов и решений лежат
программные средства, которые по функциональности можно разделить на
три типа: средства для обработки данных и выполнения приложений, для
перемещения данных и для их хранения.
Облачными вычислениями принято считать способ обработки данных с
использованием аппаратных и программных ресурсов, которые представлены
в виртуализованном виде, загружаются динамически и не имеют
ограничений по масштабированию, а также предоставление пользователю
компьютерных ресурсов и мощностей в виде сетевого сервиса.
В целях повышения надежности обработки и хранения данных
целесообразно применять схемы распределенного хранения данных,
основанные на принципах модулярной арифметики. Одним из
перспективных направлений модулярной арифметики является разработка
математических методов для хранения и обработки данных большой
разрядности с высокой надежностью в облачной среде. Основным
инструментом повышения показателей надежности является введение
регулируемой избыточности в систему. Недостаточно рассмотрены вопросы
построения надежных схем хранения и обработки данных большой
размерности с достоверностью и постоянной доступностью.
Значительный научный вклад в теорию и практику облачных и
параллельных вычислений внесли отечественные и зарубежные
исследователи: И.Я. Акушский, Д.И. Юдицкий, В.М. Амербаев,
В.В. Воеводин, Вл.В. Воеводин, Н.И. Червяков, И.А. Калмыков,
О.А. Финько, G. Alonso, R. Buyya, Ji. Chen, A. Chervenak, C. Gentry, B.
Parhami, A. Omondi, A. Premkumar, P. Paillier, A. Tchernykh, L. Yang, D. Zhang
и другие.
С целью удовлетворения требований надежности и доступности,
предъявленных к хранимым и обрабатываемым данным, в работе применена
новая архитектура облачной системы надежного и отказоустойчивого
хранения данных на основе системы остаточных классов (СОК).
 4

Совместное применение СОК и схем распределения данных позволяет

создать новую схему хранения, распределения и обработки данных в
облаках, обладающую высокой надежностью, достоверностью и
обеспечивающую постоянную доступность информации.
Исходя из вышеизложенного, разработка математических методов
моделирования, хранения и обработки данных большой разрядности в
облачной среде с регулируемой избыточностью и высокой достоверностью
является актуальной научно-исследовательской задачей.
Цель диссертационного исследования – повышение
отказоустойчивости и надежности схем обработки и хранения данных в
облачных сервисах с регулируемой избыточностью.
Объект исследования – облачные инфраструктуры хранения данных.
Предмет исследования – математические модели, методы и алгоритмы
хранения и обработки данных в облачных хранилищах.
Научная задача – разработка новых математических методов и моделей
обработки и хранения данных большой разрядности в облачных хранилищах
с регулируемой избыточностью.
Для решения поставленной общей научной задачи была произведена ее
декомпозиция на ряд частных задач:
1. Аналитический обзор современных облачных хранилищ данных
большой разрядности;
2. Разработка математической модели, методов и алгоритмов системы
надежного, длительного хранения данных большой разрядности в
мультиоблачной среде на базе системы остаточных классов с регулируемой
избыточностью;
3. Разработка математической модели синтеза и анализа
многоуровневых облачных систем хранения данных следующего поколения;
4. Модификация численного метода Червякова для перевода чисел из
системы остаточных классов в позиционную систему счисления за счет
использования ранга числа Акушского;
5. Разработка среды моделирования распределенного длительного
хранения данных большой разрядности в облачной среде;
Методы исследования базируются на использовании математического
аппарата высшей алгебры, теории чисел, теории алгоритмов, численных
методов, теории вероятности, теории надежности, математическом
моделировании, системном анализе, имитационном моделировании.
На защиту выносятся следующие научные результаты:
1. Математическая модель системы надежного и длительного
хранения данных в мультиоблачной среде.
2. Методы и алгоритмы надежного и длительного хранения данных в
мультиоблачной среде на базе системы остаточных классов с регулируемой
избыточностью.
3. Математическая модель синтеза и анализа многоуровневых
облачных систем хранения данных следующего поколения.
 5

4. Численный метод вычисления ранга числа для эффективного

перевода чисел из системы остаточных классов в позиционную систему
счисления.
5. Комплекс программ моделирования системы обработки и хранения
данных большой разрядности с высокой надежностью и регулируемой
избыточностью.
Научная новизна:
1. Разработаны модели, методы и алгоритмы надежного и длительного
хранения данных в мультиоблачной среде на базе системы остаточных
классов с регулируемой избыточностью.
2. Разработана математическая модель синтеза и анализа
многоуровневых облачных систем хранения данных следующего поколения
3. На основе разработанных моделей предложен новый численный
метод вычисления ранга числа для эффективного перевода чисел из
системы остаточных классов в позиционную систему счисления.
4. Комплекс программ моделирования системы обработки и хранения
данных большой разрядности с высокой надежностью и регулируемой
избыточностью.
Достоверность результатов обеспечивается корректным и
обоснованным применением методов математического моделирования и
строгостью приводимых математических доказательств. Справедливость
выводов относительно эффективности предложенных моделей и методов
подтверждена математическим моделированием на базе разработанной
модели надежного хранения данных в облачной среде.
Практическая ценность результатов состоит в возможности реализации
системы надежного распределенного хранения данных, основанной на СОК
на базе разработанных методов, что способствует снижению избыточности и
уменьшению затрат на содержание. Разработан универсальный метод
выполнения операций в СОК, позволяющий расширить возможности
использования системы остаточных классов при проектировании систем
хранения данных. Разработанные программные продукты и аппаратные
решения, зарегистрированные в соответствующем порядке, способствуют
оптимизации эксплуатационных возможностей облачных вычислений.
Внедрение. Результаты диссертационного исследования используются
в учебном процессе в СКФУ на кафедре прикладной математики и
математического моделирования в дисциплинах «Приложения системы
остаточных классов в информационных технологиях» и «Основы
модулярной арифметики», что подтверждено Актом об использовании
результатов работы в учебном процессе от 17.05.2018. Основные научные
результаты использованы в опытно-конструкторских ООО «Инфоком-С» при
выполнении договора на выполнение прикладных научных исследований и
экспериментальных разработок №1909/16 по теме «Разработка средств
высокоскоростной обработки данных информационных сенсоров в системах
ситуационного управления» (Акт №101 от 04.10.2018). Кроме того, ряд
 6

результатов работы был использован при выполнении научно-

исследовательских работ в базовой части государственного задания СКФУ
№2.6035.2017/БЧ «Разработка математических моделей и методов снижения
энергопотребления в системах мобильной связи на основе системы
остаточных классов».
Апробация работы. Основные результаты работы были представлены
на «II International Conference Engineering & Telecommunication – En&T 2015»
(г. Москва, Россия, 2015 г.), Proceedings of the First International Scientific
Conference «Intelligent Information Technologies for Industry (IITI'16)» (г.
Ростов-на-Дону – г. Сочи, Россия, 2016 г.), XVII International School-Seminar
«Optimization Methods and their Applications», (г. Иркутск, Россия, 2017 г.)
«Information Technology and Systems 2015 (ITIS 2015)» (г. Сочи, Россия, 2015
г.), «53-я Международной научной студенческой конференции МНСК-2015:
Информационные технологии» (г. Новосибирск, Россия, 2015 г.),
Международной научно-технической конференции «Современные
технологии в нефтегазовом деле – 2015» (г. Уфа, Россия, 2015 г.),
«International Conference on High Performance Computing & Simulation (HPCS
2018)» (г. Орлеан, Франция), «1st International Workshop on Uncertainty in
Cloud Computing, in conjunction with 28th International Conference on Database
and Expert Systems Applications (DEXA'17)IEEE» (г. Лион, Франция, 2017 г.),
Tomsk IEEE Chapter & Student Branch of The Institute of Electrical and
Electronics Engineers «International Siberian Conference on Control and
Communications SIBCON-2017» (г. Астана, Казахстан, 2017 г.), «ISUM 2017 –
8th International Supercomputing Conference in Mexico» (г. Гвадалахара,
Мексика, 2017 г.), «ISUM 2016 – 7th International Supercomputing Conference
in Mexico» (г. Пуэбло, Мексика, 2016 г.), «6th International Conference, ICSI
2015 held in conjunction with the Second BRICS Congress (CCI 2015)» (г.
Пекин, Китай, 2015 г.).
Публикации по теме диссертации. По материалам диссертационного
исследования опубликовано 25 научных работ, в том числе 5 в
рецензируемых научных изданиях, рекомендованных ВАК при Минобрнауки
России, 6 работ в изданиях, входящих в базы международного цитирования
Web of Science и Scopus.
Личный вклад соискателя. Все изложенные в работе результаты
исследований получены при непосредственном участии автора. Авторским
вкладом являются разработка методов, моделей и алгоритмов хранения
данных в облачной среде, разработка численного методов вычисления ранга
числа в системе остаточных классов, разработка программного комплекса
моделирования надежного хранения данных в облачной среде, основанной на
системе остаточных классов.
Структура диссертации. Диссертационная работа состоит из введения,
четырёх глав, заключения, приложений, списка сокращений и обозначений, а
также списка использованной литературы, содержащего 118 наименований.
 7

Основная часть работы содержит 148 страниц машинописного текста. Работа

содержит 38 рисунков, 26 таблиц, 7 приложений.

Основное содержание работы

Во введении обоснована актуальность темы диссертации,
сформулированы цель и задачи работы, выбраны объект и предмет
исследования, показана научная новизна, практическая и теоретическая
ценность полученных результатов, приведены основные положения,
выносимые на защиту.
Первая глава посвящена анализу методов и моделей хранения и
обработки данных в облачных системах. Рассмотрены основные модели
развертывания облачных сервисов. Приведены основные виды организации
распределенных сетей хранения и обработки данных.
В основе концепции облачного хранилища данных лежат две основные
идеи: интеграция разъединенных детализированных данных в едином
хранилище и разделение наборов данных и приложений, используемых для
оперативной обработки и применяемых для решения задач анализа.
Концептуально модель облачного хранилища данных можно
представить в виде схемы (рисунок 1). Данные из различных источников
помещаются в хранилище данных, а описания этих данных в репозиторий
метаданных.

Рисунок 1 – Концептуальная модель архитектуры

облачного хранилища данных

Система хранения «облако» рассматривается как крупномасштабная

распределенная система хранения, которая состоит из множества
независимых серверов хранения. Надежность данных является одним из
основных требований для систем хранения. В целях повышения надежности
и сохранения доступности и целостности обрабатываемых и хранимых
данных применяются шесть основных подходов: репликация данных, СРД,
ИСОК, коды стирания и регенерационные коды.
Одним из путей по увеличению быстродействия вычислительных
средств является создание вычислительных систем с параллельной
 8

структурой. Вместе с тем возникла необходимость и целесообразность

использования кодов с параллельной структурой. К числу таких кодов
относят непозиционные коды, основанные на модулярной арифметике, то
есть коды, в которых числа представляются в СОК.
Пространство состояний динамической системы адекватно реальной
загрузке облачного сервера. Каждый облачный сервер задается
n
характеристикой x1 – производительность, x
i 1
i  X , X – характеристики

облачного сервера. Каждый пользователь задается параметрами yi : y1 –

стоимость за единицу времени, y 2 – время обнаружения ошибки, y3  PП  –
n
время исправления ошибки ( PП – вероятность потери данных), y
i 1
i Y , Y –

характеристики пользователя. Отношение xi yi определяет относительную

эффективность работы i -го облачного сервера. Для решения задачи
построения оптимальной модели обработки и хранения данных необходимо
провести исследование функции
P  X , Y   PПО  PO  PDDoS  min ,
где PDDoS – вероятность проведения DDoS атаки, PПО – вероятность отказа
программного обеспечения, PO – вероятность отказа облачной системы.
Решение поставленной задачи позволит получить преимущества
связанные с повышением производительности, надежности,
отказоустойчивости, производительности при минимальных затратах на
аренду вычислительных мощностей.

Рисунок 2 – Схема хранения «Google File Рисунок 3 – Схема хранения «Google File
System» System»
В реальных облачных хранилищах в настоящее время используются
подходы, основанные на «Google File System»(GFS)(рисунок 2) и
«CleverSalfe» (рисунок 3). Подход основанный на GFS заключается в
репликации хранимых данных. Репликация – метод, который используют
многие поставщики облачных услуг за счет простоты его реализации.
Основным недостатком репликации является увеличение издержек на
электроэнергию, аренду помещений, хранение данных и управление этими
 9

ресурсами, а также косвенных издержек на обеспечение сетевой

инфраструктуры, инфраструктуры хранения данных и управление общей
инфраструктурой и накладных расходов при эксплуатации серверов более
чем в 2 раза, так как необходимо производить управление, обеспечение и
обслуживание большего количества жестких дисков.
Репликация данных в системе GFS, производится по умолчанию на три
реплики, схема представлена на рисунке 2. Каждой реплике присваивается
приоритет, сервер с исходными данными называется мастер-сервер. После
выхода из строя реплики удаляются сборщиком мусора. После уменьшения
количества доступных реплик ниже установленного клиентом порога,
производится репликация данных до указанного количества. Диски являются
относительно дешевыми и выполнение репликации проще, чем выполнение и
обслуживание более сложных RAID подходов.
Компания «Cleversafe» использует подход отличный от остальных
компаний, она продает свои мощности в отличии от сдачи в аренду. Она
используют алгоритм распределения информации (IDA), для повышения
доступности данных перед лицом физических отказов и простоев сети.
Согласно принципам, IDA алгоритмам для устранения одной ошибки,
требуется увеличение объема данных в два раза, для исправления 8 ошибок
увеличение объема в 4 раза. Как и RAID, IDA позволяет восстанавливать
данные из подмножества исходных данных при некоторых накладных
расходах на коды исправления ошибок.
Анализ проблем организации хранения и обработки данных в области
облачных технологий показал, что основными задачами являются обработка,
хранение и анализ данных в режиме реального времени. Известно три
основных метода повышения надежности систем хранения данных:
репликация; применение сложных позиционных кодов и применение
корректирующих кодов в модулярной арифметике. Применение репликации
приводит к большой избыточности, а применение позиционных кодов к
отсутствию контроля выполнения арифметических операций. Коды
модулярной арифметики полностью арифметичны, что позволяет их
использовать для повышения надежности вычислений. Эта особенность
модулярной арифметики широко применяется для решения проблемы
повышения отказоустойчивости вычислительных структур и является
мощным инструментом для автоматического обнаружения, локализации и
коррекции ошибок.
Из всего выше сказанного следует, что наиболее перспективным путем
решения рассматриваемой проблемы является придание вычислительным
системам свойства устойчивости к отказам или сбоям в процессе
функционирования. Таким образом, необходимо обеспечить повышение
надежности и доступности за счет разработки новых математических
моделей обработки данных в облачной среде за счет использования
модулярной арифметики.
 10

Во второй главе разработаны математические модели хранения

данных в облачной среде позволяющие надежно и длительно производить
хранение данных за счет использования модулярной арифметики.
Применение схем разделения данных (СРД), основанных на СОК для
облачных систем хранения и обработки данных позволяет производить
разделение данных между облачными хранилищами, и в этом случае части
данных хранятся в различных k облачных хранилищах, количество частей
может изменяться в зависимости от предъявляемых требований. При
наличии k частей может быть произведено восстановление хранимых
данных. Каждая часть по отдельности ничего не значит. Данные
восстанавливаются только в том случае если собрать все k частей вместе.
Основным недостатком данного метода является то, что при утере или
ошибке в одной из частей, нет возможности восстановить хранимые данные.
Для устранения этого недостатка применяется избыточная СОК
(ИСОК). Построение систем хранения и обработки данных может
производиться при помощи различного количества модулей ИСОК. В
системе k рабочих облаков и r контрольных облаков, причем n  k  r .
Построение системы обработки данных может производиться как с полным
резервированием рабочего диапазона  k  r  , так и с частичным
резервированием k  r (рисунок 4).

Рисунок 4 – Математическая модель хранения данных в облачной среде с применением

ИСОК
Проведенные расчеты надежности схемы обработки и хранения данных
с использованием ИСОК и СРД для распределенного хранения и обработки
данных, а также расчеты доступного пространства при различных
конфигурациях системы показали преимущество совместного использования
ИСОК и СРД. Вероятность отказа одного облака складывается из суммы
вероятностей отказов программного обеспечения, проведения DDoS атаки и
жестких дисков. Вероятность проведения DDoS атаки составляет PDDoS  0.05
, отказа программного обеспечения PПО  0.003 . Отказ жесткого диска PT
зависит от многих факторов, и для каждой модели жесткого диска она
отличается, вероятность отказа приведена в таблице 1.
 11

При проведении облачных вычислений или хранения данных каждая из

перечисленных выше возможных отказов может произойти как по
отдельности, так и совместно.
Таблица 1 – Статистика отказов жестких дисков
Вероятность
Производитель Объем
отказа
HGST 2 Тб 0,0000005
WDC 2 Тб 0,002
WDC 6 Тб 0,00015
WDC 3 Тб 0,000029
Seagate 4 Тб 0,000016

Расчет надежности мультиоблачной системы, основанной на ИСОК,

производился при следующих параметрах: k  2,8 и r  1, 2, 3 по формуле:
n
Po  C P q
i  n  k 1
i i
n d
n i
,

где q  1  Pd , Pd – вероятность отказа одного облачного сервера.

Результаты расчетов приведены на рисунке 5.

Рисунок 5 – Вероятности отказов облачной системы

Построение одноуровневых моделей обработки данных на облачных

серверах с использованием ИСОК позволяет повысить надежность хранимой
и обрабатываемых данных. Использование моделей обработки данных
совместно с одномерными СРД, основанных на ИСОК, позволяет строить
надежные модели хранения (таблица 2).
Таблица 2. Относительное сравнение систем обработки данных, основанной на
одноуровневой ИСОК и GFS «CleverSalfe»
Вероятность отказа
Модель Избыточность
WDC, 6 TB WDC, 2 TB
11
GFS  300% 0.31  10 0.16  109
«CleverSalfe»  33% 0.27  102 0.10  101
ИСОК  180% 0.18  1013 0.12  1010

Из результатов, представленных в таблицы 2, можно сделать,

следующий вывод, что использование одноуровневой ИСОК позволяет
 12

повысить надежность системы хранения данных и уменьшить избыточность

данных на 120% по сравнению с системой GFS.
Для уменьшения вычислительной сложности алгоритмов обработки
данных в мультиоблачной среде целесообразно использовать двухуровневый
ИСОК, которая позволит построить надежную и отказоустойчивую систему
хранения данных следующего поколения1. Двухуровневый ИСОК при
проектировании мультиоблачной системы позволяет разделить задачи
каждого из уровней. Основные вычисления производятся на втором уровне,
следовательно, необходимо подбирать для него систему оснований так,
чтобы арифметические операции на нем были максимально эффективны.
Этого можно добиться, используя специальные наборы оснований. Однако
выбор оснований для каждого уровня является сложной задачей. Основная
причина – это множество условий, накладываемых одновременно на оба
уровня СОК. Кроме того, необходимо учитывать, что взаимодействие двух
отдельных СОК такого рода может повлечь дополнительные накладные
расходы при вычислениях.
Математическая модель обработки и хранения данных в облачной
среде, представленная на рисунке 6, состоит из облачной (рисунок 7) и
пользовательской (рисунок 8}) частей, рассмотрим работу схемы.
Работа двухуровневой схемы, представленной на рисунке 6: данные X
необходимо передать для хранения и обработки в облако. Для этого данные
переводятся из ПСС в ИСОК X   X1, X 2 ,, X k , X k 1,, X k r  с набором
модулей { p1, p2 ,, pk ,, pk r } , и с использованием СРД производится
передача в мультиоблако i . После получения i -м мультиоблаком части
данных X i в блоке передачи производится перевод и разделение данных X i ,
X i   X i ,1, X i ,2 ,, X i ,k , X i ,k 1,, X i ,k r  с набором модулей
{ pi ,1, pi ,2 ,, pi ,k ,, pi ,k r } , при помощи СРД, после этого производится
передача данных X i , j для хранения в i, j -облако. После запроса пользователя
на получение данных X i , j , i, j -облако передает X i , j на блок приема i -
мультиоблака. В блоке приема производится определение, и локализация
ошибок и при потере одной или нескольких частей X i , j определяется
возможность восстановления данных X i . После восстановления данных, X i
отправляются пользователю. Блок приема после получения частей данных
X i производит определение и локализацию ошибок и при потере одной или
нескольких частей X i определяется возможность и восстановление данных
X , и пользователь получает данные X .
При чтении данных из облачного хранилища снижается скорость
чтения данных из-за вычислительной сложности. Для уменьшения
1
Varghese B., Buyya R. Next generation cloud computing: New trends and research directions // Future Generation
Computer Systems. 2018. Т. 79. С. 849-861.
 13

вычислительной сложности алгоритма конвертирования из СОК в ПСС и

увеличения скорости чтения была произведена модификация численного
метода Червякова для перевода чисел из СОК в ПСС за счет использования
ранга числа Акушского.

Рисунок 6 – Математическая модель мульти облачного хранилища, основанная на

двухуровневой ИСОК

Рисунок 7 – Схема облачной части модели Рисунок 8 – Схема пользовательской части

мульти облачного хранилища модели облачного хранилища

В третьей главе модифицирован численный метод Червякова для

перевода чисел из СОК в ПСС за счет использования ранга числа Акушского
(теорема 1).
n
Теорема 1. Если N  log 2   , то rX  RX или rX  RX  1 , где    pi  n .
i 1
n n
Из формулы X   Pi Pi 1 p xi  rX P следует, что  k x может быть
i i
i 1 i
i 1

представлено в следующей форме:

 14

k x
i 1
i i  kX  rX P (1)
Предположим, что ошибка E  e1 , e2 ,..., en  произошла в процессе
ИСОК

вычислений, и пользователь (хранилище) получил значение X  E вместо X .

Тогда согласно (1) имеем:
n

 k x
i 1
i i  ei   X  E  rX P  rE P

Без потери общности предположим, что множество модулей ИСОК

упорядочено по возрастанию, то есть p1  p2  ...  pn . Так как в предложенной
ИСОК k модулей включено в динамический диапазон, а r в избыточных,
k  r  n , то
k
X   pi  PR .
i 1

Значение E PR  есть  X  E  PR  или  X  E  PR   1 . Если

 X  E  PR   0 то E  0 . Следовательно, можно использовать значение
 X  E  PR  для определения корректности результата, т.е. наличия ошибки.
Ошибка имеет вид: E  PI , где PI   pi ,  есть целое число в
iI

интервале 0, P PI  1, и I это набор модулей избыточной СОК по которым не

произошла ошибка. Значение E PR  может быть использовано как синдром
ошибки, где каждое E PR  однозначно определяется через E и I .
Сделаем некоторые предвычисления: отсортируем значения всех
возможных ошибок E PR  по возрастанию и отобразим в E . При
использовании двоичного поиска в отсортированном массиве значений
E PR  можно найти E и тем самым определить I за логарифмическое время
от размера массива.
Пусть X '  X  E и X '  x1, x2 ,..., xn  , вычислим
ИСОК

 n 1 
 X '   Pi
p
Pi xi  rX ' P 
  
i 1 i
(2)
 PR   PR 
 
Так как P PR есть целое число то в соответствии со свойствами
операции округления вниз, целое число может быть введено как общий
делитель, и (2) может быть переписано:
 n 1 
 X '   Pi Pi xi  n Pi
1
P
 
p pi i
  
i 1
xi
i
(3)
 R
P  PR  i  k 1 P R
 
M

 n

В (3) значение  Pi 1 p Pi xi PR  может быть вычислено в соответствии с
 i 1 i

теоремой 1.
 15

Численный метод перевода числа из СОК в ПСС.

n
1. Вычислим значение X   ki xi .
i 1
2. Вычислим приближенное значения ранга числа Акушского rX .
3. Вычислим значение X  X  rX P .
4. Если X  0 , то X  X  P
5. В результате получим значение X
Пример. Пусть схема имеет параметры 3,5 а набор модулей p1  2 ,
p2  3 , p3  5 , p4  7 , p5  11 . Параметры избыточной СОК: PR  2  3  5 и
P  2  3  5  7  11 . Пусть число, которое представлено в СОК, это X  0,2,3,1,8 .
Рассмотрим методику использования предлагаемого подхода для
обнаружения, локализации и исправления ошибок.
Предвычисления: M  P PR  77 , P1  P p1  1155 , P2  P p2  770 ,
P3  P p3  462 , P4  P p4  330 , P5  P p5  210 , P1 1
P  1155 , P21 P2  1540 ,
p 1 1 p 2

1 1
P3 P3  1386 , P 4 P4  330 .
p3 p4

Создадим таблицу возможных ошибок в зависимости от различных

значений E PR  :
 0: нет ошибок;
 38, 39: ошибка в e1 ;
 25, 26, 51, 52: ошибка в e2 ;
 15, 16, 30, 31, 46, 47, 61, 62: ошибка в e3 ;
 11, 22, 33, 44, 55, 66: ошибка в e4 ;
 7, 14, 21, 28, 35, 42, 49, 56, 63: ошибка в e5 .
Пусть вектор ошибок задан следующим образом: E  0,0,0,1,0 , тогда
0,2,3,2,8 и вычислив X ' PR  используя (3), получим:
получив X '  X  E ИСОК
 X '  1155  0  1540  2  1386  3 
     11  2  7  8  11 .
 PR   30  77

Так как X ' PR   11 , то ошибка в e4 и E  0,0,0,1,0 . Следовательно,

исходное значение X 0,2,3,1,8 .
это X ИСОК
 k

Применяем теорему 1 для вычисления  Pi 1 p Pi xi PR  .
 i 1 i

k1  23 P11 P1 30  308 , k2  23 P21 P2 30  411 , k3  23 P31 P3 30  370 .
 p1   p2   3p 
 k
  3

 Pi pi Pi xi PR    ki xi
1
8  308  0  411  2  370  3 8  241 .
 i 1   i1 
Показано, как предлагаемая схема позволяет настроить безопасность,
надежность и сократить накладные расходы на хранение данных путем
соответствующего выбора параметров избыточной СОК.
 16

На основе предлагаемой аппроксимации ранга числа, разработан новый

метод декодирования данных, который позволяет снизить сложность с OL2 
до OL  log L , и размер коэффициентов с log  P  до log  разрядов.
Используя свойства приблизительных значений и арифметические свойства
СОК, мы используем разработанный метод для обнаружения и коррекции
ошибок и контроля результатов вычислений.
Использование двухуровневой ИСОК при проектировании мульти
облачной системы позволяет разделить задачи каждого из уровней.
Основные вычисления производятся на втором уровне, следовательно,
необходимо подбирать для него систему оснований так, чтобы
арифметические операции на нем были максимально эффективны. Этого
можно добиться, используя специальные наборы оснований.
Пусть на первом уровне используются n1 модулей и система k1 ,r1  , на
втором уровне n2 модулей и система k2 ,r2  . Для вычисления надежности
облачной системы построенной на основе двухуровневой СОК необходимо
n1
вычислить надежность первого уровня по формуле P1  C
i  n1  k1
i
Pqi ni  i
n1 d 1 , q1  1  Pd ,
n2
и вычислили надежность всей облачной системы P2  C
i n2 k2
i i n2 i
Pq
n2 1 2 , q2  1  P0 .

Построение многоуровневых моделей обработки данных на облачных

серверах с использованием избыточной СОК позволяет повысить надежность
хранимых и обрабатываемых данных. Использование многоуровневых
моделей обработки данных на основанных избыточной СОК и СРД,
позволяет строить модели надежнее одноуровневых моделей и модели GFS.
Применение схемы обработки и хранения, с параметрами схемы,
 7,1  5, 2  , в этом случае вероятность отказа составит 0.33 1014 при
избыточности  60% (таблица 3).
Таблица 3. Сравнение систем, построенных на основе одноуровневой и двухуровневой
СОК
Вероятность отказа
Модель обработки Избыточность
WDC, 6 TB WDC, 2 TB
Двухуровневая 7,1  5,2 схема  60% 0.33 1014 0.88 1011
Одноуровневая 5,4 схема  80% 0.18 1013 0.12 1010
Четвертая глава посвящена разработке программного комплекса
моделирования хранения данных в облачной среде в разработанной системе
«CloudStorageSim». Нами был разработан симулятор распределенного
хранения данных «CloudStorageSim», который позволяет производить
моделирование и эксперименты с реальными облачными вычислительными
инфраструктурами.
«CloudStorageSim» позволяет:
 проводить моделирование крупномасштабных облачных
вычислительных сред, включая центры обработки данных, на одном
физическом вычислительном узле;
 17

 строить автономную платформу для моделирования облаков,

брокеров услуг, обработки и распределения данных;
 поддерживает моделирование сетевых соединений между
элементами имитируемой системой;
 проводить моделирование федеративной облачной среды,
которая использует межсетевые ресурсы как из частных, так и
государственных доменов, что является критическим для исследований,
связанных с облачными отказами и автоматическим масштабированием
приложений.
Некоторые из уникальных особенностей «CloudStorageSim»:
 наличие механизма виртуализации, который помогает в создании
и управлении несколькими независимыми и совместно размещенными
виртуализованными службами на узле центра обработки данных;
 гибкость переключения между пространственно-разделенным и
распределением по времени процессорных ядер виртуализованных служб.
Для создания надежной и безопасной модели хранения данных в
распределенной облачной структуре нами использовалась ИСОК и коды
исправления ошибок. Предложенный в работе алгоритм позволяет надежно
хранить информацию в облачных хранилищах. Данный алгоритм позволяет
производить восстановление хранимой информации при выходе из строя или
недоступности одного, или нескольких облачных хранилищ.
Оценка надежности алгоритмов хранения и обработки данных, в
облачной среде, построенных на базе ИСОК, и сравнение их с аналогичными
по качественным функциональным характеристикам существующими
позиционными системами свидетельствует об их существенном
преимуществе, что объясняется наличием эффекта поэлементно скользящего
резервирования. Уменьшение соотношения избыточности оборудования
позиционных и модулярных схем обработки и хранения данных для
различных параметров парируемых отказов.

Рисунок 9 – Вероятность потери информации Рисунок 10 – Скорость кодирования данных

при различных параметрах избыточной СОК (Мб/с) при различных параметрах  k , r 
k, r  избыточной СОК
 18

Рисунок 11 – Скорость декодирования данных Рисунок 12 – Сравнение модифицированного

(Мб/с) при различных параметрах  k , r  метода синдрома ошибки и метода проекций в
избыточной СОК для модулей размерности b= худшем сценарии восстановления данных для
8, 16, 32 бит b  8 бит

Для анализа скорости кодирования/декодирования данных нами был

использован центра обработки данных СКФУ с техническими
характеристиками: ОС: Ubuntu 16.04.4 LTS x86_64, Процессор: Intel Xeon E5-
2690V4 2.6 ГГц, Оперативная память: 125.92 Гб, Жесткий диск: 1024 Гб, 7200
об/мин.
Произведен расчет надежности хранения данных для различных
систем, результаты представлены в таблице 4.

Таблица 4. Вероятности отказа жестких дисков в различных системах хранения

Система хранения Вероятность отказа
системы (max)
GFS 4 1012
ИСОК (6, 2) – (6, 3) 2.5 1025
ИСОК (8, 2) 4 1010
По результатам проведенного моделирования сделан вывод о том, что
облачная система, построенная на базе ИСОК, позволяет хранить данные с
большей надежностью в сравнении с представленными системами.

Рисунок 13 – График сравнительной оценки вероятности безотказной работы

системы, построенной с использованием различных алгоритмов
 19

Проведено моделирование хранения данных в облачной среде в

течение заданного времени функционирования, на рисунке 13 приведены
графики различных систем обработки и хранения данных. Система,
построенная на двухуровневой ИСОК, обладает наилучшими
характеристиками вероятности безотказной работы и позволяет сохранять
высокую надежность. Так, через 3 года вероятность отказа облачной системы
построенной на основе двухуровневой СОК будет в 5,1 раза меньше, чем
системы, построенной на базе GFS.
Анализ полученных зависимостей свидетельствует о преимуществе в
надежности алгоритмов хранения и обработки данных на основе ИСОК
перед существующими системами при значительном выигрыше в
избыточности. Таким образом, при использовании алгоритмов обработки и
хранения данных на основе СОК можно получить значительное увеличение
надежности системы без дополнительных аппаратурных затрат при
снижении избыточности.
Основные результаты и выводы по работе
В диссертации проведено решение актуальной научно-
исследовательской задачи по разработке математических методов
моделирования, хранения и обработки данных большой разрядности с
высокой надежностью в облачной среде на основе ИСОК. Решена актуальная
задача повышения надежности обрабатываемых и хранимых данных в
облаках за счет использования ИСОК и СРД.
1. В ходе анализа математических методов хранения и обработки
данных большой разрядности в облачных системах установлена возможность
реализации данных операций в модулярном базисе, что обеспечивает
повышенную производительность и отказоустойчивость разрабатываемых на
их основе алгоритмов.
2. Разработана математическая модель мультиоблачной системы
хранения и обработки данных большой разрядности, основанная на
принципах модулярной арифметики.
3. Предложена модификация облачной системы хранения и обработки
данных позволяющая повысить надежность хранимых и обрабатываемых
данных, при уменьшении избыточности в 3 раза по сравнению с GFS.
4. Разработаны одноуровневые и двухуровневые математические
модели надежного хранения больших данных. Проведенный сравнительный
анализ показал преимущество моделей, построенных на базе модулярной
арифметики, над моделями, основанными на ПСС. Так, например, через 3
года вероятность отказа облачной системы, построенной на основе
двухуровневой ИСОК, будет в 5,1 раза меньше, чем у системы, построенной
на базе GFS.
5. Модифицирован численный метод Червякова для перевода чисел из
СОК в ПСС за счет использования ранга числа Акушского, позволяющий
понизить временную сложность алгоритма перевода чисел из СОК в ПСС с
 20

квадратичной до линейно-логарифмической за счет уменьшения размера

операндов.
6. Разработан программный комплекс моделирования
«CloudStorageSim», позволяющий производить моделирование хранения и
обработки данных с реальными облачными системами различных
провайдеров. Программный комплекс позволяет в процессе моделирования
вводить ошибки, искажения или утери частей данных для проведения оценки
надежности, отказоустойчивости и избыточности данных.
Основные публикации по теме диссертации
В изданиях, рекомендованных ВАК при Минобрнауки России:
1. Кучеров, Н.Н. Разработка архитектуры облачной системы
отказоустойчивого хранения данных на основе системы остаточных классов /
Н.Н. Кучеров // Современная наука и инновации. – 2018. – №3. – С. 29–35.
2. Кучеров, Н.Н. Эффективная реализация операции вычисления
остатка от деления многоразрядных чисел на FPGA / Н.И. Червяков, А.С.
Назаров, Ю.В. Черногорова, Н.Н. Кучеров // Современная Наука и
Инновации. – 2018. – №1. – С. 15-22.
3. Кучеров, Н.Н. Новая схема хранения информации в облачной среде
на основе системы остаточных классов и схем разделения секрета / Н.И.
Червяков, М.Г. Бабенко, Н.Н. Кучеров, В.А. Кучуков, Н.Н. Кучукова //
Современная наука и инновации. – 2017. – №4. – С. 28–34.
4. Кучеров, Н.Н. Исследование эффективных методов перевода чисел
из системы остаточных классов в позиционную систему счисления на FPGA /
Н.И. Червяков, В.А. Кучуков, Н.Н. Кучеров, Н.Н. Кучукова // Современная
наука и инновации. – 2017. – №3. – С. 46–53.
5. Кучеров, Н.Н. Алгебраические аспекты эффективной реализации
методов защиты информации в облачных вычислениях с использованием
системы остаточных классов / Н.И. Червяков, М.Г. Бабенко, Н.Н. Кучеров //
Инфокоммуникационные технологии. – 2016. – т.14. – №4. – С. 343-349.
В изданиях базы Web of Science и Scopus:
1. Babenko, M. Development of a Control System for Computations in
BOINC with Homomorphic Encryption in Residue Number System / M. Babenko,
N. Kucherov, A. Tchernykh, N. Chervyakov, E. Nepretimova, I. Vashchenko //
International Conference BOINC-Based High Performance Computing:
Fundamental Research and Development, BOINC: FAST 2017. – 2017. – Vol.
1973. – Р. 77-84.
2. Babenko, M. Unfairness correction in P2P grids based on residue number
system of a special form / M. Babenko, N. Chervyakov, A. Tchernykh, N.
Kucherov, M. Shabalina, I. Vashchenko, G. Radchenko, D. Murga // 2017 28th
International Workshop on Database and Expert Systems Applications (DEXA). –
Lyon, 2017. – Р. 147-151.
3. Chervyakov, N. AR-RRNS: Configurable reliable distributed data storage
systems for Internet of Things to ensure security / N. Chervyakov, M. Babenko, A.
 21

Tchernykh, N. Kucherov, V. Miranda-Lopez, J.M. Cortes-Mendoza // Future

Generation Computer Systems. – 2017. – doi.org/10.1016/j.future.2017.09.061
4. Chervyakov, N. Towards reliable low cost distributed storage in multi-
clouds / N. Chervyakov, M. Babenko, A. Tchenykh, I. Dvoryaninova, N. Kucherov
// 2017 International Siberian Conference on Control and Communications
(SIBCON). – Astana, 2017. – pp. 1-6.
5. Kucherov, N.N. A high-speed residue-to-binary converter based on
approximate Chinese Remainder Theorem / N.N. Kucherov, V.A. Kuchukov,
N.N.Kuchukova, A.E. Shangina // 2018 IEEE Conference of Russian Young
Researchers in Electrical and Electronic Engineering (EIConRus). – St. Petersburg,
2018. – Р. 325-328.
6. Tchernykh, A. Towards mitigating uncertainty of data security breaches
and collusion in cloud computing / A. Tchernykh, M. Babenko, N. Chervyakov,
J.M. Cortes-Mendoza, N. Kucherov, V. Miranda-Lopez, M. Deryabin,
I. Dvoryaninova, G. Radchenko // 2017 28th International Workshop on Database
and Expert Systems Applications (DEXA). – Lyon, 2017. – Р. 137-141.
Объекты интеллектуальной собственности.
Свидетельства о регистрации программы для ЭВМ:
1. Клиентская часть защищенной системы передачи и обработки
данных в мультиоблаке: свид. 2015619524 Российская Федерация.
Свидетельство об официальной регистрации программы для ЭВМ / Н.И.
Червяков, М.Г. Бабенко, Н.Н. Кучеров, С.В. Голиков, Т.И Водолазко,
заявитель и правообладатель ФГАОУ ВО СКФУ (RU). – № 2015616465 заявл.
15.07.2015; опубл. 20.10.2015, Реестр программ для ЭВМ. – 1 с.
2. Программа моделирования алгоритмов кодирования и
декодирования данных для цифровой обработки сигналов на базе системы
остаточных классов: свид. 2017660854 Российская Федерация. Свидетельство
об официальной регистрации программы для ЭВМ / Н.И. Червяков, М.Г.
Бабенко, М.А. Дерябин, Н.Н. Кучеров, В.А. Кучуков, Н.Н. Кучукова,
заявитель и правообладатель ФГАОУ ВО СКФУ (RU). – № 2017617581 заявл.
31.07.2017; опубл. 28.09.2017, Реестр программ для ЭВМ. – 1 с.
3. Программа моделирования работы концепции интернет вещей на
базе системы остаточных классов: свид. 2017660880 Российская Федерация.
Свидетельство об официальной регистрации программы для ЭВМ / Н.И.
Червяков, М.Г. Бабенко, А.Н. Черных, Н.Н. Кучеров, И.С. Ващенко,
заявитель и правообладатель ФГАОУ ВО СКФУ (RU). – № 2017617582 заявл.
31.07.2017; опубл. 28.09.2017, Реестр программ для ЭВМ. – 1 с.
4. Программа обнаружения и исправления ошибок в СОК:
свид. 2016660919 Российская Федерация. Свидетельство об официальной
регистрации программы для ЭВМ / Н.И. Червяков, М.Г. Бабенко, Е.О.
Тарасенко, Н.Н. Кучеров, М.В. Сухинин, И.С. Крисина, заявитель и
правообладатель ФГАОУ ВО СКФУ (RU). – № 2016618188 заявл. 26.07.2016;
опубл. 20.10.2016, Реестр программ для ЭВМ. – 1 с.
 22

5. Программа передачи данных в беспроводных сетях:

свид. 2016660908 Российская Федерация. Свидетельство об официальной
регистрации программы для ЭВМ / Н.И. Червяков, М.Г. Бабенко,
Е.О. Тарасенко, Н.Н. Кучеров, М.В. Сухинин, И.С. Крисина, заявитель и
правообладатель ФГАОУ ВО СКФУ (RU). – № 2016618185 заявл. 26.07.2016;
опубл. 20.10.2016, Реестр программ для ЭВМ. – 1 с.
6. Серверная часть защищенной системы передачи и обработки данных
в мультиоблаке: свид. 2015619543 Российская Федерация. Свидетельство об
официальной регистрации программы для ЭВМ / Н.И. Червяков, М.Г.
Бабенко, Н.Н. Кучеров, С.В. Голиков, заявитель и правообладатель ФГАОУ
ВО СКФУ (RU). – № 2015616467 заявл. 15.07.2015; опубл. 20.10.2015, Реестр
программ для ЭВМ. – 1 с.