Вы находитесь на странице: 1из 4

Системи обробки інформації, 2015, випуск 10 (135) ISSN 1681-7710

УДК 004.7 : 51

И.В. Гребенник, В.Г. Иванов, Д.В. Иванов, И.А. Урняева


Харьковский национальный университет радиоэлектроники, Харьков

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ЗАДАЧИ ПЛАНИРОВАНИЯ ПЕРЕДАЧИ ФАЙЛА


ОТ НЕСКОЛЬКИХ ИСТОЧНИКОВ ПОТРЕБИТЕЛЮ
Рассматривается проблема передачи файлов больших размеров по сети передачи данных. Анализиру-
ется случай, когда несколько точных копий файла находятся одновременно в разных доступных хранили-
щах в территориально распределенной сети. Возникает задача передачи файла по частям от нескольких
источников потребителю в параллельном режиме за минимальное время. Строится математическая мо-
дель задачи, анализируются ее особенности, проводится вычислительный эксперимент.

Ключевые слова: сеть передачи данных, время передачи, оптимизация, скорость передачи, пропускная
способность канала.

сколько потоков; встроенный планировщик для за-


Введение качки файлов по расписанию. При этом функция
Современные информационные системы опе- обоснованного с точки зрения эффективности выбо-
рируют огромными объемами данных, хранение ра одного или нескольких источников и объемов
которых невозможно в одном месте. В то же время скачиваемых от них данных в менеджерах закачек
при распределенной организации хранилищ инфор- отсутствует и в лучшем случае решение этой задачи
мации часто возникает ситуация дублирования дан- возлагается на пользователя.
ных. Файлы, передаваемые между пользователями Однако часто возникает ситуация, когда время
при распределенном хранении, как правило, подраз- закачки файла определяется временем отдачи фраг-
деляют на файлы, имеющие точную копию, и фай- мента файла от самого медленного источника, в то
лы, не имеющие точной копии. В случае, когда фай- время как остальные части файла уже находятся у
лы, имеющие точную копию, находятся одновре- потребителя. Это связано с тем, что на серверах-
менно в нескольких доступных хранилищах, имеет- хранилищах данных обычно введено ограничение
ся возможность организовать кооперативный обмен по скорости отдачи. Кроме того, на разные каналы
данными между источниками и потребителем ин- связи по-разному распределяется нагрузка в процес-
формации [1]. При этом файлы передаются частями, се скачивания.
из разных хранилищ. Это снижает нагрузку и зави- Таким образом, время получения требуемого
симость от каждого клиента-источника и обеспечи- объема данных в значительной степени зависит от
вает избыточность данных. Важно, что каждый того, в каком количестве и от каких источников бу-
файл, который передается в таких сетях, делится на дет получена информация.
относительно небольшие части (пакеты), которые Проблема выбора источников данных и расчет
могут скачиваться от разных клиентов и в любой объемов получаемой от каждого из них информации
последовательности [2]. включает в себя несколько задач. Среди них:
В свою очередь, полученные части могут отда- 1. Мониторинг состояния сети передачи дан-
ваться другим клиентам. Обычно скорость отдачи ных.
не очень велика, а иногда просто ограничена, не- 2. Планирование объемов данных, получаемых
смотря на то, что используются высокоскоростные от каждого источника, перед началом передачи.
каналы. Подобная организация обмена данными 3. Перераспределение объемов данных и ис-
приводит к тому, что передача файла данных боль- точников динамически в зависимости от состояния
шого размера сводится к передаче десятков или сети, в том числе, исключение «медленных» источ-
иногда сотен фрагментов, получаемых из разных ников данных и перераспределение их объемов на
источников. другие источники.
Такой метод передачи файлов в сети реализуют В настоящей статье рассматривается вторая за-
современные менеджеры закачек, которые оснаще- дача, в предположении, что задача мониторинга
ны многими полезными функциями [3]. Среди состояния сети передачи данных решена.
функций менеджера закачек основными являются: Целью работы является построение и анализ
возобновление закачки файла после различных ос- математической модели задачи эффективного пла-
тановок, выключения программы и перезагрузки нирования передачи файла большого объема от не-
компьютера; закачка одного и того же файла в не- скольких источников потребителю.

82 © И.В. Гребенник, В.Г. Иванов, Д.В. Иванов, И.А. Урняева


Телекомунікаційні системи

1. Постановка задачи С другой стороны, время T закачки всего фай-


ла определяется максимальным временем данных от
Пусть задано множество узлов сети передачи
источников, т.е., T  max Ti .
данных, в каждом из которых находится идентичная 1i n
копия файла данных большого размера. Задан узел Значения переменных w i , i  J n , представля-
сети (потребитель), в который необходимо передать
ют собой целые неотрицательные числа.
указанный файл полностью от одного источника
При этом должно быть выполнено условие:
или по частям от нескольких источников. Опреде-
n
лены маршруты от каждого источника к потребите-
лю и соответствующие характеристики процесса  wi  D .
i 1
передачи данных – скорости, пропускные способно-
Поскольку каждому источнику данных соот-
сти, размеры пакетов.
ветствует канал, соединяющий его с потребителем,
Необходимо определить, какой объем данных
скорость передачи данных от каждого источника к
(какую часть файла) от какого источника следует
потребителю будет определяться минимальным зна-
передать потребителю, чтобы время передачи всего
файла было минимальным. чением из доступной скорости отдачи i -го источ-
ника данных и пропускной способности i -го канала
2. Математическая модель связи. Введем величины
Построим математическую модель задачи. Si  min{Vi , Ci } , i  J n .
Введем следующие обозначения: Время Ti закачки данных объемом w i от i -го
n – количество источников данных;
источника может быть рассчитано исходя из харак-
Vimax – максимальная скорость отдачи i -го теристик источника данных и канала:
источника данных, бит/с, i  J n  {1, 2,..., n} ;
wi  d w d
Vi – доступная скорость отдачи i -го источни- Ti   i , i  Jn .
min{Ci , Vi } Si
ка данных, бит/с, i  J n , Vi  Vimax ;
Таким образом, математическую модель задачи
Ci – пропускная способность i -го канала связи можно представить в следующем виде:
между источником и потребителем, бит/с; под кана-
 
лом связи далее будем понимать множество дуг сети, T   max Ti   min ; (1)
1 i  n  w
составляющих маршрут от источника к потребителю,
а под его пропускной способностью – наименьшую Ti  w i  d Si , i  J n ; (2)
из пропускных способностей дуг маршрута; n
D – объем всего файла данных в пакетах;  wi  D ; (3)
d – размер одного пакета, бит; i 1
w i – объем данных, получаемых от i -го ис- w  (w1 , w 2 ,..., w n ) ; w i  0 ; w i  Z ; i  J n . (4)
точника данных, пакетов, i  J n ;
С целью ухода от трудностей решения мини-
Ti – время закачки данных объемом w i от i - максной задачи оптимизации (1)–(4) выполним ее
го источника, с, i  J n ; преобразование.
T – время закачки всего файла данных, с. Будем исходить из того, что, минимизируя
Соответствующие характеристики источников максимальное из значений Ti , мы стремимся сде-
данных и каналов представим в виде векторов: лать все значения Ti близкими друг к другу и, зна-
V max  (V1max , V2max ,..., Vnmax ) ; чит, к некоторому идеализированному T .
V  (V1 , V2 ,..., Vn ) ; Значение T соответствует минимально воз-
можному времени передачи файла объемом D по
C  (C1 , C2 ,..., Cn ) ; каналу связи со скоростью, равной сумме доступ-
w  (w1 , w 2 ,..., w n ) . ных скоростей передачи всех n каналов:
n
Отметим, что время T закачки всего файла
данных, с одной стороны, зависит от размера файла
T  Dd  Si . (5)
i 1
D , размера пакета d , количества источников дан-
Тогда новая функция цели задачи оптимизации
ных и каналов n , их доступных скоростей отдачи и может иметь вид суммы квадратов отклонений зна-
пропускных способностей Vi и Ci , объемов дан- чений Ti – времени закачки данных от i -го источ-
ных, получаемых от i -го источника w i , i  J n , т.е., ника – от идеализированного значения T , рассчи-
T  T(D, d, n, V, C, w) . танного по формуле (5).

83
Системи обробки інформації, 2015, випуск 10 (135) ISSN 1681-7710
Преобразованную математическую модель w1 : w 2 : ... : w n 1  S1 : S2 : ... : Sn 1 .
сформулированной задачи представим в виде:
Тогда
n
2
F(w)   (Ti  T)  min ; (6)  n 
w
i 1 w i   Si
  S j   D , i  J n 1 , (11)
n  j1 
wi  d
Ti  ; i  J n ; T  D  d  Si ; (7) n 1
Si i 1 w n  D   wi – (12)
n i 1
 wi  D ; (8) начальная (нецелочисленная) точка поиска решения
i 1
преобразованной задачи оптимизации. Для получе-
w  (w1 , w 2 ,..., w n ) ; w i  0 ; w i  Z ; i  J n . (9) ния решения задачи – точки (w10 , w 20 ,..., w 0n ) – про-
3. Анализ анализируем окрестность начальной точки поиска
математической модели (w1 , w 2 ,..., w n 1 ) .
Задача (6) – (9) представляет собой задачу це- Вычислим значения функции цели (10) в узлах
лочисленного квадратичного программирования [4, целочисленной решетки, соседних с начальной точ-
5]. Она может быть решена с применением извест- кой поиска. Точку окрестности с целочисленными
ных подходов [5]. Однако, специфика задачи позво- координатами и наименьшим значением выражения
ляет использовать для ее решения более простые (10) примем в качестве решения задачи – точки
средства. w 0  (w10 , w 02 ,..., w 0n ) .
Функция цели F(w) является выпуклой, задача
имеет одно ограничение-равенство. 4. Вычислительные эксперименты
Выразим переменную w n из соотношения (8) Рассмотрим сеть передачи данных, в которой
и подставим ее в функцию цели: имеется пять узлов, содержащих идентичные копии
n 1
файла размером D  22000000 пакетов, размер од-
w n  D   wi , ного пакета составляет 12208 бит. Характеристики
i 1 источников и соответствующих каналов связи зада-
n ны в табл. 1.
F(w)   (Ti  T) 2  Таблица 1
i 1 Характеристики источников
n 1
w d и каналов связи, Мбит/с
  ( i  T) 2  (10) Vi
Si 30 8 25 40 8
i 1
2 Ci 100 10 100 10 100
  n 1  
  d   D   w i  Sn  T  . Si 30 8 25 40 8
   
  i 1  
Тогда задача (6) – (9) преобразуется в задачу Используя соотношения (11)–(12), определим
целочисленного квадратичного программирования начальную точку поиска
без дополнительных ограничений в пространстве
w  (w1 , w 2 ,..., w n ) = (5945945.946, 1585585.586,
переменных w1 , w 2 ,..., w n 1 .
4954954.955, 7927927.928, 1585585.586).
Для планирования передачи файла большого
Значение T , вычисленное по формуле (5), со-
объема нет необходимости в поиске точного реше-
ставляет 2378.378 с.
ния задачи оптимизации (6)–(9), главным образом, в
Далее построим 32 целочисленных вектора пе-
силу высокой динамики загрузки сети в целом и
изменении я во времени доступных скоростей отда- ременных w  (w1 , w 2 ,..., w n ) в окрестности точки
чи выбранных источников данных. w  (w1 , w 2 ,..., w n ) путем округления значений
Поэтому в качестве решения задачи предлага-
ется следующее. w i по недостатку и по избытку.
Значения переменных в точке решения выбе- Для каждого вектора рассчитаем значение це-
рем из условия пропорциональности значений объ- левой функции (10). Минимальное значение функ-
емов передаваемых от каждого источника данных ции соответствует вектору
w1 , w 2 ,..., w n 1 значениям параметров доступной
w 0  (5945946, 1585586,
скорости передачи S1 ,S2 ,...,Sn 1 : 4954955, 7927931, 1585586),

84
Телекомунікаційні системи
что соответствует времени передачи файла виде задачи целочисленного квадратичного про-
T  2378.379 с. граммирования с одним ограничением-равенством.
Выполнено преобразование построенной мо-
Максимальное значение функции соответству- дели к задаче безусловной оптимизации квадра-
ет вектору тичной функции на множестве целочисленных пе-
w 0  (5945945, 1585585, ременных.
Обоснована приемлемость получения при-
4954954, 7927927, 1585589),
ближенного или эвристического решения задачи
что соответствует времени передачи файла для рассматриваемой предметной области.
T  2378.384 с. Предложен способ получения эвристического
решения, проведены вычислительные эксперимен-
Сравнивая значения T и T , полученного в
ты, проанализированы их результаты.
результате оптимизации для наибольшего и наи-
Предложенную математическую модель мож-
меньшего значений целевой функции, можно сде- но использовать в составе математического обес-
лать вывод об их различии в сотых долях секунды.
печения менеджеров закачки. Процедуру оптими-
Это позволяет использовать на практике в ка-
зации целесообразно выполнять для специальных
честве w 0 любой точки из 32 построенных в окре- классов сетей передачи данных.
стности w .
Увеличение размера пакета приводит к более Список литературы
существенным различиям в значения времени пе- 1. Таненбаум Э. Распределенные системы. Принци-
редачи файла T для различных векторов w , что пы и парадигмы / Э. Таненбаум, Ван Стеен М. – СПб.:
Питер, 2003. – 877 с.
делает оправданным решение задачи оптимизации. 2. Олифер В.Г. Компьютерные сети. Принципы тех-
Однако, согласно стандартам [2], максимально воз- нологии протоколы / В.Г. Олифер, Н.А. Олифер. – СПб.:
можная длина пакета (MaximumTransferUnit, MTU) Питер, 2010. – 916 с.
в сетях передачи данных, работающих под управ- 3. Шляхтина С. Сравнительный обзор download-
менеджеров / Светлана Шляхтина // КомпьютерПресс. -
лением протоколов Ethernet, Fast Ethernet, состав-
2009. – N 7. – С. 38-42
ляет 12208 бит. 4. Гребенник И.В. Математическая модель задачи
Это обстоятельство определило исходные передачи данных по сети от нескольких источников по-
данные для рассмотренного примера. требителю / И.В. Гребенник, В.Г. Иванов, И.А. Урняева //
Использование пакетов большей длины воз- Proc. International Conf. “Problems of decision making un-
der uncertainties”, September 1–5, 2014, Cesky Rudolec,
можно в сетях специального назначения. В этих Chekh Republic – P. 51.
случаях применение оптимизации предложенной 5. Сергиенко И.В. Математические модели и мето-
математической модели является оправданным. ды решения задач дискретной оптимизации / И.В. Серги-
енко. – К.: Наук. думка, 1988. – 472 с.
Выводы
Поступила в редколлегию 17.07.2015
В статье построена математическая модель
задачи планирования передачи файла большого Рецензент: д-р техн. наук, проф. Г.А. Кучук, Харьковский
объема от нескольких источников потребителю в университет Воздушных Сил им. И. Кожедуба, Харьков.

МАТЕМАТИЧНА МОДЕЛЬ ЗАДАЧІ ПЛАНУВАННЯ ПЕРЕДАЧІ ФАЙЛУ


ВІД ДЕКІЛЬКОХ ДЖЕРЕЛ СПОЖИВАЧУ
І. В. Гребеннік, В.Г. Іванов, Д.В. Іванов, І.А. Урняєва
Розглядається проблема передачі файлів великих розмірів по мережі передачі даних. Аналізується випадок, коли
кілька точних копій файлу знаходяться одночасно в різних доступних сховищах в територіально розподіленій мережі.
Виникає задача передачі файлу частинами від декількох джерел користувачу в паралельному режимі за мінімальний
час. Будується математична модель задачі, аналізуються її особливості, проводиться обчислювальний експеримент.
Ключові слова: мережа передачі даних, час передачі, оптимізація, швидкість передачі, пропускна здатність ка-
налу.

A MATHEMATICAL MODEL OF THE PROBLEM OF PLANNING A FILE TRANSFER


FROM MULTIPLE SOURCES TO THE CONSUMER
I.V. Grebennik,V.G. Ivanov, D.V. Ivanov, I.A. Urniaieva
The problem of transmission of large files over a data network is considered. The case when multiple replicas of the file
are available simultaneously in different repositories in territorially distributed network is analyzed. A problem of file transfer by
parts from several sources to the consumer in a parallel mode in minimum time is arisen. Mathematical model of the problem is
constructed, its characteristics are analyzed, a computational experiment is carried out.
Keywords: data network, time of transmission, optimization, transfer rate, channel capacity.

85