KL 004.2 ST Guide Ru v1.0

KL 004.2: Kaspersky SD-WAN.
KL 004.2
Kaspersky SD-WAN
Учебный курс
1
[Subject]
Содержание
Глоссарий........................................................................................................................................3
1. Введение .............................................................................................................................5
1.1 Что такое SD-WAN? ........................................................................................................................ 5
1.2 Какие задачи помогает решить ..................................................................................................... 6
Интеллектуальное управление трафиком ............................................................................... 7
Снижение времени на управление оборудованием .................................................................... 7
Повышение безопасности ............................................................................................................ 8
1.3 Преимущества ................................................................................................................................ 9
1.4 Статистика .....................................................................................................................................10
1.5 Отраслевой состав .......................................................................................................................12
1.6 Компоненты решения ...................................................................................................................14
1.7 Сценарии применения..................................................................................................................14
Только транспорт .......................................................................................................................15
Цепочка сервисов в ЦОД .............................................................................................................16
Цепочка сервисов в uCPE ............................................................................................................17
Local Breakout ................................................................................................................................18
Часть услуги triple/quadruple play оператора связи ................................................................19
Использование нескольких L2 сервисов ....................................................................................20
Переключение на резервные каналы .........................................................................................21
L3 с динамической маршрутизацией .........................................................................................22
Использование VNF на uCPE ......................................................................................................23
2. Подготовка к внедрению ................................................................................................25

2.1 Состав и возможности ..................................................................................................................25
Компоненты решения .................................................................................................................25
Основные функциональные возможности ................................................................................27
2.2 Схемы развёртывания .................................................................................................................44
2.3 Отказоустойчивость......................................................................................................................55
2.4 Требования....................................................................................................................................57
3. Развёртывание .................................................................................................................59
3.1 Развёртывание Orc .......................................................................................................................59
3.2 Подготовка к развёртыванию сервиса SD-WAN ........................................................................59
3.3 Развёртывание CPE .....................................................................................................................65
3.4 Развёртывание сервиса SD-WAN ...............................................................................................66
4. Эксплуатация ....................................................................................................................70
4.1 Управление CPE ...........................................................................................................................70
4.2 Управление трафиком ..................................................................................................................75
5. Обслуживание ..................................................................................................................80
5.1 Zabbix .............................................................................................................................................80
5.2 Troubleshooting ..............................................................................................................................80
Проверка работоспособности центральных компонентов решения ..................................82
Проверка работоспособности кластера контроллеров .......................................................84
1
[Subject]
Проверка правильности настройки CPE и GW .......................................................................85

Проверка наличия сетевой связности между CPE, GW и центральными компонентами
решения .........................................................................................................................................86
2
[Subject]
Глоссарий
AI Artificial Intelligence
BFD Bidirectional Forwarding Detection
BGP Border Gateway Protocol
CA Certificate Authority
CAPEX Capital Expenditure
CPE Customer Premise Equipment
DFI Default Forwarding Interface
DHCP Dynamic Host Configuration Protocol
DPI Deep Packet Inspection
DTLS Datagram Transport Layer Security
ECMP Equal Cost Multi-Path

ERSPAN Encapsulated Remote Switched Port Analyzer
FEC Forwarding Error Correction
FQDN Fully Qualified Domain Name
FSM Finite-State Machine
GBR Guaranteed Bit Rate
HA High Availability
ISP Internet Service Provider
IoT Internet of Things
IP Internet Protocol
KESR Kaspersky Edge Service Router
MBR Maximum Bit Rate
MEF a non-profit industry forum of network, cloud & technology providers
M2M Multipoint-to-multipoint (E-LAN)
OPEX Operational Expenditure
P2P Point-to-Point (E-line)
P2M Point-to-Multipoint (E-tree)
PBB Provider Backbone Bridging (IEEE 802.1ah)
PNF Physical Network Function
QinQ Provider Bridging/Stacked VLANs (IEEE 802.1ad)
RBAC Role Based Access Control
SDN Software-Defined Networks
3
[Subject]
SD-WAN Software-Defined Wide Area Networks
SFP Small-Formfactor Pluggable
SI Service Interface
SLA Service Layer Agreement
SPF Shortest-Path Forwarding
SSL Secure Socket Layer

TAP Traffic Access Point
TCP Transmission Control Protocol

TE Traffic Engineering
TLS Transport Layer Security
TLV Type/Length/Value
URL Uniform Resource Locator
VID VLAN Identifier
VIM Virtual Infrastructure Manager
VM Virtual Machine
VNF Virtual Network Function
VPN Virtual Private Network

VRF Virtual Routing and Forwarding
VRRP Virtual Router Redundancy Protocol
UDP User Datagram Protocol

UNI User Network Interface
WAN Wide Area Network
ZTP Zero-touch provisioning
4
1. Введение
Компании всех форм и размеров зачастую уже начали рассматривать (если не использовать)
целый набор устоявшихся и развивающихся технологий и решений, таких как автоматизация,
искусственный интеллект (AI), машинное обучение, роботизация и Интернет Вещей (IoT). Ещё
одной современной технологией, привлекающей всеобщее внимание, стали адаптивные сети,
базирующиеся на программно-определяемых глобальных сетях (SD-WAN).
1.1 Что такое SD-WAN?

SD-WAN является гибридом программно-определяемых (SDN) и глобальных сетей (WAN).
Компании используют SD-WAN для объединения географически распределённых корпоративных
сетей. При помощи SD-WAN можно подключать удалённые офисы для предоставления
безопасного доступа к информации и корпоративным приложениям. Использование программно-
определяемых сетей позволяет уменьшить количество используемого сетевого оборудования, а
также снизить стоимость услуг провайдеров, предоставляющих услуги связности, а также
обеспечивающих доступ к глобальной сети.
Использование программно-определяемых сетей позволяет повысить качество и безопасность

передачи данных.
Чтобы продукт мог относиться к категории SD-WAN, должны выполняться следующие условия:
̶ поддерживать нескольких типов подключений к WAN;
5
KL 004.2: Kaspersky SD-WAN. 1. Введение
[Subject]
̶ объединять в себе компоненты SDN и WAN;

̶ поддерживать VPN, брандмауэры, веб-шлюзы и тому подобное;
̶ соединять географически удалённые локальные сети.
Для традиционных сетей характерны следующие недостатки:
̶ децентрализованное управление;
̶ сложность конфигурирования оборудования;
̶ большое количество разнообразных протоколов;
̶ множество точек отказа;
̶ большое время для внедрения и проведения изменений;
̶ сложность организации подключений к облачным средам.
В курсе мы подробно расскажем, как Kaspersky SD-WAN помогает решать эти задачи.
1.2 Какие задачи помогает решить
Решение Kaspersky SD-WAN позволяет решать следующие задачи:
̶ интеллектуальное управление трафиком;

̶ снижение времени на управление оборудованием;
̶ повышение безопасности;
̶ оптимизация использования ресурсов сети;
̶ гарантировать оптимальную производительность критически важных приложений;
̶ автоматизация рутинных процессов.
6
[Subject]
Интеллектуальное управление трафиком
Kaspersky SD-WAN позволяет не только определить, каким приложениям принадлежат данные,

передаваемые по сети, но и перенаправить трафик конкретных приложений по определённым
каналам связи, позволяя пользователям гарантированно получать доступ к корпоративным
сервисам.
Встроенные механизмы позволяют защититься от возникающих проблем в каналах, а также

динамически улучшать параметры передачи данных для имеющихся сред, качество сервиса
которых не соответствует потребностям бизнес-приложений.
Снижение времени на управление оборудованием

Традиционным сетевым оборудованием трудно управлять централизованно из-за использования
большого количества протоколов и децентрализованного подхода к управлению. Kaspersky SD-
WAN изначально разрабатывался для централизованного управления всем парком сетевого
оборудования с возможностью единовременного внесения изменений в настройки группы
устройств из единой точки. И это позволяет администратору менять конфигурацию в веб-
интерфейсе сразу для всех устройств, быстро вводить в работу и контролировать новые
устройства и сервисы, а также управлять существующими приложениями на удаленных
площадках.
Kaspersky SD-WAN предоставляет улучшенную видимость прикладного трафика, использования

полосы пропускания, а также прочей сетевой статистики.
7
[Subject]
Повышение безопасности
Вся сеть защищена настолько, насколько защищённым является её самый слабый элемент.
Пользователи и серверы удалённого офиса или филиала требуют такой же защиты, как
оборудование или работники центральных офисов и дата-центров.
Задача обеспечения безопасности требует большого количества времени, сил и средств. Решение
Kaspersky SD-WAN позволяет значительно сократить время, затрачиваемое сетевым
8
[Subject]
администратором на настройку оборудования, необходимую, чтобы обеспечивать и поддерживать

соответствующий уровень безопасности, а также в значительной степени уменьшить статьи
капитальных и операционных расходов.
Криптографически стойкое шифрование (Chacha Poly) и контроль доступа позволяют защитить

WAN-трафик, а также данные, отправляемые облачным приложениям.
Ручное внесение изменений в конфигурацию большого количества устройств может приводить к

появлению ошибок. Kaspersky SD-WAN обеспечивает согласованность конфигурационных файлов
сетевых устройств.
1.3 Преимущества
К преимуществам решения Kaspersky SD-WAN относятся:
̶ снижение стоимости внедрения и эксплуатации WAN-сетей;

̶ повышение производительности глобальных сегментов сети;
̶ уменьшение «сложности» сетевой инфраструктуры;
̶ индивидуальный подход к каждому приложению;
̶ поддержка облачных сред.
Kaspersky SD-WAN позволяет экономить не только на инженерных ресурсах, но также на

оборудовании и каналах связи.
Снизить CAPEX затраты можно за счёт использования виртуальных сетевых функций: достаточно
развернуть всю необходимую функциональность на CPE-устройствах в удалённом офисе. Такой
подход не требует приобретения дорогостоящего оборудования для небольшого офиса или
филиала.
9
[Subject]
Существенной экономии можно достичь и благодаря использованию функций Packet Duplication и

Forwarding Error Correction (FEC), позволяющих использовать более дешёвые каналы связи,
параметры работы которых не удовлетворяют требованиям приложений к каналам связи. Packet
Duplication дублирует передаваемую по каналу информацию и отправляет её через другой линк.
При использовании функции FEC избыточная информация, необходимая для восстановления
потерянных данных, передаётся через один канал (вместе с защищаемыми данными).
Использование функций FEC и packet duplication требует повышенного использования ресурсов

CPE, что обусловлено работой механизма packet reorder на конечном оборудовании.
Балансировка трафика в режиме Active/Active позволяет добиться повышения общей

производительности WAN-сети. Такая балансировка доступна как для каналов с одинаковой
стоимостью (ECMP), так и с разной. SD-WAN автоматически выберет оптимальные пути без
петель для передачи трафика.
SD-WAN предоставляет сетевому администратору высокоуровневые механизмы управления и

мониторинга, что упрощает управление WAN-сетью. Всю рутинную работу по настройке
оборудования возьмёт на себя оркестратор.
CPE «устройства» могут быть реализованы как в виде реального сетевого оборудования, так и в
виде виртуальных машин (VM), что позволяет с лёгкостью мигрировать корпоративные сервисы в
облачную инфраструктуру.
1.4 Статистика
Компания Pulse опросила более 150 руководителей IT-сектора. По результатам опроса
требовалось получить ответы на следующие вопросы.
̶ Оцените степень внедрения SD-WAN решений, а также ожидаемые преимущества от

внедрения.
̶ Каковы наиболее вероятные варианты использования и технические цели, для
достижения которых может быть использован SD-WAN?
̶ Почему IT-руководитель может предпочесть один SD-WAN продукт другому?
Ссылка на полный текст опроса: https://www.telstra.us.com/content/dam/shared-component-

assets/tecom/articles/sd-wan-adoption/Telstra_Cobrand_2021-03-23_SD-WAN_v5.pdf
Респондентам был задан вопрос о том, согласны ли они, что решение SD-WAN позволяет
уменьшить затраты на сеть. Более половины руководителей полагают, что внедрение SD-WAN
позволяет снизить затраты.
10
[Subject]
Далее респондентам требовалось указать три наиболее вероятных варианта использования

технологии SD-WAN. В тройку лидеров вошли следующие ответы: повышение безопасность сети
(60%), обеспечение масштабируемости сети (51%) и возможность работы в облачной среде с
несколькими облачными провайдерами (45%).
Не обошли стороной и вопрос об основных технических целях, которые ставятся перед продуктом.
52% опрошенных хотели бы обеспечить безопасность удалённого доступа, поддержку гибридных
облаков выбрали 50% респондентов, обеспечение прямого доступа конечным пользователям к
SaaS-ресурсам интересно 35% руководителей.
11
[Subject]
Большая часть респондентов имеют положительные ожидания от решений на базе SD-WAN.
1.5 Отраслевой состав
Решение Kaspersky SD-WAN будет полезным компаниям с распределённой филиальной сетью.

Благодаря централизованному управлению поддержка работоспособности даже большого
12
[Subject]
количества маршрутизаторов не потребует значительных усилий со стороны сетевых

администраторов.
Даже если филиальная сеть ещё не очень большая, но переживает бурный рост, компания всё
равно сможет выиграть от внедрения Kaspersky SD-WAN, так как в момент активного развития
филиальной сети требуется внесение большого количества изменений в конфигурацию
существующего оборудования, а также подключения новых устройств. Применение шаблонов в
значительной степени снизит риск возникновения ошибки конфигурации.
Офисы или иные точки присутствия, расположенные в труднодоступной местности, либо местах,
где отсутствует проводная инфраструктура передачи данных, требуют дополнительных
инвестиций для подключения и эксплуатации. Стандартизация процедуры подключения, а также
возможность использования более дешёвых линий связи, позволяют в значительной степени
сэкономить при подключении новых офисов к корпоративной сети.
Нехватка квалифицированных кадров ощущается во всём мире. Наиболее остро такая проблема
может стоять перед начинающими бизнесами, бюджет которых не позволяет в значительной мере
увеличивать штат сотрудников или переманивать высококвалифицированных администраторов из
других компаний. Эксплуатация решения Kaspersky SD-WAN не требует привлечения большого
количества высококвалифицированных специалистов, а для выполнения некоторых рутинных
действий достаточно лишь минимальных технических знаний.
В цифровую эпоху бизнес значительной части компаний напрямую зависит от функционирования

IT-инфраструктуры. Предоставить гарантированное качество обслуживания критичных для
бизнеса приложений помогут встроенные возможности решения Kaspersky SD-WAN, обеспечивая
нормальную работу приложений даже при неудовлетворительных каналах связи.
Список отраслей экономики, для которых целесообразно применение решений на базе SD-WAN,
максимально широкий и не ограничивается примерами, представленными на слайде. Если у
компании есть несколько точек присутствия (торговые павильоны, школы, больницы, магазины,
региональные ЦОДы, офисы продаж и так далее), применение SD-WAN, однозначно, предоставит
бизнесу конкурентные преимущества.
Стабильное функционирование сети банкоматов критически важно для работы банков и

платёжных компаний, причём зачастую сами банкоматы или платёжные терминалы размещаются
в местах без устойчивого доступа к сети.
В ритейле связь магазинов и торговых точек с ЦОД не менее важна, так как при отсутствии
стабильного подключения к приложениям внутри дата-центра работа удалённой торговой
площадки может оказаться полностью замороженной, что приведёт к значительным финансовым
потерям.
Сервис провайдеры могут использовать SD-WAN как для своих собственных нужд, так и для
предоставления услуг доступа клиентам.
В промышленности и на производстве прокладка оптических каналов может быть значительно

затруднена или даже вовсе невозможна. Решение Kaspersky SD-WAN поможет построить
надёжную наложенную сеть поверх любых существующих проводных или беспроводных каналов.
Объединить все автобусные остановки или железнодорожные станции и вокзалы в единую сеть
для получения телеметрии, управления движением, слежения за трафиком или передачи иных
данных также возможно с помощью решения на базе SD-WAN сетей.
13
[Subject]
1.6 Компоненты решения
Сетевой администратор взаимодействует с системой Kaspersky SD-WAN с помощью веб-

интерфейса портала администратора платформы, с помощью которого производится управление
оркестратором (management plane). Оркестратор обеспечивает подключение новых CPE и
управление уже подключенными. Кроме того, оркестратор отвечает за настройку SD-WAN
контроллера.
Вся логика control plane платформы Kaspersky SD-WAN сконцентрирована в контроллере,

управляющем SD-WAN шлюзами и телекоммуникационными устройствами в филиалах (CPE). SD-
WAN шлюзы – те же CPE устройства, но только с ролью шлюза.
И оркестратор, и контроллер управляют шлюзами и CPE-устройствами. Разница в том, настройки

какой плоскости доступны каждому из компонентов. Оркестратор (management plane)
обеспечивает настройку адресов на интерфейсах, обновляет прошивки, активирует/деактивирует
оборудование в филиалах и так далее. Контроллер (control plane) занимается оперативным
управлением: формирует таблицы коммутации и маршрутизации на устройствах, обеспечивает
заполнение ARP-таблицы, обеспечивает функционирование туннелей.
SD-WAN контроллер и оркестратор скрывают всю сложность настройки оборудования и позволяют

управлять сетью как единым организмом, контролируя настройки, трафик, пользователей и
подключения.
1.7 Сценарии применения

Рассмотрим несколько типовых сценариев использования решения Kaspersky SD-WAN.
14
[Subject]
Только транспорт
Использование продукта Kaspersky SD-WAN в режиме «только транспорт» не в полной мере

раскроет возможности продукта. Поддерживаются самые различные топологии: point-to-point,
point-to-multipoint, multipoint-to-multipoint, full mesh, partial mesh, сложная звезда и другие. В данном
режиме решение Kaspersky SD-WAN используется исключительно в качестве overlay-
инфраструктуры для передачи данных. Никакая дополнительная функциональность не
используется.
15
[Subject]
Цепочка сервисов в ЦОД
При использовании сервисных цепочек внутри центра обработки данных у администратора

появляется возможность сконфигурировать путь прохождения трафика через определённые
виртуальные устройства (функции), к числу которых относятся, например, следующие:
виртуальный маршрутизатор, DPI, виртуальный брандмауэр. Оркестратор не только сможет
развернуть нужное количество виртуальных машин, но и отслеживать их состояние (самой
виртуальной машины и программного обеспечения внутри), перенаправлять «интересный» трафик
через такую виртуальную функцию.
16
[Subject]
Цепочка сервисов в uCPE
Аналогичную функциональность можно получить и при размещении виртуальных сетевых функций

в непосредственной близости от сети филиала – на uCPE. При планировании подобной
инсталляции необходимо учитывать производительность uCPE, а также наличие свободных
ресурсов на устройстве.
На примере выше представлены два устройства uCPE, установленные параллельно и

выполняющие одинаковые функции, резервирующие друг друга. Для обеспечения
отказоустойчивости каждое устройство подключено к двум независимым операторам связи.
Проходимые трафиком виртуальные сетевые функции здесь такие же, как и в случае его очистки
внутри центра обработки данных.
17
[Subject]
Local Breakout
Доступ к глобальной сети из филиалов может производиться централизованно через интернет-

шлюз, размещённый в крупном офисе или ЦОДе. Трафик филиалов и удалённых офисов может
подвергаться фильтрации и проверке на отсутствие чувствительных данных, передача которых по
открытым сетям запрещена, перед непосредственной отправкой в интернет. Обратный трафик
может проверяться средствами антивирусной защиты в соответствии с политикой безопасности
компании перед тем, как попадёт в пользовательские подсети.
Однако иногда возникает необходимость обеспечить возможность филиалу передавать трафик в

интернет напрямую через своего локального провайдера. Такая необходимость может появиться,
например, в ситуации, когда требуется уменьшить задержки передачи данных до какого-либо
ресурса, либо когда филиал начинает создавать значительную нагрузку на оборудование и каналы
ЦОД, то есть целесообразнее обеспечить его собственными системами фильтрации и проверки.
Все сетевые функции (балансировки, безопасности и так далее) должны будут выполняться
локально на оборудовании филиала. Kaspersky SD-WAN обеспечивает такое прохождение
трафика (Local Breakout).
18
[Subject]
Часть услуги triple/quadruple play оператора связи
Решение Kaspersky SD-WAN придёт на помощь сервис провайдеру, предоставляющему услуги

triple play или quadruple play своим клиентам. В состав услуг triple play провайдера могут входить
следующие сервисы: высокоскоростной доступ в Интернет, IP-телефония и IP-телевидение. При
предоставлении услуг quadruple play дополнительно может предоставляться услуга беспроводного
доступа к сети, либо видеонаблюдения.
Каждый из сервисов представлен выделенным VPN-подключением. Решение Kaspersky SD-WAN

используется для предоставления L3-транспорта, обеспечивая разделение услуг и передачу
данных каждого из сервисов, обеспечивая связь между точками присутствия клиента и дата-
центром оператора.
Количество предоставляемых оператором услуг может быть и больше, - потребуется лишь

организовать дополнительные L3 VPN соединения.
19
[Subject]
Использование нескольких L2 сервисов
Решение Kaspersky SD-WAN позволяет объединить несколько независимых широковещательных

доменов, расположенных на разных площадках, позволяя создать несколько растянутых
виртуальных сетей (stretched VLAN). Для каждой растянутой виртуальной сети обеспечивается
изоляция таблицы коммутации (для каждой виртуальной сети строится собственная мостовая
таблица).
Для каждой виртуальной сети необходимо построить выделенный L2 транспортный сервис.

Сервис может работать в режиме P2M или M2M в зависимости от того, какую связность
необходимо обеспечить.
На слайде представлен пример организации связности для двух виртуальных сетей (VLAN) двух
удалённых площадок с ЦОД. Стоит обратить особое внимание на то, что номер виртуальной сети
(VID – VLAN Identifier) имеет исключительно локальное значение. То есть в один
широковещательный домен могут быть объединены виртуальные сети с разными значениями
идентификатора. На примере представлена именно такая ситуация: транспортный сервис P2M 1
объединяет следующие виртуальные локальные сети: VLAN 101 в левом филиале, VLAN 103 в
правом филиале и VLAN 201, расположенный в дата-центре. Несмотря на наличие технической
возможности объединять виртуальные сети с разными идентификаторами в один L2 транспортный
сервис, рекомендуется придерживаться одинаковой нумерации виртуальных сетей в филиалах.
20
[Subject]
Переключение на резервные каналы
На слайде показан момент изменения загрузки основного и резервных каналов. Отказ основного
канала приводит к переключению нагрузки на резерв. Резерв представлен двумя
низкоскоростными и менее надёжными беспроводными каналами, построенными на базе
технологии LTE. Нагрузка распределяется между обоими резервными каналами. Балансировка
нагрузки позволяет использовать каналы с меньшей полосой пропускания, так как по каждому из
линков данные будут передаваться с меньшей скоростью, а встроенные механизмы обеспечения
качества обслуживания предоставляют приложениям лучшие метрики QoS.
21
[Subject]
L3 с динамической маршрутизацией
В крупных корпоративных сетях стандартно используются протоколы динамической

маршрутизации, позволяющие распространять информацию о доступности IP-префиксов по сети.
Kaspersky SD-WAN позволяет не только обеспечить передачу трафика (data-plane), но и
участвовать в динамической маршрутизации (control plane). В качестве протокола динамической
маршрутизации поддерживается BGPv4 для адресного семейства IPv4 unicast. Использование
динамической маршрутизации (в legacy части сети) совместно с SD-WAN позволяет построить
единую маршрутизируемую сеть, включающую LAN и WAN сегменты.
22
[Subject]
В качестве основы используется L3 транспортный сервис P2M с одним или несколькими SD-WAN
шлюзами, установленными в дата-центре. Динамическая маршрутизация построена на базе
протокола BGP, используется одна автономная система на всех устройствах.
В рамках транспортно сервиса не реализуется полносвязная топология (full-mesh), то есть между

CPE не устанавливается BGP-соседства. BGP-сессии поднимаются только между следующими
парами устройств: CPE-gateway и gateway-gateway. В протоколе BGP есть правило расщепления
горизонта (split horizon), запрещающее передачу префиксов от одного iBGP соседа другим iBGP
соседям. Для преодоления данного ограничения используется технология Route Reflection. SD-
WAN gateway выполняет функции BGP Route Reflector, тогда как CPE устройства являются RR
клиентами и объединяются со шлюзом в один кластер. SD-WAN gateway также устанавливает BGP
сессии с другими маршрутизаторами и L3-коммутаторами в ЦОД. Данные сессии не принадлежат
RR-кластеру, то есть указанные BGP соседи не будут являться RR-клиентами. Изменённое
правило расщепления горизонта разрешает передачу клиентам маршрутной информации,
полученной как от клиентов, так и от не клиентов route reflector.
CPE устройства также выполняют функции route reflector и образовывают собственные RR-
кластеры. Все BGP-подключения в рамках удалённого филиала настраиваются как RR-клиенты.
Это нужно для того, чтобы маршрут, изученный в рамках удалённой площадки, передавался
шлюзам в ЦОД (опять же для преодоления правила расщепления горизонта).
Так как в протоколе BGP отсутствует динамический поиск соседей, каждая сессия должна быть
сконфигурирована вручную. Это достаточно трудоёмкий процесс, приводящий к большому числу
ошибок. Чтобы этого избежать, на SD-WAN gateway используется опция Listen Range, с помощью
которой можно указать адрес подсети, содержащей BGP-соседей, подключения от которых будут
приниматься автоматически. То есть на gateway не потребуется прописывать адреса всех BGP-
соседей, размещённых на удалённых площадках. Подключение нового филиала не потребует
внесения изменения в существующую конфигурацию SD-WAN gateway.
Использование VNF на uCPE
Оператор связи в партнёрстве с облачным провайдером оказывает своим клиентам услуги

доступа к ресурсам, размещённым в облаке. При этом выделенные каналы оператора связи могут
23
[Subject]
быть при необходимости зарезервированы беспроводными подключениями по технологии LTE.

Также некоторым клиентам должен быть предоставлен защищённый доступ к глобальной сети.
Для подключения клиентов использовались CPE/uCPE устройства. Там, где не было

необходимости в локальном предоставлении каких-либо дополнительных функций,
использовались CPE-устройства. Если же такая необходимость возникала, то устанавливались
uCPE-устройства, на которых разворачивались виртуальные машины с соответствующими
возможностями, организовывалась сервисная цепочка и трафик пропускался через них в нужной
последовательности.
На слайде представлена организация локального доступа в Интернет для одного из клиентов, при
этом фильтрация трафика производится с помощью ideco UTM, развёрнутого локально.
24
KL 004.2: Kaspersky SD-WAN. 2. Подготовка к внедрению
[Subject]
2. Подготовка к внедрению
2.1 Состав и возможности
Компоненты решения
На верхнем уровне решение Kaspersky SD-WAN состоит из следующих компонентов: оркестратор

и портал администратора, контроллер, шлюз или CPE, а также наложенные туннели.
Портал администратора платформы предоставляет графический веб-интерфейс управления

системой. Это единая точка управления платформой. Все остальные интерфейсы доступа к
Kaspersky SD-WAN являются вспомогательными. С помощью портала администратора
производится управление оркестратором. Оркестратор отвечает за управление контроллером и
оконечным сетевым оборудованием. С его помощью производится настройка контроллера, SD-
WAN шлюзов и CPE-устройств, обновление прошивок на всём оборудовании.
В работе сетевого оборудования выделяют три уровня или плоскости: management plane, control
plane и data plane. Management plane отвечает за конфигурацию и жизнедеятельность узла.
Функции мониторинга также возлагают на management plane (иногда выделяют в отдельный
уровень – monitoring plane). Control plane ответственен за заполнение таблиц, по которым
передаётся трафик: таблицы маршрутизации и коммутации, ARP-таблица и так далее.
Management/monitoring plane и control plane обычно выполняются на центральном процессоре
устройства. Оркестратор относится к management plane системы. Обратите внимание, что
оркестратор может управлять несколькими экземплярами SD-WAN.
SD-WAN контроллер относят к control plane, в его задачи входит непосредственное распределение
потоков данных. Сам контроллер не занимается непосредственно пересылкой данных, он
исключён из пути передачи пользовательской информации. Контроллер управляет CPE-
25
[Subject]
устройствами по протоколу OpenFlow, формируя правила, в соответствии с которыми SD-WAN

шлюзы и CPE-устройства выполняют обработку пользовательского трафика.
SD-WAN шлюзы являются такими же CPE-устройствами, но выполняющие определённую роль –

gateway.
Шлюзы SD-WAN, CPE-устройства, сети операторов связи и Интернет, а также наложенные

туннели можно отнести к плоскости данных – data-plane. Конечно, и на шлюзах, и на CPE-
устройствах в некотором смысле присутствует и control plane, и management plane, однако все
решения о пересылке принимаются централизованно и затем уже выгружаются на оконечное
сетевое оборудование.
SD-WAN шлюзы и CPE-устройства формируют SDN фабрику, они подключаются к сетям

операторов связи или Интернет. Подключения к Интернет-провайдерам или операторам частных
сетей используются исключительно для получения IP-связности между SD-WAN шлюзами и CPE-
устройствами. Опорные сети провайдеров рассматриваются как нижележащая инфраструктура
(underlay) для решения Kaspersky SD-WAN. Поверх сети провайдера устанавливаются туннели,
являющиеся наложенными (overlay) сетями и обеспечивающими защищённую передачу
пользовательского трафика поверх небезопасных публичных сетей. Существует несколько
протоколов виртуализации, используемых в сетях передачи данных: NVGRE, VxLAN, GENEVE.
Последний был выбран в качестве протокола инкапсуляции пользовательских данных в Kaspersky
SD-WAN. Решение о выборе именно этого протокола было принято благодаря встроенным в
протокол возможностям расширения и модернизации – вся служебная информация помещается в
специальные триплеты (TLV – Type/Length/Value), что значительно упрощает добавление новых
возможностей.
Kaspersky SD-WAN имеет распределенную микросервисную архитектуру, которая разворачивается

в виде Docker-контейнеров.
Если разворачивать экземпляр SD-WAN с использованием VNF, в архитектуру решения могут

входить следующие дополнительные компоненты:
̶ Контроллер SDN. Обеспечивает управление и конфигурацию аппаратных и программных

коммутаторов в ЦОД. Использование этого компонента не обязательно.
26
[Subject]
̶ VIM. Обеспечивает управление вычислительными и сетевыми ресурсами, а также

ресурсами хранения. Все эти ресурсы необходимы для работы VNF.
Кроме непосредственно передачи трафика между удалёнными площадками решение Kaspersky

SD-WAN позволяет управлять путём прохождения пакетов за счёт составления сервисных
цепочек. Сервисные цепочки заставляют пакеты пройти через несколько виртуальных машин,
выполняющихся локально в дата-центре или на uCPE. Все компоненты решения разворачиваются
в центрах обработки данных, за исключением устройств uCPE, которые устанавливаются на
требуемых площадках. Управление виртуальными машинами и путём прохождения трафика
возложено на менеджера виртуальных сетевых функций (VNF manager) и менеджера
виртуализации инфраструктуры (VIM – Virtual Infrastructure Management). Централизованная
настройка виртуальных сетевых функций также производится с использованием оркестратора.
Решение подразумевает развертывание отдельного экземпляра SD-WAN для каждого тенанта.

Тенанты используются для обеспечения независимости сетей SD-WAN разных организаций друг
от друга. Так, например, тенант может быть создан для клиента организации, которому
выделяется логический набор сетевых и/или вычислительных ресурсов, для построения сети SD-
WAN.
На слайде представлена внутренняя схема CPE-устройства. Назначение физического сетевого

интерфейса не имеет жёсткой привязки к самому интерфейсу и может быть переопределено при
необходимости. Перенастройка интерфейса производится либо с помощью шаблона CPE-
устройства, либо вручную путём изменения сетевых параметров конкретного устройства.
Основные функциональные возможности

К основным функциональным возможностям решения Kaspersky SD-WAN относятся следующие:
балансировка трафика, резервирование оборудования и обеспечение качества предоставляемого
сервиса, централизованное управление, управление и мониторинг CPE, сетевые сервисы,
механизмы обеспечения безопасности, возможность организации беспроводной сети на
удалённой площадке, дополнительные возможности CPE-устройств, а также маршрутизация.
Рассмотрим некоторые из них подробнее. Начнём с балансировки трафика.
27
[Subject]
Балансировка трафика может производиться между двумя или большим количеством каналов.
Отличительной возможностью решения является поддержка балансировки трафика по путям с
разной стоимостью. В этом случае распределение потоков трафика будет не равномерное. Данная
возможность позволяет учесть соотношение полос пропускания реальных каналов. Балансировка
производится на уровне потоков, определяемых на уровнях со второго по четвёртый, то есть могут
учитываться адреса канального и сетевого уровней, а также протокол и номера портов
отправителя и получателя данных.
28
[Subject]
При выходе из строя одного пути вся нагрузка будет распределена между оставшимися рабочими
каналами. Доступность и корректность работы каналов контролируется. Для контроля
используются следующие показатели качества обслуживания: загрузка интерфейса на приём
и/или передачу, процент ошибок, задержка и вариация задержки, процент потерь пакетов. Если
произошла деградация канала (достигнуты пороговые значения), он будет выведен из
эксплуатации.
Система также отслеживает нестабильную работу каналов и портов, отключая интерфейсы и

переводя трафик на другие доступные каналы.
О реализации отказоустойчивости компонентов решения мы расскажем далее в этой главе.
Выбор канала передачи данных производится не только на основании адреса получателя пакета
или фрейма, но в зависимости от того, какому приложению принадлежат данные. Разные
приложения предъявляют различные требования к качеству обслуживания, поэтому выбор канала
производится для каждого конкретному приложения. Решение Kaspersky SD-WAN производит
непрерывный мониторинг каналов, определяя такие критически важные показатели как задержка и
её вариации, процент потерянных пакетов, доступная полоса пропускания. Трафик приложения
будет направлен через канал только если его параметры удовлетворяют требованиям,
предъявляемым приложением к сети.
На слайде выше представлен пример деградации традиционно надёжного канала связи через
MPLS-ядро оператора. Так как процент потерь стал неприемлемым, канал исключается из
доступных вариантов для передачи.
29
[Subject]
Даже при наличии всего одного и плохого канала решение Kaspersky SD-WAN может
предоставлять приложениям требуемый сервис. Улучшение качества предоставляемого сервиса
достигается за счёт использования механизмов FEC (Forward Error Correction) и packet duplication.
Рассмотрим каждый из них подробнее.
Механизм FEC добавляет к группе передаваемых пользовательских пакетов несколько

дополнительных. Дополнительные пакеты используются для восстановления потерянных при
передаче данных. На слайде представлен пример, когда к группе из четырёх пользовательских
пакетов добавляется один служебный. В процессе передачи трафика через фабрику SD-WAN
теряется один из пользовательских пакетов. На принимающей стороне выполняется процедура
packet reordering (переупорядочивания пакетов), в результате работы которой обнаруживается
потеря пакета. Пользовательские данные восстанавливаются на основе других пакетов группы и
добавленной служебной информации.
Механизмы FEC и packet duplication запускают процедуру packet reordering. Данная процедура
является ресурсоёмкой, что может приводить к значительному снижению производительности
CPE-устройства. Рекомендуется активировать FEC и packet duplication только на тех каналах, где
это действительно необходимо.
В настройках канала можно не только включить или выключить поддержку FEC, но и указать
соотношение пользовательских и служебных данных.
Механизм FEC добавляет к потоку пользовательского трафика служебные пакеты, таким образом
увеличивая требования, предъявляемые к полосе пропускания канала. Если потери пакетов и так
вызваны перегрузками на канале связи, добавление дополнительной информации в некоторых
случаях может только усугубить ситуацию. Возможно, лучшим решением будет применение
механизмов QoS и/или использование другого канала.
Включение опции packet reordering (активируется автоматически при включении опций FEC и/или
packet duplication) вносит дополнительную задержку в процесс передачи пакетов, что также
необходимо учитывать при проектировании WAN-сегмента корпоративной сети.
30
[Subject]
В некоторых случаях дополнительная задержка, вносимая процессом packet reordering, может

оказаться относительно незначительной, в сравнении с задержкой на переотправку сегмента в
TCP (segment retransmission), возникающей в случае потери сегмента при передаче.
При наличии двух или более каналов может применяться механизм packet duplication.
Отправляющая сторона дублирует трафик и отправляет одинаковые данные через несколько
каналов связи. При возникновении потерь на канале для восстановления пользовательских
данных может использоваться копия трафика, полученная по второму каналу. На принимающей
стороне используется механизм packet reordering, производящий дедупликацию пакетов, таким
образом приложению доставляется только одна копия отправленного пакета.
Опции FEC и packet duplication могут использоваться совместно. В этом случае по двум или более
каналам отправляются одинаковые наборы данных, содержащих как пользовательский трафик, так
и служебные пакеты.
Механизм packet duplication поможет даже в ситуации, когда потери наблюдаются на обоих
каналах одновременно. В этом случае пакет с пользовательскими данными будет полностью
утрачен, если он был потерян сразу на обоих каналах. Вероятность такого события крайне мала,
но также должна быть учтена при выборе способа подключения удалённой площадки.
Приведём пример расчёта вероятности потери пакета с включённой функцией packet duplication
при наличии двух каналов связи, потери на которых составляют 2% и 3% соответственно. Чтобы
пакет был полностью утерян должно произойти одновременно два события: этот пакет должен
быть потерян на первом канале, а также этот же пакет должен быть потерян при передаче через
второй канал. Вероятность такого события будет равно произведению вероятностей потерь пакета
каждым из каналов, то есть составит 0.06%, что составляет 1 потерянный пакет примерно из 1700
переданных.
31
[Subject]
Пользовательские данные, передаваемые через SD-WAN фабрику, надёжно зашифрованы. Для

шифрования используется протокол ChaCha Poly, производительность работы которого на
процессорах без аппаратного ускорения шифрования заметно выше, чем у AES. Ожидаемая
криптостойкость между AES128 и AES256.
При необходимости шифрование пользовательских данных может быть отключено на

определённых каналах (нерекомендуемая опция).
Ротация ключей выполняется собственными средствами решения Kaspersky SD-WAN.
32
[Subject]
Два CPE-устройства могут быть объединены в отказоустойчивую пару (HA-pair). Данный тип
резервирования может применяться при любом транспортном сервисе, оказываемом CPE-
устройствами. При отказе основного устройства в паре роль мастера принимает на себя
оставшееся CPE-устройство, и передача трафика продолжается через резервный маршрутизатор.
Рассмотрим варианты отказов, влияние которых на сервис может быть нивелировано

использованием отказоустойчивой пары.
Первый типовой вариант отказа – отключение или перезагрузка всего CPE-устройства целиком.
Такая ситуация может быть вызвана перезагрузкой устройства в процессе обновления прошивки,
либо же аппарат может быть обесточен из-за проблем с электропитанием.
Вторым типовым сценарием отказа является отказ канала связи между CPE-устройством и SD-
WAN шлюзом. Такие отказы обычно происходят по вине провайдера, либо в случае нарушений
линий связи. Несмотря на то, что активное CPE-устройство остаётся включенным, трафик может
начать передаваться по резервному пути.
Не менее типовыми являются отказы отдельных интерфейсов CPE-устройства (как в сторону

локальной сети филиала, так и в сторону сервис-провайдера). Отказоустойчивая пара позволяет
обнаружить такой тип отказа и справиться с ним.
Построить отказоустойчивую пару можно только с использованием CPE-устройств, работающих в

фабрике Kaspersky SD-WAN. Однако, при использовании L3 транспортного сервиса, для создания
отказоустойчивого решения могут быть использованы стандартные протоколы (VRRP и BGP), что
позволяет построить отказоустойчивую сеть даже с использованием оборудования разных
вендоров. Рассмотрим такое решение подробнее.
33
[Subject]
Требуется построить отказоустойчивое решение, созданное на оборудовании разных

производителей и использующее различных операторов связи.
Будем рассматривать ситуацию, когда основной путь передачи трафика построен на базе
Kaspersky SD-WAN. Несмотря на то, что решение Kaspersky SD-WAN позволяет построить
безопасную зарезервированную WAN-сеть, требования отдела безопасности компании могут
предписывать использование нескольких независимых производителей сетевого оборудования. В
этом случае допустимо использование только стандартных протоколов и типовых решений.
На слайде представлено решение, когда Kaspersky SD-WAN обеспечивает лишь половину

связности. Работу второго пути передачи данных обеспечивает оборудование другого вендора.
Для примера будем считать, что в дата-центре уже построена и эксплуатируется L3-сеть, тогда как
в филиале CPE-устройство подключается к существующему L2-домену.
Выбор пути следования трафика в направлении от дата-центра к филиалу обеспечивается

работой протокола BGP, который позволяет обнаружить ошибки и передать всю необходимую
маршрутную информацию. Для трафика в обратном направлении потребуется использовать
стандартный протокол VRRP, с помощью которого происходит выбор устройства, выполняющего
функции шлюза по умолчанию. Трафик из сети филиала по существующему L2-домену проследует
до активного шлюза по умолчанию и далее будет передан в соответствии с настройками сервиса.
34
[Subject]
Ещё одной опцией, повышающей общую отказоустойчивость системы, является возможность

автоматического отката CPE-устройства к последней рабочей конфигурации. Данная опция
чрезвычайно полезна в ситуация, когда новая применённая конфигурация содержала ошибки или
неточности, из-за которых доступ к оркестратору был потерян.
Перед непосредственным применением новых настроек CPE-устройство сохраняет предыдущую

(заведомо рабочую) рабочую конфигурацию во временное хранилище. Конфигурация считается
рабочей, если она обеспечивает связь CPE-устройства с оркестратором.
После применения новой конфигурации CPE-устройство проверяет наличие связи с

оркестратором, сообщает ему о статусе применения новых конфигурационных параметров.
При отсутствии связи с оркестратором производится откат к предыдущим настройкам, при которых
CPE-устройство могло подключаться к оркестратору.
После отката конфигурации CPE-устройство вновь пробует подключиться к оркестратору и

сообщить о том, что обновление конфигурации произошло неудачно.
35
[Subject]
Одной из ключевых опций продукта Kaspersky SD-WAN является возможность построения

топологий с полной или частичной связностью. CPE-устройства объединяются в группы в
зависимости от наличия топологического тега. Так, например, CPE-1 и CPE-2 принадлежат региону
A; CPE-2 и CPE-3 – региону B; а CPE-4, CPE-5 и CPE-6 – региону C.
Внутри группы устанавливается полносвязная топология. Примером группы с полносвязной

топологией является регион C.
Также стоит обратить внимание на сетевое устройство CPE-2, оно принадлежит одновременно и
региону A, и региону B. CPE-2 выполняет функции транзитного spoke-устройства. Транзитные
CPE-устройства используются для передачи трафика между регионами.
36
[Subject]
Решение Kaspersky SD-WAN обладает встроенным анализатором приложений DPI (Deep Packet
Inspection). DPI позволяет отличить трафик одного приложения от другого, с его помощью можно
не только визуализировать активность приложений в сети, но и управлять политиками
перенаправления трафика.
Результаты работы DPI могут использоваться для написания фильтров трафика, задания правил
обработки пакетов механизмами QoS, а также при выборе каналов для отправки данных.
37
[Subject]
Очень интересной возможностью решения Kaspersky SD-WAN является поддержка

централизованного управления. Все настройки и мониторинг осуществляются с помощью единого
графического веб-портала администратора. С его помощью администратор может не только
управлять центральными компонентами системы, но также и выполнять поиск и устранение
неисправностей, подключившись по консоли к удалённому CPE-устройству. Стоит особо отметить,
что для предоставления доступа к удалённой командной строке оконечного оборудования не
требуется никаких дополнительных разрешений в существующих списках доступа (ACL), весь
управляющий трафик передаётся в рамках существующих сессий управления.
Ещё больше облегчить задачу администратора позволяют шаблоны настроек, создаваемые для
отдельных устройств. При создании таких шаблонов могут использоваться любые доступные
средства автоматизации: shell scripts, Python, Ansible и так далее.
Мониторинг также производится централизованно. Для снятия статистических данных и

построения графиков не требуется никакая сторонняя система мониторинга: Zabbix сервер
встроен в решение Kaspersky SD-WAN.
На слайде представлен пример мониторинга утилизации удалённого CPE-устройства. Доступ к

графикам можно получить непосредственно из консоли управления Kaspersky SD-WAN.
38
[Subject]
При необходимости использования сторонних средств автоматизации Kaspersky SD-WAN

позволяет осуществить подключение с использованием выделенного туннеля управления
(транспортный сервис P2M Management).
Kaspersky SD-WAN предоставляет транспортные сервисы второго и третьего уровней. При

построении L2 транспортных сервисов поддерживаются различные топологии: точка-точка (P2P,
pseudo-wire, E-Line), точка-многоточка (P2M, E-Tree), а также многоточечные соединения (E-LAN,
VPLS).
39
[Subject]
При построении L3 транспортных сервисов может быть использована как статическая, так и
динамическая маршрутизация (с помощью BGPv4). Стоит отметить, что BGPv4 не относится
непосредственно к IPv4, то есть данный протокол маршрутизации способен распространять
префиксы IPv4 и IPv6.
В корпоративных сетях для защиты и оптимизации трафика используются разнообразные

устройства. На слайде представлен пример сетевых устройств в классических сетях, через
которые необходимо пропустить трафик для его очистки и оптимизации. Решение Kaspersky SD-
WAN позволяет избавиться от необходимости держать большое количество разнообразного
сетевого оборудования, оптимизировать размещение устройств, их настройку и управление.
Одним из способов оптимизации является использование виртуальных сетевых функций,

размещённых в центрах обработки данных.
40
[Subject]
Решение Kaspersky SD-WAN позволяет создавать сервисные цепочки, что значительно упрощает
процедуры фильтрации, очистки и оптимизации пользовательского трафика. Вместо
использования аппаратных решений Kaspersky SD-WAN позволяет использовать виртуальные
сетевые функции, заменяющие дорогостоящее оборудование. Управление развёртыванием
виртуальных машин, на базе которых выполняются NVF (Network Virtual Functions), отвечает VIM –
Virtual Infrastructure Manager. Трафик последовательно пропускается через требуемые функции,
после чего может быть, например, отправлен в публичную сеть, либо принят из неё.
41
[Subject]
При разработке решения Kaspersky SD-WAN большое внимание было уделено вопросам
обеспечения безопасности. Так, например, все control plane соединения шифруются с помощью
TLS. Пользовательские данные передаются зашифрованными с применением DTLS, так как для
передачи пользовательских данных используются туннели с инкапсуляцией GENEVE, передающие
данные с помощью UDP-дейтаграмм. Процесс первоначальной настройки ZTP (Zero Touch
Provisioning) также не использует передачу данных открытым текстом. Весь обмен данными
производится по протоколу HTTPS, а сама процедура ZTP позволяет в значительной степени
упростить процесс подключения и первоначальной настройки оборудования.
Рассмотрим на верхнем уровне всю процедуру подключения нового CPE-устройства.
Производитель CPE-устройств устанавливается специализированное программное обеспечение

Kaspersky SD-WAN на сетевое оборудование. После этого маршрутизатор доставляется в офис
клиента. Это может быть как новый офис, так и какая-либо существующая точка присутствия
компании. Первые два этапа не требуют поддержки со стороны квалифицированных сетевых
инженеров заказчика.
Следующим действием является добавление записи, соответствующей новому CPE-устройству.

Добавление производится с помощью графического веб-портала администратора продукта.
После того, как соответствующая запись будет добавлена, можно переходить непосредственно к
подключению CPE-устройства в сеть. Выполнить подключение (по процедуре ZTP) может даже
сотрудник, не обладающий глубокими техническими знаниями.
Описанный подход имеет целый ряд преимуществ перед стандартным способом установки ли
замены сетевого оборудования.
В удалённом филиале на момент подключения CPE-устройства к сети не требуется наличие

сетевого специалиста. Это стало возможным благодаря использованию процедуры ZTP.
Поскольку допускается подключение строго определённого устройства, нет риска нарушения

требований безопасности.
42
[Subject]
Оборудование поставляется заказчику напрямую от производителя, то есть не требуется какая-

либо предварительная настройка устройств сетевыми администраторами заказчика.
Процесс добавления нового CPE-устройства автоматизирован, что исключает возникновение

человеческих ошибок.
К числу основных возможностей решения Kaspersky SD-WAN относится также динамическая

маршрутизация. Система позволяет не только передавать пользовательский трафик, но также и
переносить маршрутную информацию, не разрывая control plane существующей сети компании.
Kaspersky SD-WAN поддерживает BGP в качестве протокола динамической маршрутизации. С

настройками по умолчанию протокол BGP использует достаточно большие значения таймеров.
Несмотря на то, что при установлении BGP-сессии значения таймеров согласовываются
(используется наименьшее значение), применять очень маленькие значения всё же не
рекомендуется, так как это оказывает значительное влияние на загрузку процессора. Вместо этого
более целесообразным решением станет использование протокола BFD – Bidirectional Forwarding
Detection, позволяющего получить время реакции на событие менее одной секунды, что является
приемлемым в современных сетях. Система может достаточно быстро среагировать на
непосредственную проблему (direct failure) и не полагаться на таймеры. Однако не
непосредственную проблему (indirect failure) обнаружить гораздо сложнее, в этом и помогает
протокол BFD, уменьшая как время реакции, так и нагрузку на процессор сетевого оборудования.
Ноутбуки, IP-телефоны, сетевые принтеры, персональные компьютеры сотрудников и другое

оконечное клиентское оборудование обычно не поддерживает динамическую маршрутизацию,
используя лишь статическую настройку, указывающую адрес шлюза по умолчанию. Для защиты от
отказа сетевого устройства, выполняющего функции шлюза по умолчанию, используется протокол
VRRP.
Типовые места в сети, в которых могут использоваться те или иные из описанных протоколов,
представлены на слайде.
От обсуждения основных функциональных возможностей решения Kaspersky SD-WAN перейдём к

рассмотрению схем развёртывания системы.
43
[Subject]
2.2 Схемы развёртывания
Сервис Kaspersky SD-WAN может быть развёрнут в одном из двух вариантов:
̶ в виде PNF (Physical Network Function);

̶ в виде VNF (Virtual Network Function).
При выборе варианта развёртывания сервиса SD-WAN в виде виртуальной сетевой функции, в
среде OpenStack будут автоматически созданы следующие компоненты (в виде виртуальных
машин):
̶ SD-WAN контроллер;
̶ SD-WAN gateway #1;
̶ SD-WAN gateway #2.
При выборе варианта развёртывания сервиса SD-WAN в виде физической сетевой функции,
требуется заранее вручную развернуть (создать и установить) SD-WAN контроллер. Контроллер
SD-WAN может быть представлен в виде виртуальной машины (либо физического сервера) с
установленным демоном Docker и развёрнутым контейнером контроллера. Шлюзы SD-WAN могут
быть в виде виртуальных машин (разворачиваются самостоятельно), либо физических устройств,
маршрутизаторов. Внутренне шлюзы SD-WAN не отличаются от обычных CPE, то есть это
обычные CPE-устройства с активированной ролью SD-WAN gateway.
44
[Subject]
При использовании варианта разворачивания SD-WAN контроллера и шлюзов в виде VNF

используются два дополнительных менеджера:
̶ VNFM (Virtual Network Function Manager);

̶ VIM (Virtual Infrastructure Manager).
За создание соответствующих виртуальных машин и поддержание их работы отвечает Virtual

Infrastructure Manager (VIM). В зону ответственности VNF Manager входит использование
виртуальных сетевых функций (VNF), создание сервисных цепочек и управление путём
прохождения трафика.
45
[Subject]
При выборе варианта разворачивания SD-WAN контроллера и шлюзов в виде PNF необходимо
заранее подготовить аппаратные маршрутизаторы, которые будут выполнять функции SD-WAN
шлюзов, а также создать виртуальную машину или настроить выделенный сервер, который будет
использоваться в качестве контроллера. Шлюзы SD-WAN также могут быть развёрнуты в виде
виртуальных машин, однако VIM при этом не используется; разворачивание производится
вручную.
46
[Subject]
В система Kaspersky SD-WAN используется схема авторизации, основанная на ролях

пользователей (RBAC – Role Based Access Control). Необходимо различать роли администратора
платформы и администратора отдельного тенанта.
Список действий, которые необходимо выполнить администратору платформы:
̶ создать Domain и Data Center;

̶ загрузить пакеты VNF или PNF в каталог оркестратора;
̶ создать шаблон SD-WAN Instance Template;
̶ создать шаблоны CPE-устройств;
̶ создать тенант;
̶ выделить тенанту необходимые ресурсов (только для VNF).
Кроме того, администратор платформы должен создать пользователя, которому будут назначены
права администратора определённого тенанта.
Список действий, которые необходимо выполнить администратору тенанта:
̶ отредактировать сервисные цепочки (при необходимости);

̶ создать и настроить сервис SD-WAN для тенанта;
̶ подключить и активировать необходимые CPE;
̶ осуществлять мониторинг за CPE.
Шаблон сервиса SD-WAN содержит следующие настройки:
̶ GWs Port Mapping - список портов SD-WAN шлюзов для создания транспортных сервисов;
̶ QoS - описание требований к качеству обслуживания;
̶ Services - автоматическое создание транспортных сервисов;
̶ Tenants - список тенантов, к которым привязан шаблон;
47
[Subject]
̶ High Availability – настройки отказоустойчивости.
При развертывании сервисной платформы автоматически создается шаблон Default SD-WAN

template. В разделе Services создаются шаблоны транспортных сервисов (L2 P2P, L2 P2M, L2 M2M
и L3VPN), выбирается ранее созданное правило QoS, определяется точка подключения к сервису
(SI – Service Interface), то есть указывается устройство (SD-WAN gateway), порт и тип
инкапсуляции. Обязательным для создания является сервис P2M Management, используемый для
управления сетью SD-WAN, например, этот сервис используется для мониторинга и сбора
статистических данных, телеметрии (Zabbix).
48
[Subject]
На следующем шаге необходимо создать шаблон CPE-устройств. Шаблон CPE-устройства

является обычным XML-файлом, упакованным в архив TAR GZIP. Шаблон описывает основные
параметры работы устройства и действия, которые можно производиться с оборудованием.
Параметры подключения устройства к оркестратору и контроллеру Kaspersky SD-WAN содержатся

в разделе SD-WAN settings. Подключение к оркестратору может производиться по IP-адресу или с
использованием FQDN (Fully Qualified Domain Name). Для подключения используется стандартный
порт TCP-443 (HTTPS). Также необходимо задать протокол, используемый для подключения к
оркестратору (по умолчанию используется HTTPS), а также транспорт для OpenFlow (TCP или
SSL).
По умолчанию, на LAN портах CPE-устройств используется адрес 192.168.7.1. В случае, если

подключаемое устройство имеет отличный от указанного адрес, необходимо скорректировать
настройку URL ZTP, указав в ней корректный дефолтный адрес LAN-порта подключаемого шлюза.
На слайде представлен небольшой кусочек шаблона CPE-устройства. Конфигурация полностью

читаема и может быть изменена как вручную, так и с помощью любых программных средств: shell
scripts, ansible, Python и так далее.
Над каждым шаблоном CPE-устройств можно выполнить следующие действия:
̶ создать;
̶ импортировать;
̶ экспортировать;
̶ клонировать;
̶ удалить.
При импорте шаблона администратор может выбрать, какие разделы должны быть
импортированы, а что может быть проигнорировано. По умолчанию производится импорт всех
секций шаблон.
49
[Subject]
CPE-устройство не имеет жёсткой привязки роли порта к конкретному физическому интерфейсу.

Более того, назначенную интерфейсу роль можно в последствии переопределить. Шаблон
позволяет заранее сконфигурировать сетевые порты устройства: указать их роль и задать IP-
параметры.
На данный момент для подключения к провайдеру могут использоваться не тегированные Ethernet

интерфейсы, тегированные интерфейсы (IEEE 802.1q), дважды тегированные интерфейсы (QinQ,
802.3AD), LTE. Подключение к оператору связи с централизованным использованием PPPoE
невозможно.
50
[Subject]
После того, как все необходимые шаблоны CPE-устройств были добавлены, можно переходить к
созданию тенанта. Для тенанта необходимо задать точку подключения: сервисный интерфейс –
коммутатор OpenFlow, порт коммутатора и инкапсуляцию. Трафик из локальной сети ЦОД клиента
будет попадать будет попадать в сетевой сервис проходя через сервисный интерфейс.
Для каждого созданного тенанта должен быть сконфигурирован SD-WAN сервис. При
использовании виртуальной сетевой функции (VNF) требуется собрать желаемую сервисную
цепочку. При использовании PNF создать сервисную цепочку невозможно.
Разберём теперь процедуру работы механизма ZTP с сетевой точки зрения.
51
[Subject]
CPE-устройство получает IP-параметры (адрес, маска, шлюз, DNS-сервер) от провайдера

динамически по протоколу DHCP. Допускается также статическая настройка IP-адреса WAN-
интерфейса (в ситуации, когда оператор не использует протокол DHCP).
Сетевой администратор генерирует ссылку для предварительной настройки CPE-устройства с

помощью ZTP (ZTP URL). При статической настройке WAN-интерфейса, все сетевые параметры
порта передаются устройству с помощью ZTP URL.
Любой сотрудник компании, находящийся на удалённой площадке, подключается с помощью ПК

или ноутбука (подключение может быть как проводным с помощью Ethernet-порта, так и
беспроводным – Wi-Fi) к новому CPE-устройству и открывает ссылку с помощью любого
современного браузера. Наличие какой-либо технической квалификации у пользователя при этом
не требуется.
Браузер подключается к CPE-устройству и с помощью HTTP GET запроса передаёт все

необходимые для подключения к оркестратору параметры. Получив все необходимые параметры,
CPE-устройство перезагружается для их применения. После перезагрузки производится попытка
установления соединения с оркестратором. Все остальные параметры CPE-устройство получает
непосредственно от оркестратора.
52
[Subject]
CPE-устройство устанавливает служебное соединение с контроллером по протоколу TLS

(Transport Layer Security). Адрес контроллера должен быть доступен CPE-устройству через
интернет или сеть оператора (должна присутствовать IP-связность).
SD-WAN контроллер инициирует создание туннелей GENEVE с каждого WAN-интерфейса CPE-

устройства до каждого из шлюзов.
Если в качестве транспорта для протокола OpenFlow был выбран SSL, то в этом случае после
каждой перезагрузки CPE-устройство генерирует запрос на сертификат. При первичной
53
[Subject]
регистрации и последующих обращениях к оркестратору CPE-устройство запрашивает

подписанный оркестратором сертификат. Оркестратор в данном случае выступает в качестве
Subordinate CA и возвращает подписанный сертификат. Подписанный сертификат сохраняется
исключительно в оперативной памяти CPE-устройства и удаляется при перезагрузке.
Далее CPE-устройство продолжает стандартную процедуру регистрации, но с использованием

TLS.
На слайде представлены возможные состояния CPE-устройства в процессе регистрации на

оркестраторе и допустимые переходы между ними.
54
[Subject]
2.3 Отказоустойчивость
Решение Kaspersky SD-WAN позволяет не только организовать отказоустойчивое подключение

удалённых офисов и точек присутствия компании, но также зарезервировать основные
компоненты системы, обеспечив стабильное функционирование решения даже при отказе одного
или нескольких ключевых компонентов.
К числу критически важных компонентов системы относятся следующие:
̶ Оркестратор;
̶ Веб-консоль администратора;
̶ База данных MongoDB;
̶ Контроллер;
̶ SD-WAN шлюз.
В зависимости от компонента применяются различные способы резервирования. Так, например,

оркестратор, веб-консоль и SD-WAN шлюз резервируются по схеме N+1, то есть для работы
системы минимально требуется N экземпляров компонента, тогда для повышения
отказоустойчивости системы требуется добавить ещё один экземпляр резервируемого
компонента.
База данных MongoDB и контроллер резервируются по схеме 2N+1.
55
[Subject]
На слайде показано, что для резервирования базы данных MongoDB и SD-WAN контроллера,
используется специальный элемент – арбитр, являющийся ещё одним экземпляром ключевого
резервируемого компонента, что связано с особенностями работы базы данных и контроллера и
позволяет получить кворум (большинство) экземпляров базы данных. Кворум необходим в
ситуации, когда произошёл отказ каналов, соединяющих дата-центры, в которых расположены
контейнеры с базами данных. В этом случае часть CPE-устройств сохраняет связность с одним
ЦОД, тогда как другая часть CPE-устройств – с другим. Такая ситуация называется split brain. Для
того, чтобы база данных могла определить, какое её состояние является более доверенным
используется кворум (большинство).
56
[Subject]
2.4 Требования
Решение Kaspersky SD-WAN не является требовательным к ресурсам, однако наличие

минимальных требований всё же стоит учитывать.
На слайде представлены минимальные требования к процессору, объёму оперативной памяти,

дисковому пространству, количеству сетевых адаптеров и виртуальных машин для таких ключевых
компонентов решения как:
̶ Оркестратор;
̶ SD-WAN контроллер;
̶ VNFM (при использовании);
̶ Zabbix.
Также следует учитывать максимальную производительность самих CPE-устройств, которая на

сегодняшний день варьируется от 30 Мбит/с до 1 Гбит/с.
57
[Subject]
Выпуск CPE-устройства модели KESR Model 5 запланирован на третий квартал 2023 года.
Производительность модели составит 10 Гбит/с, что позволит полностью покрыть все потребности
в производительном пограничном сетевом оборудовании.
KESR – Kaspersky Edge Service Router
58
KL 004.2: Kaspersky SD-WAN. 3. Развёртывание
[Subject]
3. Развёртывание
3.1 Развёртывание Orc
При развёртывании системы необходимо пройти несколько этапов. Если планируется

использовать uCPE, на которых будут выполняться виртуальные сетевые функции, то на первом
шаге потребуется установить OpenStack. Если же uCPE не будут использоваться, этот шаг можно
пропустить.
Обязательным действием является генерация TLS-сертификатов. Действие необходимое, так как

практически любое общение между компонентами системы производится с использованием
защищённых каналов связи.
Поскольку большинство компонентов системы поставляются в виде Docker-контейнеров,

необходимо установить Docker-хост, на котором указанные контейнеры будут выполняться.
На подготовленном Docker-хосте необходимо запустить SD-WAN контроллер.
После того, как все компоненты успешно установлены и запущены, можно переходить
непосредственно к подготовке к развёртыванию сервиса SD-WAN.
3.2 Подготовка к развёртыванию сервиса SD-WAN

Подготовка к развёртыванию сервиса SD-WAN начинается с создания домена.
59
[Subject]
При создании нового домена требуется задать его имя и описание. SD-WAN домен не связан с
DNS-доменом компании или каким-либо иным доменом. Он используется исключительно в
организационных целях для создания виртуальной иерархии. Допускается создание нескольких
доменов.
После того, как домен создан, можно переходить к созданию дата-центра. Дата-центр – такая же
логическая сущность, как и домен, и может не иметь никакой привязки к реальным ЦОД компании.
60
[Subject]
При создании дата-центра потребуется указать его имя и описание, а также выбрать домен, к
которому он относится, а также при желании указать расположение.
После того, как сам дата-центр создан, необходимо выполнить ряд необходимых настроек.
К числу таких настроек относятся параметры, расположенные в меню System Resources: адрес
ZabbixProxy и подсеть для управления. Адреса из данной подсети будут использоваться сервисом
P2M management. При создании подсети управления необходимо указать её имя, выбрать тип
(доступен только тип Management), выбрать версию протокола IP (IPv4 или IPv6), указать адрес
сети (в CIDR формате) и шлюз по умолчанию. Для созданной подсети управления можно указать
дополнительные параметры, к числу которых относятся диапазоны IP-адресов, из которых будут
назначаться адреса CPE-устройствам, адреса DNS-серверов и статические маршруты, если это
необходимо.
Дополнительно при использовании VNF необходимо указать адрес VNFM.
Ещё одной логической сущностью, которую нужно создать, в рамках процесса подготовки к
развёртыванию сервиса SD-WAN, является тенант.
61
[Subject]
При создании тенанта требуется задать его имя.
Следующим обязательным действием является загрузка шаблона физической сетевой функции

SD-WAN, которую необходимо привязать к определённому дата-центру, созданному ранее.
62
[Subject]
После добавления шаблона физической сетевой функции SD-WAN, необходимо произвести её

настройку – указать адрес оркестратора и проверить наличие сетевой связности.
Если проверка доступности оркестратора прошла успешно, можно начинать подготовку шаблонов
для CPE. Шаблоны должны быть заранее подготовлены.
Шаблон CPE является обычным XML-файлом, упакованным с помощью tar/gz. Файлы формата
XML можно генерировать автоматически с применением python или любого другого механизма.
63
[Subject]
Сгенерированные шаблоны необходимо добавить в систему Kaspersky SD-WAN. При добавлении

требуется задать имя шаблона и выбрать его тип: CPE или uCPE.
При добавлении шаблона CPE необходимо выбрать группы настроек, которые будут
импортированы. По умолчанию производится импорт всех настроек, присутствующих в шаблоне.
Администратор системы в дальнейшем сможет вручную изменить те или иные параметры работы
CPE устройства.
На этом подготовка к развёртыванию сервиса SD-WAN завершается.
64
[Subject]
3.3 Развёртывание CPE
Развёртывание нового CPE-устройства – предельно простой процесс: требуется лишь

импортировать шаблон и добавить новое CPE-устройство.
CPE-шаблон – архив, содержащий в себе XML-файл. Так как XML-файл имеет стандартный
формат, то администратор может использовать любые инструменты автоматизации для создания
файлов шаблонов.
65
[Subject]
При импорте шаблона допускается использовать не все настройки, а только часть, - необходимо
выбрать именно те раздела конфигурационного шаблона, которые необходимо имортировать.
3.4 Развёртывание сервиса SD-WAN

Развёртывание сервиса SD-WAN немногим сложнее, рассмотрим его основные этапы.
Процедура развёртывания сервиса SD-WAN начинается с добавления шаблона физической

сетевой функции SD-WAN в оркестратор. Обязательно требуется указать имя шаблона, после чего
необходимо выбрать физическую сетевую функцию из меню Catalog.
66
[Subject]
При добавлении сетевой функции потребуется выбрать тенант, с которыми будет ассоциирована
добавляемая функция.
После добавления физической сетевой функции можно переходить к созданию нового сервиса.
Последовательность действий при создании нового сервиса:
̶ Создать новый сервис.

̶ Задать шаблон.
67
[Subject]
̶ Сохранить внесённые изменения.
На следующем шаге потребуется привязать созданные ранее записи для CPE и GW с шаблоном.
Также потребуется выбрать транспортный тенант для шлюза, и логический тенант

администрирования.
На следующем шаге необходимо проверить конфигурацию шлюза SD-WAN и при необходимости

внести корректировки в конфигурацию устройства.
68
[Subject]
Действия, выполненные ранее для SD-WAN шлюзов, необходимо повторить для всех CPE-
устройств, относящихся к тенанту.
69
KL 004.2: Kaspersky SD-WAN. 4. Эксплуатация
[Subject]
4. Эксплуатация
4.1 Управление CPE

При выборе CPE в таблице открывается панель для ее редактирования. Действия, доступные при
редактировании CPE, зависят от ее статуса.
В статусе Waiting возможно редактирование параметров:
̶ DPID
̶ Name
̶ Location
̶ Tenant
̶ Template
В статусах Disconnected и Registered можно изменить значения:
̶ DPID
̶ Name
̶ Location
Изменение DPID необходимо в случае замены CPE на аналогичное устройство, например, в

случае выхода из строя. После изменения DPID статус CPE становится значение Waiting, затем,
при обращении CPE на оркестратор, оно последовательно пройдёт стадии Disconnected и
Registered. Так как CPE уже участвовала в сервисах, к ней применяются настройки вышедшей из
строя CPE (создаются соответствующие UNI, политики, CPE включается в сервисы).
70
[Subject]
Удаление CPE возможно, если параметр Usage имеет значение “No”, то есть CPE не используется
в сервисах.
Для CPE со статусом Unknown доступны действия:
̶ Удалить
̶ Задать адрес (Set Location)
̶ Зарегистрировать (добавить CPE в инвентаризационную базу).
Если вы хотите добавить шаблон стандартного устройства CPE, выберите CPE. Если вы хотите
добавить шаблон устройства uCPE, выберите uCPE.
Каждое устройство CPE имеет следующие внешние порты:
̶ один или несколько LAN-портов (можно объединить несколько LAN-портов в коммутатор с

помощью Linux-мостов);
̶ один или несколько WAN-портов (Эти порты могут иметь проводную или беспроводную
среду передачи.
WAN-парты могут иметь проводную или беспроводную среду передачи. Каждый такой порт
получает параметры IPv4 по протоколу DHCP.
После того, как устройство CPE получает параметры WAN-портов по протоколу DHCP, на нем
создаются отдельные таблицы маршрутизации для каждого из WAN-портов (аналог VRF-lite). С
помощью шаблона CPE можно указать следующие параметры интерфейсов:
̶ тип и конфигурация портов;

̶ количество внешних и внутренних портов;
̶ нумерация портов;
̶ действия, которые решение Kaspersky SD-WAN применяет к устройству CPE при его
регистрации.
71
[Subject]
Можно установить программное обеспечение uCPE на сервер с архитектурой процессора x86.

Устройство uCPE используется для построения сетей SD-WAN и дополнительно поддерживает
развертывание VNF, как в виртуальной инфраструктуре ЦОД. В состав устройства uCPE входят
гипервизор и VIM (Openstack в минимальной конфигурации). Остальные компоненты,
необходимые для оркестрации VNF, находятся в ЦОД.
Оркестратор начинает взаимодействовать с VIM на устройстве uCPE после того, как это
устройство регистрируется в инвентаризационной базе оркестратора и подключается к сервису
управления SD-WAN managementTunnel, а также к другим SDN-сервисам. Сервис управления SD-
WAN managementTunnel можно использовать для мониторинга работы устройства uCPE и
настройки VNF.
Можно создавать сетевой сервис на устройстве uCPE, которое находится в состоянии Отключено.
В этом случае оркестратор отслеживает доступность устройства uCPE и создает сетевой сервис в
момент, когда VIM начинает отвечать на API-запросы.
VIM на устройстве uCPE по умолчанию привязывается к тенанту, в рамках которого развернут

сервис SD-WAN. При использовании одного сервиса SD-WAN для разных клиентов, можно
выбирать другой тенант.
При создании сетевого сервиса вам нужно выбрать VIM для развертывания VNF. Можно выбрать
VIM в ЦОД, который привязан к тенанту, или VIM на устройстве uCPE. Если удалить устройство
uCPE из списка устройств CPE, то все сервисные цепочки, развернутые на этом устройстве, также
будут удалены.
После добавления шаблона необходимо подключить само устройства.
При добавлении нового CPE устройства необходимо указать имя и DPID оборудования, задайте
статус устройства, выберите тенант, дата-центр и ранее добавленный шаблон. Также можно
указать расположение маршрутизатора.
После того, как новое устройство было добавлено в список CPE Inventory, можно переходить к
непосредственной настройке телеком оборудования. Подключение нового маршрутизатора
72
[Subject]
производится в рамках процесса ZTP (Zero-Touch Provisioning), для выполнения которого не

требуется специальная квалификация сотрудника.
С помощью веб-интерфейса оркестратора генерируется URL, который нужно ввести в браузер на

ПК или ноутбуке, подключённом к LAN-порту CPE. На слайде выше представлен пример такого
URL.
Браузер сотрудника «в поле» подключается к CPE устройству, генерирует HTTP GET запрос, в
котором передаёт все необходимые для подключения параметры. Переданной таким образом
информации достаточно для того, чтобы обеспечить минимальную настройку CPE. Далее CPE
устройство подключается к оркестратору и синхронизирует полную конфигурацию.
Кроме непосредственно сетевых параметров с помощью ZTP URL передаётся сертификат

оркестратора, содержащий открытый ключ. Данный сертификат сохраняется на CPE-устройстве и
помещается в хранилище доверенных сертификатов. С его помощью в дальнейшем будет
проверяться подпись сертификатов, подписанных оркестратором.
Каждому добавленному CPE устройству можно поставить в соответствие несколько меток. Данные
метки могут быть использованы при построении partial mesh топологии, например, при
организации M2M транспортного сервиса, о котором более детально мы будем говорить дальше.
73
[Subject]
После того, как устройство CPE подключается к контроллеру SD-WAN, оркестратор создает
сервисный интерфейс на порту mgmt CPE с типом инкапсуляции Access. Администратор может
указать номер этого порта в шаблоне CPE (по умолчанию порт имеет номер 1). Для настройки
шаблона CPE нужно перейти в раздел SD-WAN веб-интерфейса оркестратора, после чего перейти
в подраздел CPE шаблоны конфигурации. Оркестратор активирует устройство CPE и добавляет
сервисный интерфейс в сервис управления SD-WAN managementTunnel с ролью Leaf. Пример
подключения CPE к сервису SD-WAN management Tunnel представлен на слайде ниже.
74
[Subject]
CPE устройства выполняют функции Leaf оборудования. На примере выше представлено только
одно CPE устройство. Но именно оно представляет «multipoint» часть. «Point» часть представляет
SD-WAN Gateway (основной и резервный).
IP-адрес, необходимый для управления устройством CPE, определяется автоматически из

заданного вами пула адресов. Этот IP-адрес отображается в списке устройств CPE. При удалении
устройства CPE привязанный к нему IP-адрес возвращается в пул свободных адресов.
Компоненты VNF и PNF взаимодействуют друг с другом и с оркестратором с помощью внешних IP-
адресов.
Можно предоставить доступ к веб-консоли устройства CPE и настроить подключение к командной

строке по протоколу SSH с помощью шаблона CPE. Для этого нет необходимости обеспечивать IP-
связность с устройством CPE. VNFM предоставляет доступ к консоли через сервис управления
SD-WAN managementTunnel.
4.2 Управление трафиком

Kaspersky SD-WAN поддерживает работу нескольких транспортных сервисов: P2P (point-to-point),
P2M (point-to-multipoint), M2M (multipoint-to-multipoint), IP multicast, L3 VPN и TAP (Traffic Access
Point).
Транспортный сервис P2P обеспечивает соединение между двумя точками в сети, между двумя
интерфейсами. Весь трафик, который попадает в один конец туннеля, будет отправлен через
другой.
В режимах P2M и M2M происходит обучение контроллера, строится мостовая таблица (таблица
коммутации).
По умолчанию сервисы P2P, P2M и M2M работают в L2 режиме. Решение Kaspersky SD-WAN
позволяет организовать также и L3 сервисы, занимающиеся передачей как одноадресатного
трафика (L3 VPN), так и многоадресатного, группового (IP Multicast).
75
[Subject]
Логика работы транспортного сервиса TAP похожа на технологию ERSPAN: производится

однонаправленная пересылка трафика от удалённых источников до точки назначения
зеркалированного трафика. В качестве источника трафика может выступать как сервисный
интерфейс, так и любой транспортный сервис целиком.
Рассмотрим параметры работы трёх наиболее востребованных транспортных сервисов: P2P, P2M
и M2M. Одинаковой опцией для всех трёх транспортных сервисов является поддержка
балансировки. Балансировка может работать в одном из трёх режимов: per-Flow, per-Packet или
Broadcast. В режиме per-Flow происходит распределение потоков по доступным каналам. Трафик,
относящийся к одному потоку, будет передан по одному каналу, если его параметры
удовлетворяют запрошенным параметрам качества обслуживания. В режиме балансировки per-
Packet пакеты последовательно отправляются в различные каналы. Трафик, относящийся к
одному потоку, может передаваться по разным доступным путям, если качество соответствующих
каналов удовлетворяет запрошенным параметрам QoS. В режиме Broadcast именно балансировки
не происходит – трафик дуплицируется и передаётся в нескольких экземплярах по всем
доступным каналам. Данный режим необходим для работы функции обеспечения
отказоустойчивости (packet duplication).
Для транспортных сервисов P2M и M2M можно выбрать один из двух режимов обучения: «learn
and flood», либо «learn and drop». При работе в режиме «learn and drop» сервис будет отбрасывать
Ethernet кадры, MAC-адрес получателя которых отсутствует в таблице коммутации. Режим «learn
and flood» больше похож на поведение стандартного коммутатора: если адрес получателя
отсутствует в таблице коммутации, то производится «широковещательная» рассылка данного
фрейма, то есть трафик обрабатывается как unknown unicast.
Правила обработки трафика при переполнении мостовой таблицы задаёт опция «Переполнение
MAC-таблицы». Здесь возможны два варианта поведения оборудования: Flood или Drop. В режиме
Flood трафик рассылается «широковещательно», то есть такие фреймы трактуются как unknown
unicast. В режиме Drop система будет отбрасывать соответствующие фреймы.
Для транспортного сервиса P2M уникальна опция «Transport service work mode», позволяющая
сервису работать либо в классическом режиме, либо назначить один из интерфейсов как DFI
(Default Forwarding Interface). Транспортный сервис P2M не будет обучаться на фреймах,
приходящих через этот интерфейс, но при этом все кадры, получатель которых отсутствует в
76
[Subject]
таблице коммутации, будут отправляться через DFI интерфейс. Необходимость в использовании

данной опции может возникнуть в ситуации, когда за DFI интерфейсом расположена огромная L2-
сеть с большим количеством активных хостов. В такой ситуации для уменьшения таблицы
коммутации может быть целесообразным применение DFI интерфейса.
Kaspersky SD-WAN поддерживает балансировку трафика по нескольким путям, причём

распределение трафика может производиться как по путям с одинаковой стоимостью, так и с
разной. По умолчанию является суммой стоимости всех виртуальных каналов, которые входят в
транспортный путь. Можно вручную определить стоимость определенных видов транспортных
путей.
Каждый сегмент может содержать от 2 до 16 транспортных путей. Транспортные пути начинаются

на начальном узле сегмента и заканчиваются на конечном узле сегмента. Требуется указать
максимальное количество транспортных путей, поддерживаемых сегментами, при настройке
контроллера SD-WAN. При необходимости можно изменить максимальное количество
транспортных путей для отдельного сегмента. Всего может быть использовано от 2 до 16 путей
для балансировки. Этот коэффициент определяет, во сколько раз больше может быть стоимость
транспортного пути по сравнению с наилучшим маршрутом, чтобы этот транспортный путь мог
быть добавлен в сегмент. Вы можете ввести значения от 1 до 10.
Для пути определены два типа состояний: административное и фактическое (текущее). Решение
Kaspersky SD-WAN поддерживает следующие типы транспортных путей:
̶ Auto-SPF (Shortest-path forwarding). Контроллер SD-WAN автоматически рассчитывает

наилучший маршрут. Изменять или удалять транспортные пути этого типа не допускается.
̶ Manual-TE (Traffic Engineering). Транспортный путь создаётся вручную. Вам нужно указать
все последовательные виртуальные каналы от начального до конечного узла сегмента.
̶ Auto-TE. Контроллер SD-WAN автоматически рассчитывает основной маршрут с
применением указанных ограничений. Например, одним из таких ограничений может быть
загруженность виртуального канала.
Для отдельного канала можно указать параметры SLA (Service Layer Agreement). Требуется
выбрать созданное ограничение при создании транспортного сервиса, который должен
77
[Subject]
соответствовать SLA. Маршрутизация в рамках созданного транспортного сервиса будет

осуществляться с учетом параметров наложенного ограничения.
Пороговые значения можно указать для следующих параметров функционирования канала:
̶ количество ошибок в секунду;

̶ загрузка в процентах (полоса пропускания должна быть либо измерена, либо указана
вручную);
̶ задержка в мсек;
̶ вариация задержки в мсек;
̶ количество потерянных пакетах в процентах от количества переданных;
̶ факт оплаты при использовании.
Кроме переключения трафика на другой канал при достижении пороговых значений, система
позволяет выбирать конкретный канал для трафика определённых приложений.
78
[Subject]
Последовательность действий должна быть следующей.
̶ Создать правила на основе значений заголовков 2-4 уровней.

̶ Создать фильтры на основе ранее созданных правил.
̶ Выбрать канал, если трафик удовлетворяет созданным фильтрам.
Разделение трафика разных приложений по разным каналам целесообразно, так как у каждого
приложения свои требования к каналам (полоса пропускания, задержка и её вариация, процент
потерянных пакетов).
79
KL 004.2: Kaspersky SD-WAN. 5. Обслуживание
[Subject]
5. Обслуживание
5.1 Zabbix
Для мониторинга CPE используется внешняя система мониторинга Zabbix, которая включает в
себя сервер Zabbix и серверы ZabbixProxy, устанавливаемые в каждом ЦОД (DC). За мониторинг
конкретной CPE отвечает сервер ZabbixProxy, привязанный к ЦОД, где развёрнут сервис SD-WAN,
к которому подключена данная CPE. Для сбора статистики ZabbixProxy использует сеть
управления P2M SD-WAN Management.
Мониторинг осуществляется с помощью агента Zabbix или по протоколу SNMP. Способ

мониторинга выбирается в шаблоне CPE в разделе Monitoring. Там же указывается шаблон Zabbix
(ZabbixTemplate), который необходимо использовать. Данный шаблон должен быть
предварительно создан на сервере Zabbix.
Когда процесс регистрации CPE завершается (CPE подключилась к SD-WAN контроллеру), на

сервере Zabbix создается соответствующий хост для мониторинга. При удалении CPE из CPE
Inventory, удаляется и хост из Zabbix.
Для просмотра данных мониторинга используется закладка “Monitoring” в окне с информацией о

выбранной CPE в CPE inventory.
5.2 Troubleshooting
Процесс поиска неисправностей и их причин часто сравнивают с игрой или искусством: человек
тренируется, зарабатывает опыт, вырабатывает собственный стиль. От раза к разу проверки
80
[Subject]
становятся всё более сложными, нестандартными, изощрёнными. Но что, если до уровня мастера
ещё далеко, а обнаружить и локализовать проблему нужно прямо сейчас? Мы предлагаем
небольшой скрипт, который поможет на начальных этапах знакомства с продуктом. С его помощью
инженер сможет не только найти неисправность, но и глубже понять принципы взаимодействия
основных компонентов решения Kaspersky SD-WAN. Каждый компонент выполнен в виде
отдельного Docker-контейнера.
̶ Проверка работоспособности центральных компонентов решения
o Доступен ли Web интерфейс решения?
o Все ли виртуальные машины/физические серверы работают?
o Настроен и доступен Virtual IP на виртуальных машинах оркестраторов?
o Все ли docker контейнеры запущены и не пытаются перезапускаться? -
̶ Проверка работоспособности кластера контроллеров
o Все ли виртуальные машины/физические серверы работают (при расположении CTL

на выделенных ВМ)?
o Запущенны ли docker контейнеры контроллеров?
̶ Проверка правильности настройки CPE и GW
o Правильно ли настроены сетевые интерфейсы CPE?
o Правильно ли указаны Global SD-WAN Settings?
o Правильно ли настроены интерфейсы SD-WAN (tracking IP)?
̶ Проверка наличия сетевой связности между CPE, GW и центральными компонентами

решения
o Доступен ли Оркестратор от CPE?
o Доступны ли все контроллеры от CPE?
o Доступны ли по ICMP Management адреса, назначенные на CPE или GW?
Рассмотрим каждый из пунктов подробнее.
81
[Subject]
Проверка работоспособности центральных компонентов решения
Сообщение о недоступности сайта (или подобное) по адресу оркестратора может означать

неработоспособность www контейнера (frontend), либо виртуальной машины самого оркестратора.
Требуется убедиться в доступности и правильной настройке соответствующих Docker-
контейнеров.
82
[Subject]
На слайде выше представлен пример, когда www контейнер доступен и работает, а проблема
находится где-то ещё. В такой ситуации браузер отобразит страничку, выдаваемую веб-сервером
NGINX, установленным в контейнере www.
Одним из индикаторов возникновения проблемы может стать регулярный перезапуск контейнера

Docker. С помощью команды “docker ps” можно получить список работающих контейнеров с
информацией о параметрах их запуска и работы.
На представленном слайде контейнеры работают стабильно, не перезапускаются.
83
[Subject]
На слайде выше представлен пример Docker-хоста, на котором один из процессов был только что
перезагружен, что потенциально может указывать на проблему.
Проверка работоспособности кластера контроллеров

Если указанные выше проверки были успешно пройдены, на следующем шаге необходимо
проверить доступность кластера контроллеров SD-WAN.
Для обеспечения отказоустойчивости и распределения нагрузки решение Kaspersky SD-WAN

может использовать не один контроллер, но кластер из нескольких. Допускается использование
одного, трёх или пяти контроллеров. При поиске неисправностей необходимо проверить текущие
настройки кластера: убедиться, что совпадает количество задействованных контроллеров,
проверить их адреса и порты, а также удостовериться, что тип подключения выбран правильно.
Также нужно убедиться в наличии сетевой связности между ключевыми компонентами решения
SD-WAN.
84
[Subject]
Если настройки кластера контроллеров в самой системе выполнены правильно, то далее нужно
проверить наличие виртуальных машин или docker-контейнеров, на которых развёрнуты
контроллеры SD-WAN. Важно также убедиться в том, что все нужные порты проброшены до
контейнера, а сам контейнер контроллера запущен с корректными параметрами.
Проверка правильности настройки CPE и GW
85
[Subject]
Наиболее частыми ошибками конфигурирования, из-за которых возникают проблемы, являются

неправильное указание IP-адреса или имени оркестратора в шаблоне CPE, а также ошибочный
выбор транспорта Openflow. Доступно два Openflow транспорта: TCP и SSL.
Проверка работоспособности WAN-подключения, проходящего через одного из провайдеров,

выполняется с помощью трекинга IP-адреса, который задаётся в шаблоне настроек CPE. Если
адрес доступен, то провайдер и соответствующий интерфейс (sdwan0 или sdwan1) считаются
работающими корректно.
Проверка наличия сетевой связности между CPE, GW и центральными

компонентами решения
При помощи пункта CPE Inventory можно выяснить, какие CPE устройства смогли успешно
зарегистрироваться, а при регистрации каких CPE возникли ошибки.
86
[Subject]
Наличие необработанных сервисных запросов в очереди в течение длительного времени

указывает на наличие проблем коммуникации между компонентами.
87
[Subject]
Для каждого выполнившегося или не выполнившегося сервисного запроса доступна детальная

информация, содержащая сведения о подзадачах и их статусах. Это отличный механизм для
поиска неисправностей, так как содержит большое количество служебной информации.
По каждому действию внутри сервисного запроса можно получить дополнительную подробную

информацию.
88
[Subject]
Проверить статус подключения CPE можно не только с помощью контроллера, но и

подключившись к командной строке самого устройства. Команда “ovs-vsctl show” отображает
информацию о регистрации CPE. На слайде ниже представлен вывод команды “ovs-vsctl show”,
когда настройки контроллера отсутствуют полностью.
Другая вероятная ситуация: настройки, необходимые для подключения к контроллеру,

присутствуют, но содержат ошибку. Так, например, на слайде ниже представлен вывод команды
“ovs-vsctl show”, когда настройки транспорта некорректны. В данном примере CPE
89
[Subject]
сконфигурирована на использование шифрованного SSL-подключения, тогда как ожидается

использование подключения без шифрования.
После того, как проблема была обнаружена и исправлена, CPE устройство смогло успешно
подключиться к контроллеру. Обратите внимание, теперь используется обычное TCP-соединение
без шифрования.
Базовая информация о состоянии всех важных компонентов отображается в системе мониторинга

на сервере Zabbix. При необходимости эта информация может быть доступна снаружи системы
90
[Subject]
Kaspersky SD-WAN, например, на стороннем Zabbix-сервере, где может быть настроена отправка
уведомлений о возникновении критических инцидентов на сети.
Веб-интерфейс оркестратора Kaspersky SD-WAN содержит встроенную индикаторную панель

(dashboard), на которой представлена краткая информация о состоянии компонентов решения.
Данная панель может стать отличной отправной точкой для начала процедуры поиска и
устранения неисправностей, так как позволяет быстро обнаружить и локализовать возникшую
проблему.
91

KL 004.2 ST Guide Ru v1.0

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

KL 004.2 ST Guide Ru v1.0

Загружено:

Авторское право:

Доступные форматы

KL 004.2: Kaspersky SD-WAN.

2. Подготовка к внедрению ................................................................................................25

Проверка правильности настройки CPE и GW .......................................................................85

BFD Bidirectional Forwarding Detection

BGP Border Gateway Protocol

CAPEX Capital Expenditure

CPE Customer Premise Equipment

DFI Default Forwarding Interface

DHCP Dynamic Host Configuration Protocol

DPI Deep Packet Inspection

DTLS Datagram Transport Layer Security

ECMP Equal Cost Multi-Path

FEC Forwarding Error Correction

FQDN Fully Qualified Domain Name

FSM Finite-State Machine

GBR Guaranteed Bit Rate

ISP Internet Service Provider

IoT Internet of Things

KESR Kaspersky Edge Service Router

MBR Maximum Bit Rate

MEF a non-profit industry forum of network, cloud & technology providers

M2M Multipoint-to-multipoint (E-LAN)

OPEX Operational Expenditure

P2P Point-to-Point (E-line)

P2M Point-to-Multipoint (E-tree)

PBB Provider Backbone Bridging (IEEE 802.1ah)

PNF Physical Network Function

QinQ Provider Bridging/Stacked VLANs (IEEE 802.1ad)

RBAC Role Based Access Control

SDN Software-Defined Networks

SD-WAN Software-Defined Wide Area Networks

SFP Small-Formfactor Pluggable

SPF Shortest-Path Forwarding

SSL Secure Socket Layer

TCP Transmission Control Protocol

TLS Transport Layer Security

VID VLAN Identifier

VIM Virtual Infrastructure Manager

VNF Virtual Network Function

VPN Virtual Private Network

VRRP Virtual Router Redundancy Protocol

UDP User Datagram Protocol

WAN Wide Area Network

ZTP Zero-touch provisioning

1.1 Что такое SD-WAN?

Использование программно-определяемых сетей позволяет повысить качество и безопасность

̶ поддерживать нескольких типов подключений к WAN;

̶ объединять в себе компоненты SDN и WAN;

Для традиционных сетей характерны следующие недостатки:

1.2 Какие задачи помогает решить

Решение Kaspersky SD-WAN позволяет решать следующие задачи:

̶ интеллектуальное управление трафиком;

Интеллектуальное управление трафиком

Kaspersky SD-WAN позволяет не только определить, каким приложениям принадлежат данные,

Встроенные механизмы позволяют защититься от возникающих проблем в каналах, а также

Снижение времени на управление оборудованием

Kaspersky SD-WAN предоставляет улучшенную видимость прикладного трафика, использования

администратором на настройку оборудования, необходимую, чтобы обеспечивать и поддерживать

Криптографически стойкое шифрование (Chacha Poly) и контроль доступа позволяют защитить

Ручное внесение изменений в конфигурацию большого количества устройств может приводить к

К преимуществам решения Kaspersky SD-WAN относятся:

̶ снижение стоимости внедрения и эксплуатации WAN-сетей;

Kaspersky SD-WAN позволяет экономить не только на инженерных ресурсах, но также на