Вы находитесь на странице: 1из 44

Cisco ACI: планирование, внедрение и

эксплуатация глазами сетевого инженера


Скороходов Александр
Системный инженер-консультант
askorokh@cisco.com

23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.


Cisco ACI с точки зрения сетевого инженера
Сеть ACI как распределённый коммутатор
Контроллер

Spine FC
Spine
1
FC
Spine
2
FC
Spine
3
FC
Spine
4
FC
Spine
5
Nodes
Аналогия: Nexus 7000

•  Супервизор: управление
•  Фабрики: коммутация
•  Линейные карты:
применение политик
LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf LC
Leaf
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Leaf Nodes
Использование фабрики как единого коммутатора
С чего можно начать?
Минимальная конфигурация инфраструктуры ACI
Nexus 9336 Nexus 9336
(“mini-spine”) (“mini-spine”)

40G кабели

Nexus 9372PX-E/TX-E Nexus 9372PX-E/TX-E

! !

10G (кабели или витая пара)

Кластер APIC (3 контроллера)


Что представляет собой ACI?
С позиции «сетевика»

•  Внутри – модель распределённого шасси/коммутатора


•  Поддержка распределённой коммутации L2 и L3
•  Снаружи – традиционные подключения, адресация, логика передачи
•  Возможность использования традиционных подходов...
•  VLAN = Bridge Domain = subnet = EPG, VRF = Tenant
•  …или их сочетания с политиками, не привязанными к сетевой номенлатуре
•  Гладкая интеграция подключений виртуальных машин
•  Возможность программирования/автоматизации через единую точку (APIC)
•  Сеть остаётся сетью – правила передачи данных никуда не исчезают,
сетевые инженеры по-прежнему нужны J

5
Базовые правила понимания ACI
С позиции «сетевика»
•  Аналоги базовых понятий традиционного сетевого мира в среде ACI
•  VLAN (как домен L2 коммутации) = Bridge Domain
•  VLAN (802.1Q тег) = encapsulation VLAN (локальна для порта)
•  VLAN интерфейс (L3) = subnet
•  VRF = Private network = «контекст» (не зависит от Tenant)
•  “Allowed VLANs” = AAEP (с поправкой на локальное значение VLAN тега)
•  Port profile = policy group
•  Access Control List = Contract
•  Access Control Entry = Subject
•  L3 аплинки = L3Out
•  L2 аплинки = L2Out
•  VPC = VPC ;)
•  Передача и применение политик (в целом) независимы:
•  Путь/достижимость определяют L2/L3 адреса/BD/подсети/контексты
•  «Судьбу» пакета определяют EPG/фильтры/контракты
6 •  Исключение – сервисные цепочки
Логическая модель:
сетевые конструкции и арендаторы (Tenant)
root\uni

Арендатор A Арендатор B

L3 сегмент A L3 сегмент B L3 сегмент B

Bridge Bridge Bridge Bridge


Domain Domain Domain Domain
Подсеть A Подсеть C Подсеть C Подсеть D
Подсеть B

VRF и подсети независимы от организаций/арендаторов


Application Policy Infrastructure Controller
Централизованная автоматизация и управление фабрикой

•  Единая точка управления политиками в Сервисы 4..7


Управление Управление Оркестрация
системами СХД
сети ЦОД:
•  Профили приложений
•  Интеграция с сервисами L4-L7
•  Открытая модель данных для управления при
помощи внешних средств оркестрации Открытый
RESTful API
•  Мониторинг приложений, поиск и устранение
неисправностей фабрики Storage SME Server SME Network SME
APIC
•  Накопление статистики/телеметрии
•  Управление образами ПО коммутаторов Управление при помощи
политик Security SME App. SME OS SME
•  Не принимает непосредственное
участие в передаче данных
•  Не занимается детальной настройкой
•  Кластеризация для масштабирования и
доступности (от 3 до 5 и более узлов)
Масштабируемая эксплуатация фабрики
Обнаружение, инициализация, управление

Loopback и VTEP IP адреса


Обнаружение топологии с выделяются с “Infra VRF” по DHCP с
использованием LLDP APIC

APIC кластер
APIC APIC APIC

ACI фабрика: масштабируемое централизованное управление с помощью APIC


•  Обнаружение, адресация и инициализация фабрики
•  Управление образами ПО
•  Проверка корректности и отображение топологии

9
NXOS-CLI для ACI Скоро!

•  NX-OS подобный CLI интерфейс


для настройки ACI
•  Снова есть “show run”!
•  Снова есть “сonf t”!
•  Насколько возможно,
ориентирован на сетевые термины
•  Пример: настройка BD и подсети
на нём
•  Почти полный паритет с APIC GUI
– более 1000 команд!
•  Использование того же REST API –
нет риска «рассинронизации»,
протоколирование всех действий

10
Упрощённый (basic) режим ACI GUI Скоро!

•  Упрощение настройки ACI


средствами APIC GUI
•  Упрощение создания профилей
приложений
•  Сокращение числа полей,
показываемых по умолчанию
•  Опора на drag-and-drop для EPG,
контрактов, VMM доменов,
внешних подключений...
•  Упрощение настройки физических
интерфейсов и VPC
•  Возможность переключения между
базовым и расширенным режимом

11
Принципы фукционирования фабрики Cisco ACI
Принцип передачи в ACI фабрике
Интегрированные оверлеи

APIC

VTEP VXLAN IP Payload

VTEP VTEP VTEP VTEP VTEP VTEP

•  ACI фабрика базируется на IP сети, обеспечивающей маршрутизацию между элементами


фабрики и интегрированных оверлеях для маршрутизации/коммутации между хостами
фабрики
‒  весь трафик между конечными хостами внутри фабрики передается при помощи оверлеев
•  Почему интегрированные оверлеи?
‒  Мобильность, масштабируемость, поддержка multi-tenancy и интеграция с гипервизорами
‒  Вместе с трафиком можно передавать мета-данные для реализации распределенных политик
Таблица отображения фабрики
Inline Hardware Mapping DB - 1,000,000+ хостов
10.1.3.35 Leaf 3
10.1.3.11 Leaf 1
fe80::8e5e Leaf 4
Global Station Table –локальный Proxy Proxy Proxy Proxy
fe80::5b1a Leaf 6
кэш записей для
подключенных к фабрике
хостов

10.1.3.35 Leaf 3

Proxy Station Table –адреса «всех» хостов,


Proxy
* подключенных к фабрике

10.1.3.11 Port 9

10.1.3.11 10.1.3.35 fe80::462a:60ff:fef7:8e5e fe80::62c5:47ff:fe0a:5b1a


Local Station Table – адреса
“всех” конечных хостов, •  Таблица отображения на коммутаторе Leaf делится между локальными и глобальными
которые подключены
напрямую к Leaf коммутатору
записями
•  Глобальная таблица на коммутаторе Leaf кеширует часть полной глобальной таблицы,
которая содержится на каждом коммутаторе Spine
•  Если адрес конечного хоста не найден в локальном кэше, то (по умолчанию) пакет
передается на коммутатор Spine (до 1,000,000+ записей в таблице отображения
коммутатора Spine)
ACI фабрика
Нормализация инкапсуляции

IP фабрика
использует
APIC
eVXLAN тег

Нормализация
инкапсуляции

Any to Any
VTEP eVXLAN IP Данные

Локализация VXLAN 802.1Q VXLAN NVGRE Eth


инкапсуляции VNID = 5789 VLAN 50 VNID = 11348 VSID = 7456 MAC
Данные

Eth
Данные
IP

802.1Q IP Данные
•  Весь трафик инкапсулируется при помощи заголовка extended VXLAN (eVXLAN)
•  Внешний тег VLAN, VXLAN, NVGRE (планируется) на входящем порту Outer
NVGRE IP Данные
IP
отображается во внутренний eVXLAN тег
Outer Eth
•  Внешние идентификаторы локальны на уровне Leaf устройства или Leaf порта IP
VXLAN
IP
Данные

•  Возможность переиспользования, если требуется


Нормализация входящей инкапсуляции
Передача данных независимо от расположения
На 2-м и 3-м уровне

APIC APIC

10.1.3.11 10.6.3.2 10.1.3.35


10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35 10.1.1.10

Распределенный шлюз по умолчанию Направленная передача ARP

•  ACI фабрика поддерживает семантику 2-го и 3-го уровня


-  никаких изменений в приложении не требуется
•  ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня
‒  SVI распределён по всем узлам где требуется, обеспечивая маршрутизацию
‒  Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения
•  IP ARP и GARP пакеты передаются напрямую узлу назначения без
широковещательной рассылки
Передача пакетов в ACI фабрике
Если входящий Leaf коммутатор не имеет записи в кеше о соответствии IP назначения адресу
VTEP, то пакет пересылается на spine-коммутатор на адрес anycast VTEP, где на уровне ASIC
4b происходит HW lookup и переписывается адрес VTEP назначения. Дополнительной задержки или VTEP eVXLAN IP Payload
снижения производительности при этом не происходит.
APIC
Если входящий Leaf коммутатор уже выучил
соответствие IP адреса хоста назначения и адреса VTEP
VTEP, то в качестве адреса назначения для eVXLAN
4a туннеля выбирается известный VTEP адрес и
пакет передается напрямую на исходящий Leaf
коммутатор

VTEP eVXLAN IP Payload 5


VTEP eVXLAN IP Payload
Исходящий Leaf коммутатор производит
3 Коммутатор Leaf заменяет замену eVXLAN заголовка на требуемую
заголовок VXLAN на eVXLAN и инкапсуляцию и применяет политику
применяет политику VTEP
VTEP

GRE IP VLAN IP Payload


VTEP VXLAN IP Payload

2 vSwitch инкапсулирует пакет и Коммутатор Leaf передает пакет 6


передает его в сторону Leaf VTEP vSwitch (VMWare) vSwitch-у или физическому серверу
vSwitch (MSFT)

IP Payload IP Payload
7
VM, подключенная к Ingress Port Group Пакет передается на порт vSwitch
1
или физический сервер формируют
пакет
Реализация политик в ACI фабрике
Если коммутатору Leaf известен Если политика приложения требует передачу пакета через сервисное устройство
5 или цепочку таких устройств, то фабрика в качестве VTEP узла назначения
исходящий EPG который
ассоциирован с узлом назначения, то указывает адрес коммутатора, в которому подключено сервисное устройство
4 он реализует политику устанавливая в
соответствующее значение бит в
6
заголовке eVXLAN, показывающий, что
входящая политика была применена к Исходящий Leaf коммутатор
пакету проверяет был ли установлен policy
флаг в заголовке eVXLAN и если
SRC требуется применяет политику
VTEP Flags VNID Payload
Group
SRC
VTEP Flags VNID Payload
3 На основе классификации Group
коммутатор Leaf формирует
значение поля Source Group в
eVXLAN заголовке
Пакет идентифицируется как принадлежащий
2 определенной end point group (EPG) на GRE IP VLAN IP Payload
основе входящей классификации (port group,
физический порт, IP адрес, VLAN) 7
vSwitch (VMWare) Коммутатор Leaf пересылает
vSwitch (MSFT)
пакет vSwitch-у или
vSwitch инкапсулирует пакеты, подключенному напрямую
1 физическому серверу.
ассоциированные с EPG при
помощи назначенного VLAN/
VXLAN идентификатора
vPC в ACI фабрике
•  ACI обепечивает распределённый port-
channel (VPC) к двум коммутаторам доступа,
Traffic within the Fabric is sent to
the vPC anycast address аналогично Nexus в автономном режиме
•  Отличия:
vPC Anycast vPC Anycast
VTEP VTEP •  Не нужен peer-link
•  Синхронизация между коммутаторами
VTEP VTEP через фабрику
•  «Обходной» трафик – также через
фабрику
•  Для достижимости хостов за VPC через
фабрику используется Anycast адрес,
доступный через оба коммутатора
Host or Switch •  Логика для хостов с одиночным
подключением не меняется

19
Балансировка внутри ACI фабрики
Flowlet Switching

•  Flowlet switching* обеспечивает


независимую передачу “порций”
пакетов принадлежащих одному
потоку по разным аплинкам
•  Без изменения порядка
d1 d2 передаваемых пакетов

TCP
H1 поток H2
Gap ≥ |d1 – d2|
*Flowlet Switching (Kandula et al ’04)
Балансировка внутри ACI фабрики
Dynamic Flow Prioritization
Реальный трафик представляет собой
микс больших (elephant) и
малых (mice) потоков.
F1

F2

Standard High
F3 Priority Priority
Ключевая идея: Стандартный режим Dynamic Flow Prioritization:
Фабрика обнаруживает первые (один приоритет): фабрика автоматически
несколько “порций” (flowlets) Потоки больших размеров приоритезирует потоки
влияют на малого размера
каждого потока данных и
производительность
помещает их в приоритетную небольших потоков
очередь (задержка и потери).
Подходы к внедрению ACI
Варианты миграции на решение Cisco ACI
Сценарий № 1 – добавление нового модуля в ЦОД
23 23.11.15 © 2013 Cisco and/or its affiliates. All rights reserved.
Добавление нового POD в ЦОД

Существующая Новый POD


инфраструктура
Добавление нового POD в ЦОД при помощи ACI

Существующая Новый POD


инфраструктура
Логическое подключение нового ACI Pod
BGP
OSPF
VLAN
VxLAN

Существующая Новый POD


инфраструктура

ACI: замена уровней распределения+доступа – или только распределения!


Варианты миграции на решение Cisco ACI
Сценарий № 2 – расширение уровня доступа
Расширение уровня доступа

Дополнительные ToR
Существующая
коммутаторы для
инфраструктура
поддержки новых
серверных подключений

VLAN 10 VLAN 20 VLAN 30


Расширение уровня доступа при помощи ACI

Layer 2
соединения Бандл ACI начального
уровня, подключенный к
Существующая коммутаторам агрегации
инфраструктура

VLAN 10 VLAN 20 New Server Group

ACI : замена уровня доступа – с миграцией на функции доступа +распределения


Сценарий № 2 – пример миграции
Отображение логических компонент
приложения на единую сеть

P P
Web Tier App Tier DB Tier
EPG EPG EPG
Миграция шлюза по умолчанию на оборудование
ACI для реализации политик
802.1q Trunk
для VLAN 10 и
20
Миграция SVI
интерфейсов на на ACI
SVI 10.10.10.1 фабрику для реализации
SVI 10.10.20.1
политик

Web Tier App Tier


EPG (VLAN 10) EPG (VLAN 20) DB Tier
10.10.10.1 Gateway 10.10.20.1 Gateway EPG
Идентификация групп подключений (EPG)
Идентификация на
основе адреса подсети

P P P
Web Tier App Tier DB Tier
EPG EPG EPG

Идентификация на Идентификация на Идентификация на основе:


основе 802.1q VLAN тега основе 802.1q VLAN тега •  802.1q VLAN тега
•  Физического порта
•  Виртуального порта
•  VxLAN тега
Интеграция с существующими L4-7 сервисами

МСЭ 1
Развертывание
Device package
и политики

P
P P
Web Tier App Tier DB Tier
Подключение МСЭ к ACI фабрике – оптимизация

Firewall 1
Политика может внедряться постепенно
External Networks Application
(Outside) Client
Subnet Subnet
Redirect to Pre- 10.40.40.0/24 10.50.50.0/24
Redirect to Pre-
configured FW
configured FW
Subnet Subnet Subnet
10.10.10.0/24 10.20.20.0/24 10.30.30.0/24

Critical Users Default Users Permit TCP any


(Outside) (Outside) Subnet any Subnet
Redirect to Pre- 10.20.20.0/24 10.30.30.0/24
configured FW
Subnet
Redirect to 10.10.10.0/24 NFS NFS Contract
Servers
dynamically Redirect to dynamically
configured FW configured FW
Web Middle Ware DB Contract Oracle
Servers Servers
Варианты миграции на решение Cisco ACI
Сценарий № 3 – реализация сервисов ЦОД на базе ACI
ACI как «сервисное шасси»

L3 OSPF
BGP

L2 VLAN
802.1Q
МСЭ 1 МСЭ 1

L2
L3
40G ACI
Внедрение сервисного блока с использованием ACI
Поддержка
•  Установка сервисного
существующих и
блока ACI Backbone Directory/Proxy новых сервисов 4-7
•  Протянуть VLAN == EPG Service Nodes уровня
из существующей сети в
сервисный модуль ACI
•  Использование
существующих L4-7
сервисных узлов или
использование новых
сервисов, которые будут Border APIC Policy
полностью Leaves Controller
автоматизированы при
помощи APIC
•  Миграция шлюза по
умолчанию на сервисный
модуль ACI vSwitch vSwitch vSwitch
•  Управление сервисами
через APIC с
сохранением текущей
схемы коммутации
Варианты миграции на решение Cisco ACI
Сценарий № 4 – интеграция с доменами виртуализации
Интеграция с доменами виртуализации
Backbone Directory/Proxy
•  APIC интегрируется с Service Nodes
существующими
доменами VMM (ESX
vCenter FCS, Microsoft
SCVMM и Azure Pack,
OVS/KVM)
•  Используется исходный
vSwitch производителя Border APIC Policy
или устанавливается Leaves Controller
Cisco Application Virtual
Switch
Интеграция
•  Существующие или
коммутаторов
новые L4-L7 сервисы
встроенных в
могут быть vSwitch AVS AVS OVS
Hyper-V гипервизор в политику
использованы ACI для
APIC и домен
настройки цепочек
автоматизации
сервисов
(Extended VLAN или
VXLAN overlay)
В заключение
•  Материалы на сайте Cisco:
•  «Cisco Application Centric Infrastructure
Fundamentals»
•  «Operating Cisco Application Centric Infrastructure»
•  «Troubleshooting Cisco Application Centric
Infrastructure»

•  Книга на русском языке – только что


выпущена. Автор и тираж на конференции!

•  Заинтересовались? Вопросы? Хотите демо?


Обращайтесь на aci-russia@cisco.com
Ждем ваших сообщений с хештегом
#CiscoConnectRu

Спасибо
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Contacts:

Name Александр Скороходов


Phone +7(495)789-8615
E-mail askorokh@cisco.com

CiscoRu Cisco CiscoRussia CiscoRu


© 2015 Cisco and/or its affiliates. All rights reserved.