Вы находитесь на странице: 1из 62

Обзор коммутаторов Cisco для

построения ЦОД - Nexus 7K и 9K

Максим Порицкий

инженер по направлению Сisco, ССIE R&S

m.poritsky@elcoregroup.com

март 2015

© 2014-2015 Elcore | Elko.by. All rights reserved. 1


 Продолжительность: 1 час
 Аудитория: менеджеры по продажам, инженеры по продажам, IT-
архитекторы, инженеры заказчиков
 Уровень сложности: базовый-средний
 Цель: ознакомимся с портфолио коммутаторов Cisco Nexus (7K, 9K)
для построения ЦОД, их программно-аппаратными
характеристиками, функционалом и позиционированием

© 2014-2015 Elcore | Elko.by. All rights reserved. 2


Содержание

 Коммутаторы Nexus 7K
 Коммутаторы Nexus 9K

© 2014-2015 Elcore | Elko.by. All rights reserved. 3


Портфолио Nexus 7K

© 2014-2015 Elcore | Elko.by. All rights reserved. 4


Nexus 7K
основные характеристики

 Высокопроизводительные, модульные коммутаторы для ядра/агрегации ЦОД


(совмещенного ядра ЦОД и ядра LAN-кампуса)
 Модульная NX-ОS
 Резервирование всех основных компонент (Sup, коммутационные фабрики,
БП, вентиляторы, при необходимости линейные карты)
 Высокоплотное подключение 1/10/40/100 Гбит/c
 Распределенная коммутация (на каждой карте forwarding engines + локальная
фабрика)
 Пассивная mid-plane архитектура – подключение фабрик и линейных карт
 Межмодульная коммутация через crossbar fabric ASICs на картах и фабрике
 Поддерживает FEX (N2K)

© 2014-2015 Elcore | Elko.by. All rights reserved. 5


Шасси Nexus 7K

© 2014-2015 Elcore | Elko.by. All rights reserved. 6


Nexus 7018 – комплектация шасси
Вид спереди Вид сзади
2 вентиляторных
модуля
с вентиляторами
(переменная скорость)

2 x Sup

5 x коммутационных
фабрик

16 слотов для линейных


карт

4 x БП
AC или DC

* optional door
© 2014-2015 Elcore | Elko.by. All rights reserved. 7
Nexus 7010 – комплектация шасси
Вид спереди Вид сзади

2+2 вентиляторных
модуля (Sup+linecard;
Fabric)
с вентиляторами
(переменная скорость)

8 слотов для линейных


карт

2 x Sup

5 x коммутационных
фабрик

3 x БП
AC или DC

* optional door and air filter


© 2014-2015 Elcore | Elko.by. All rights reserved. 8
Nexus 7009 – комплектация шасси

Вид спереди Вид сзади

2 x Sup

7 слотов для линейных


карт

5 x коммутационных
фабрик

1 вентиляторный модуль
с вентиляторами
(переменная скорость)

2 x БП
AC или DC
* optional door
© 2014-2015 Elcore | Elko.by. All rights reserved. 9
Nexus 7004 – комплектация шасси
• Нет коммутационных фабрик
• Backplane дизайн

Вид спереди Вид сзади


1 вентиляторный модуль
с вентиляторами
(переменная скорость)

2 x Sup

2 слота для линейных


карт

4 x БП
AC или DC
* optional door and air filter
© 2014-2015 Elcore | Elko.by. All rights reserved. 10
Nexus 7718 – комплектация шасси
Вид спереди Вид сзади
16 слотов для линейных
карт
6 x коммутационных
фабрик
(за вентиляторами)

2 x Sup

3 x вентиляторных
модуля
с вентиляторами
(переменная скорость)

16 x БП (3kW)
AC или DC
* optional door and air filter
© 2014-2015 Elcore | Elko.by. All rights reserved. 11
Nexus 7710 – комплектация шасси

Вид спереди Вид сзади


8 слотов для линейных
карт
6 x коммутационных
фабрик
(за вентиляторами)

2 x Sup

3 x вентиляторных
модуля
с вентиляторами
(переменная скорость)

8 x БП (3kW)
AC или DC * optional door and air filter
© 2014-2015 Elcore | Elko.by. All rights reserved. 12
Nexus 7706 – комплектация шасси
Вид спереди

6 x коммутационных фабрик 4 слотов для линейных


(за вентиляторами) карт
Расположены сзади

2 x Sup
3 x вентиляторных модуля
с вентиляторами (переменная
скорость)
Расположены сзади
4 x БП (3kW)
AC или DC

* optional door and air filter


© 2014-2015 Elcore | Elko.by. All rights reserved. 13
Nexus 7702 – комплектация шасси

Вид спереди
1 слот для линейной
карты 1 x вентиляторный модуль
с 3 вентиляторами
(переменная скорость)
Расположен сзади

2 x БП (3kW)
1 x Sup
AC или DC

* optional door and air filter


© 2014-2015 Elcore | Elko.by. All rights reserved. 14
Nexus 7000/7700
процессорные модули – основные функции

 Обеспечивает control plane и management функции


 Active/Standby – SSO/NSF, ISSU
 В шасси должны устанавливаться Sup одинакового типа
 Управляющие резервируемые каналы к фабрикам и линейным картам
 Централизованный арбитраж, регулирующий коммутацию через фабрику
 Приоритезация процессорных ресурсов (времени) VDC (CPU Shares)
 Поддержка FCoE на картах F2E

© 2014-2015 Elcore | Elko.by. All rights reserved. 15


Nexus 7000
процессорные модули
Supervisor 2E (Enhanced ) Supervisor 2
CPU 2 x CPU 2.13GHz (4 ядра) 1 x CPU 2.13GHz (4 ядра)
Memory (GB) 32 12
Flash memory (bootflash) 2GB, Embedded USB 2GB, Embedded USB
USB Log Flash 8GB, USB 8GB, USB
FCoE on F2E module Yes Yes
Разделение CPU между VDC Yes Yes
VDC 8+1 admin VDC 4+1 admin VDC
FEX 64 FEX / 3072 ports 32 FEX / 1536 ports

Management
USB v2
Ethernet
N7K-SUP2/N7K-SUP2E

Консоль USB Log Flash, USB v2, 8G USB Expansion Flash, USB v2, 2G (N7K-USB-2GB=)

© 2014-2015 Elcore | Elko.by. All rights reserved. 16


Nexus 7700
процессорный модуль
Supervisor 2E (Enhanced )
CPU 2 x CPU 2.13GHz (4 ядра)
Memory (GB) 32
Flash memory (bootflash) 4GB, Embedded USB
Flash log 16GB, Embedded USB
FCoE on F2E module Yes
Разделение CPU между VDC Yes
VDC 8+1 admin VDC
FEX 64 FEX / 3072 ports

Management Ethernet Консоль USB порты N77-SUP2E

N77-USB-2GB=

© 2014-2015 Elcore | Elko.by. All rights reserved. 17


Nexus 7000
коммутационная фабрика
Supported I/O Per-fabric module Total bandwidth with
Fabric Module Supported Chassis
Modules bandwidth 5 fabric modules
Fabric 2 7009 / 7010 / 7018 All 110Gbps per slot 550Gbps per slot

 Выполняет функции центрального коммутационного элемента между трафиком


линейных карт
 От каждой фабрики 2 канала по 55G = 110G на слот

 Максимально 5 x фабрик = 550Gbps на слот

 Все фабрики активны и передают трафик N7K-C7009-FAB-2=

 Поддерживается замена в горячем режиме

 В зависимости от типа I/O – получает соответствующую BW

N7K-C7010-FAB-2= N7K-C7018-FAB-2=

© 2014-2015 Elcore | Elko.by. All rights reserved. 18


Nexus 7000
многоуровневая коммутационная фабрика
 Элемент 1 и 3 на I/O модулях - для локальной коммутации (local Fabric 2 ASIC)
 Элемент 2 – коммутационная фабрика - для коммутации между I/O
 Доступ к фабрике регламентируется централизованным арбитражем на основе
кредитов (на Sup) с использованием буферизации, очередей, функционала QoS

2nd stage 1
Fabric ASIC
2
Fabric ASIC
3
Fabric ASIC
4
Fabric ASIC
5
Fabric ASIC Fabric Modules

2 x 55Gbps канала (110G)


между слотом I/O и
фабрикой До 550Gbps
per I/O module with 5
Fabric ASIC Fabric ASIC
fabric modules

1st stage 3rd stage


Ingress Egress
Module Module

© 2014-2015 Elcore | Elko.by. All rights reserved. 19


Nexus 7004
 Nexus 7004 не имеет выделенных модулей коммутационной фабрики
 I/O модули имеют локальную фабрику с10 fabric channels
 I/O modules подключаются “back-to-back” через 8 fabric channels
 2 fabric channels для подключения к Sup
 Доступная inter-module BW зависит от подключаемых I/O

Sup Module 1 Crossbar Crossbar Sup Module 2 Sup Module 1 Crossbar Crossbar Sup Module 2
ASIC ASIC ASIC ASIC

2 * 23G 2 * 55G
M1 Modules fabric channels F2E/M2 Modules fabric channels

M1 M1 F2E/M2 F2E/M2
Fabric 1 Fabric 1 Module 3 Fabric 2 Fabric 2 Module 4
Module 3 Module 4
Crossbar Crossbar Crossbar Crossbar
ASIC ASIC ASIC ASIC

8 * 23G local fabric channels 8 * 55G local fabric channels


interconnect I/O modules (184G) interconnect I/O modules (440G)

© 2014-2015 Elcore | Elko.by. All rights reserved. 20


Nexus 7700
коммутационная фабрика
Supported Per-fabric module Total bandwidth with 6
Fabric Module Supported Chassis
I/O Modules bandwidth fabric modules
Fabric 2 7706 / 7710 / 7718 All 220Gbps per slot 1.32Tbps per slot

 Функционал аналогичный Nexus 7000 Fabric 2 N77-C7710-FAB-2=

 Архитектура фабрики аналогичная Nexus 7000 Fabric 2


N77-C7706-FAB-2=
 От каждой фабрики 4 канала по 55G = 220Gbps на слот

 Максимально 6 x фабрик = 1.32Tbps на слот

 Все фабрики активны и передают трафик

 Поддерживается замена в горячем режиме

 В зависимости от типа I/O – получает соответствующую BW

N77-C7718-FAB-2=

© 2014-2015 Elcore | Elko.by. All rights reserved. 21


Портфолио линейных карт

M2 XL
M1 XL Набор ASIC-ов
Набор ASIC-ов 2x forwarding engines
XL Table Sizes (MAC, IP route, ACL, Netflow) XL Table Sizes (MAC, IP route, ACL, Netflow)
L2/L3 - 1/10G L2/L3 - 10/40/100G
46/80G to Fabric 240G to Fabric

F2e F3
System-on-Chip (SoC)
System-on-Chip (SoC)
L2/L3 - 10G
L2/L3 - 10/40/100G
480G to Fabric
480G – 1200G to Fabric

© 2014-2015 Elcore | Elko.by. All rights reserved. 22


Линейные карты – распределенная коммутация

 Distributed architecture, with the forwarding engine integrated into each module

 Forwarding engine also delivers ACL filtering, marking, rate limiting, and NetFlow
with no degradation of performance

 Forwarding engine buffer data in virtual output queues (VOQs) before the data
flows to the fabric. The data flow is controlled by a central arbiter on the supervisor
module, using a credit-based buffer design. This architecture offers a lossless
fabric that delivers quality of service (QoS) and fairness across all ports, even
during congestion

© 2014-2015 Elcore | Elko.by. All rights reserved. 23


M1 XL / M2 XL линейные карты – режимы работы

Item Non-XL Mode XL Mode


MAC entries 128K 128K
IPv4 routes 128K Up to 1M
IPv6 routes 64K Up to 350K
NetFlow entries 512K 512K
ACL 64K 128K

Optional Scalable Feature license, the modules can operate in enhanced XL mode
Cisco Nexus 7004 Scalable Feature License N7K-C7004-XL
Cisco Nexus 7009 Scalable Feature License N7K-C7009-XL
Cisco Nexus 7010 Scalable Feature License N7K-C7010-XL
Cisco Nexus 7018 Scalable Feature License N7K-C7018-XL

© 2014-2015 Elcore | Elko.by. All rights reserved. 24


Линейные карты M-серии XL (M1XL, M2XL) для N7000
2-Port 100GbE
Основной функционал
100G N7K-M202CF-22L=
(200G/slot)
L2, L3, vPC, VDC 6-Port 40GbE
40G N7K-M206FQ-23L=
Large Tables/Buffers
(240G/slot)
MPLS, VPLS, OTV 24-Port 10GbE
Sampled / Full NetFlow 10G N7K-M224XP-23L=
(240G/slot) 8-Port 10GbE
MacSec, SGT/SGACL
N7K-M108X2-12L=
LISP & FEX (M1 32XP-12L) 10G 32-Port 10GbE
(80G/slot) N7K-M132XP-12L=
FEX (M2)
48-port 10/100/1000
N7K-M148GT-11L=
M2 XL = 2 x M1 XL 1G
48-port 1GE SFP
performance (46G/slot)
N7K-M148GS-11L=

© 2014-2015 Elcore | Elko.by. All rights reserved. 25


Линейная карта M-серии N7K-M132XP-12L=
Режимы работы
Режим Shared

10 GE
Режим Dedicated
10 GE

Режим Shared
 Все 4 порта в группе активны Режим работы
 Используют один канал 10 Gbps устанавливается для групп
портов, на одной карте
 Переподписка до 4:1, динамическое распределение
группы портов могут
 Применение – включение серверов на уровне доступа находится в разных режимах

Режим Dedicated
 Первый порт в группе из 4 активен, доступно 10 Gbps
 Остальные 3 в группе не используются
 Неблокируемый полноскоростной порт 10Gbps

© 2014-2015 Elcore | Elko.by. All rights reserved. 26


Архитектура M1/M2 модулей, на примере M2 Central Arbiter

EOBC Arbitration
Aggregator
LC To Fabric Modules
CPU

Fabric ASIC

EARL8 EARL8
VOQs Layer 3 VOQs VOQs Layer 3 VOQs
Engine Engine

Layer 2 Layer 2
Engine Engine
Replication Replication Replication Replication
Engine Forwarding Engine Engine Forwarding Engine
Engine Engine

MAC / Linksec MAC / Linksec

1x100G / 3x40G / 12x10G 1x100G / 3x40G / 12x10G

© 2014-2015 Elcore | Elko.by. All rights reserved. 27


Линейные карты F-серии - switch-on-chip (SoC)

 F-Series Module is built with switch-on-chip (SoC) architecture, in which a


single application-specific integrated circuit (ASIC) implements all the
module functions, including ingress buffering, forwarding lookup
operations, access control lists (ACLs), quality-of-service (QoS) tables,
fabric interfaces, and virtual output queuing (VOQ)

 Each SoC manages can manage several front-panel interfaces

 This type of design increases performance while lowering the power and
cooling requirements of the module

© 2014-2015 Elcore | Elko.by. All rights reserved. 28


Архитектура F2e/F3 модулей, на примере - N7K-248XP-25E=
EOBC

LC To Fabric Modules
To Central Arbiters
CPU

Arbitration Aggregator

Fabric 2 ASIC

4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G
SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47

2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48
Front Panel Ports MACSec Capable Ports*

© 2014-2015 Elcore | Elko.by. All rights reserved. 29


Линейные карты F-серии (F2e) для N7000
Основной функционал

48-port 1/10 GE SFP+ 48-port 1/10 GE BaseT


L2, L3, vPC, VDC
1/10G
Sampled NetFlow (480G/slot)
MacSec**, SGT/SGACL
N7K-F248XP-25E= N7K-F248TX-25E=
FEX (SFP+ only)
N77-F248XP-23E=
+FCoE (SFP+ only)
+FabricPath
 Архитектура - switch-on-chip (SoC) архитектура
 **На N7K-F248XP-25E= MacSec на последних 8 портах
MPLS, VPLS, OTV  Лицензия на FCoE N7K-FCOEF248XP=
 SFP+ карта поддерживается на N7K и N77K
Full NetFlow, LISP

© 2014-2015 Elcore | Elko.by. All rights reserved. 30


Линейные карты F-серии (F3) для N7000 и N7700
6-Port 100GbE Основной 12-Port 100GbE
100G функционал 100G
(600G/slot) (1.2T/slot)

L2, L3, vPC, VDC


N7K-F306CK-25= N77-F312CK-26=
Sampled NetFlow
12-Port 40GbE 24-Port 40GbE
OTV, SGT/SGACL
40G 40G
(480G/slot) FabricPath, FEX (960G/slot)
-----------------------
N7K-F312FQ-25= N77-F324FQ-25=
**MacSec (8 портов),
LISP, FCoE, MPLS,
48-port 1/10 GE SFP+ 48-port 1/10 GE SFP+
VPLS – HW ready,
1/10G SOFT – later !!! 1/10G
(480G/slot) (480G/slot)

N7K-F348XP-25= N77-F348XP-23=**
© 2014-2015 Elcore | Elko.by. All rights reserved. 31
40G QSFP Bidirectional
использование той же СКС что и для 10G

Проблема миграции c 10G на 40G 10G SFP MMF Cable 10G SFP

40G QSFP 40G QSFP


• Для передачи 10G достаточно 1 пары (2 жил) SR4 NEW MMF Cable SR4

• Для передачи 40G необходимо 4 пары (8 жил) 40G BiDi


MMF Cable
40G BiDi
QSFP QSFP
• Разъем кабеля “12-fiber MPO”, вместо “Dual LC”
QSFP-40G-SR-BD

Cisco® 40 Gb SR-BiDi QSFP

• Использует существующую CКС (под 10G)


Модуль, платформа Поддержка
• Использует Dual LC разъем кабеля
• 100 m на MMF OM3 и 150m на MMF OM4 Nexus 7000
Да, c NX-OS 6.2(6)
• 2 x TX/RX на разных длинах волн по 20 Gb M2 40G Module

каждый Nexus 7000/7700


Да, c NX-OS 6.2(6)
F3 40G Module

© 2014-2015 Elcore | Elko.by. All rights reserved. 32


Разветвитель (breakout cable) 40G = 4 x 10G
 Режимы работы QSFP интерфейса:
 40G (40-Gbps flow)
 4 x 10G (QSFP-to-SFP+)

 Разъем MPO со стороны QSFP+ интерфейса и 4 отдельных пар с разъемом LC c другой стороны
 Типы кабелей
 Direct-attach copper breakout cables

 Fiber breakout cables (без оптических интерфейсных модулей)

Модуль, платформа Тип кабеля Оптические интерфейсы Поддержка

Nexus 7000 QSFP-4X10G-ACxM


M2 40G Module (медь 7, 10 м) FET-40G (100м – OM3, 150м - OM4)
QSFP-4X10G-AOCxM QSFP-40G-SR4 (100м – OM3, 150м - OM4) Да, c NX-OS 6.2(8)
Nexus 7000/7700 (оптика 1,2,3,5, 7, 10 м) QSFP-40G-CSR4 (300м – OM3, 400м - OM4)
F3 40G Module

© 2014-2015 Elcore | Elko.by. All rights reserved. 33


Nexus 7K
сравнительные характеристики
N7K- N7K- N7K- N7K- N77- N77- N77- N77-
C7004 C7009 C7010 C7018 C7702 C7706 C7710 C7718
RU 7 14 21 25 3 9 14 26
Sup 2 2 2 2 1 2 2 2
I/O slots 2 7 8 16 1 4 8 16
BW per slot 440Gbps 550 Gbps 550 Gbps 550 Gbps 1.3Tbps 1.3 Tbps 1.3 Tbps 1.3 Tbps
Switching capacity 1.92 Tbps 7.7 Tbps 8.8 Tbps 17.6 Tbps 5 Tbps 21 Tbps 42 Tbps 83 Tbps
1 GE port 96 336 384 768 48 192 384 768
10 GE port 96 336 384 768 48 192 384 768
40 GE port 24 84 96 192 24 96 192 384
100 GE port 4 14 16 32 12 48 96 192
Fabric 0 5 5 5 0 6 6 6
БП (AC / DC) 4 2 3 4 2 4 8 18
Fan 1 1 2+2 2 1 3 3 3

© 2014-2015 Elcore | Elko.by. All rights reserved. 36


Nexus 9K

© 2014-2015 Elcore | Elko.by. All rights reserved. 38


Развитие подходов к построению сети ЦОД
Традиционная Альтернативная Новая
модель сети SDN модель модель сети

Программная Application Centric


Сумма устройств виртуализация сети Infrastructure
Проверенное решение Устраняет сложность
Остаётся сложность
Существующая модель Управление по политикам
эксплуатации сети и Отдельные оверлей и
приложений транспортная сеть
Аппаратные оверлеи
Широкое Зависимость от
гипервизора Автоматизация
распространение
Несколько точек Программируемая
Много точек управления инфраструктура
управления
Негибкость Защита инвестиций
© 2014-2015 Elcore | Elko.by. All rights reserved. 39
Application Centric Infrastructure

Application Policy
Infrastructure Controller Storage SME Server SME Network SME
APIC

Security SME App. SME OS SME

Spine

Leaf

© 2014-2015 Elcore | Elko.by. All rights reserved. 40


Nexus 9300

© 2014-2015 Elcore | Elko.by. All rights reserved. 41


Nexus 9300
основные характеристики

 Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:


 уровня доступа ЦОД (ToR; MoR/EoR - c FEX (N2K) – 16 шт. или без)
 объединенного уровня агрегации-доступа (N9K+N2K)
 ACI (leaf или spine - Nexus 9336PQ)

 Фиксированная платформа с 1 GEM (на некоторых N9K)


 CPU – 2 core, 2.5 GHz x86 + 16GB memory + 64 GB SDD
 2 режима работы: NX-OS и Application Centric Infrastructure (ACI) (leaf или spine - 9336PQ)

 L2/L3; 1/10/40 - Гбит/c, низкая задержка коммутации (2 микросекунды)


 NX-OS (Linux based, ISSU, patching)
 Лицензирование: L3 – дополнительная лицензия

© 2014-2015 Elcore | Elko.by. All rights reserved. 42


Nexus 9300 •

Incremental buffer
VXLAN Routing*
портфолио • ACI Enabled

spine
NX-OS – ACI mode

93120TX (96x10+6x40G) 9336PQ


(36x40G)
+GEM
Merchant+

FEX +GEM

93128TX (96x10+8x40G) 9396PX 9332PQ


+GEM (48x10+12x40G) (32x40G)
FEX
9396TX (48x10+12x40G)

9372PX
(48x10+6x40G)
9372TX (48x10+6x40G)

10G Copper 10G Fiber 40G Fiber


* Future
© 2014-2015 Elcore | Elko.by. All rights reserved. 43
Nexus 9300
архитектура платформы, на примере N9K-C93128TX
GEM module with 12 x 40 Gbps QSFP+
(8 active uplinks)

Generic Expansion Module

Console
96 x 1G BaseT/10G BaseT
management, USB

Fan
Power Supply - AC или DC
Power supply (1+1) (2+1) fan trays Power supply (1+1)
Front-to-back and back-to-front airflow options
Hot-swappable
© 2014-2015 Elcore | Elko.by. All rights reserved. 44
Nexus 9300
Generic Expansion Module

Nexus M6PQ 6-Port QSFP+ Uplink Card

 При конфигурации N9K выбор GEM


обязателен
 Все модули общие между всеми N9K
Nexus M6PQ 12-Port QSFP+ Uplink Card
 12 port 40-Gbps QSFP+ - (8 active ports)
на Nexus 93128TX
 4-Port 100G - (2 active ports) на Nexus
93128TX
 Поддержка QSFP-to-SFP QSA adapter
Nexus N9K-M4PC-CFP2 4-Port 100G Uplink Card
для 10G

© 2014-2015 Elcore | Elko.by. All rights reserved. 45


40G QSFP Bidirectional
использование той же СКС что и для 10G

Проблема миграции c 10G на 40G 10G SFP MMF Cable 10G SFP

40G QSFP 40G QSFP


• Для передачи 10G достаточно 1 пары (2 жил) SR4 NEW MMF Cable SR4

• Для передачи 40G необходимо 4 пары (8 жил) 40G BiDi


MMF Cable
40G BiDi
QSFP QSFP
• Разъем кабеля “12-fiber MPO”, вместо “Dual LC”
QSFP-40G-SR-BD

Cisco® 40 Gb SR-BiDi QSFP

• Использует существующую CКС (под 10G)


Модуль, платформа Поддержка
• Использует Dual LC разъем кабеля
• 100 m на MMF OM3 и 150m на MMF OM4
N9K (все интерфейсы 40G) Да
• 2 x TX/RX на разных длинах волн по 20 Gb
каждый

© 2014-2015 Elcore | Elko.by. All rights reserved. 46


Разветвитель (breakout cable) 40G = 4 x 10G

ACI MODE (ACI NX-OS 11.0(3i) ):


 The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode
(on the N9332PQ leaf or on the spine)

NX-OS MODE (NX-OS Release 7.0(3)I1(1)):


 Breakout support on 9332PQ switch (all ports except 13-14 and 27-32 can
support breakout)

QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)

Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix


http://www.cisco.com/c/en/us/td/docs/interfaces_modules/transceiver_modules/compatibility/matrix/40GE_Tx_Matrix.html

© 2014-2015 Elcore | Elko.by. All rights reserved. 47


Nexus 9300
сравнительные характеристики
N9K- N9K- N9K- N9K- N9K- N9K- N9K- N9K-
C9372TX C9396TX C93120TX C93128TX C9372PX C9396PX C9332PQ C9336PQ
Usage ACI leaf, ToR, EoR, FEX** aggregation ACI spine
Высота 1 RU 2 RU 2 RU 3 RU 1 RU 2 RU 1 RU 2 RU
Коммутац.
1.44 1.92 2.4 2.56 1.44 1.92 2.56 2.88
(Tbps)
100 M/1
GE/10 GE 48 48 96 96
copper
1/10 GE
48 48
fiber
40 GE 6 6 or 12 6 6 or 8 6 6 or 12 32 36
100 GE 4 4 4
Latency Less than 2 microseconds
Buffer ,MB 37 52 52 52 37 52 37 72
**FEX is supported only on the Cisco Nexus 9372PX and 9396PX switches. It is not supported on the other Cisco Nexus 9300 Series switches or the Cisco
Nexus 9500 Series switches.
© 2014-2015 Elcore | Elko.by. All rights reserved. 48
Nexus 9500

© 2014-2015 Elcore | Elko.by. All rights reserved. 49


Nexus 9500
основные характеристики
 Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:
 уровня доступа ЦОД (EoR) (с FEX* или без)
 уровня агрегации/ядра
 ACI (leaf* или spine)

 Модульная платформа – 4, 8, 16 столов


 Midplane-free chassis design
 2 режима работы: NX-OS и Application Centric Infrastructure (ACI)
 ACI Spine (на текущий момент 9508+X9736PQ)
 ACI Leaf*
 Поддерживает FEX* (до 32 шт)

 L2/L3; 1/10/40/100 - Гбит/c, низкая задержка коммутации (5 микросекунд)


 NX-OS (Linux based, ISSU, patching)
 Лицензирование: L3 – дополнительная лицензия
* Future
© 2014-2015 Elcore | Elko.by. All rights reserved. 50
Nexus 9500
архитектура платформы, на примере Nexus 9508

Nexus 9508 вид спереди Nexus 9508 вид сзади

8 x линейных карт 3 x fan trays (N+1)


Max 3.84 Tbps per slot
duplex
3 или 6 x коммутационных
фабрик (behind fan trays)
2 x Sup
2 x системных
контроллера
No mid-plane for
До 8 x БП (N+1, N+N)
LC-to-FM connectivity

© 2014-2015 Elcore | Elko.by. All rights reserved. 51


Nexus 9500
первое модульное устройство без midplane/backplane

Улучшения:
 Охлаждения – нет препятствий для воздуха
 Электропитания – из-за эффективного охлаждения
 Надежности – меньше элементов, подверженных
сбоям (коннекторы на mid-plane / back plane)
 Будущего масштабирования – нет ограничений mid-
plane / back plane

© 2014-2015 Elcore | Elko.by. All rights reserved. 52


Nexus 9500
Nexus 9508коммутационных
подключение Backplane-free Modular
фабрик Designкарт
и линейных

High Density Connectors

© 2014-2015 Elcore | Elko.by. All rights reserved. 53


Nexus 9500
Nexus 9508 Backplane-free
вентиляторные модули и БП Modular Design

 3 вентиляторных модуля
 Мощность – 3kW AC
 3 вентилятора на модуль
 2 x БП – для полностью загруженного
 Динамическое управление
коммутатора
скоростью на основе
 Отказоустойчивость N+1 или N+N = 4 x БП температурных сенсоров
 Всего 10 слотов для БП (для будущих карт)  1 fan на 2 фабрики
 Поток воздуха на фабрику
и карты
 Отказоустойчивость N+1

© 2014-2015 Elcore | Elko.by. All rights reserved. 54


Nexus 9500
Nexus 9500 Platform Architecture
Supervisor Module
процессорные модули

 2 x Sup Supervisor A Supervisor B


CPU 4 core, 1.8 GHz 6 core, 2.2 GHz
 Active/Standby
Memory (RAM) 16 GB 24 GB
 Только control plane, никакого Storage (SSD) 64 GB 256 GB
management plane

SSD Redundant paths to system controllers

Intel CPU
DRAM
(Upgradable to 48 GB)

10/100/1000 mgmt port

Dual USB ports Console port External clock input

© 2014-2015 Elcore | Elko.by. All rights reserved. 55


Nexus 9500
системные контроллеры

 2 x системных контроллера
 Осуществляет управление шасси вместо Sup
 2 ядерный CPU, 1.3 GHz
 Управляет БП, вентиляторами

© 2014-2015 Elcore | Elko.by. All rights reserved. 56


Nexus 9500
коммутационная фабрика

 Объединяет подключения линейных карт

 Все коммутационные фабрики активные и используются для


data plane

N9504 N9508 N9516


Broadcom Triden II (NFE) 1 2 4
 N9K-C9504-FM=

 N9K-C9508-FM=

 N9K-C9516-FM=

© 2014-2015 Elcore | Elko.by. All rights reserved. 57


Nexus 9500
масштабируемость data plane, на примере Nexus 9508
 Каждая коммутационных фабрика обеспечивает 320 Gbps на 1 слот линейной карты
 Суммарно 6 x коммутационных фабрик обеспечивают 1.92 Tbps duplex на слот линейной карты

Fabric 1 Fabric 2 Fabric 3 Fabric 4 Fabric 5 Fabric 6


NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE

320 Gbps 320 Gbps 320 Gbps 320 Gbps 320 Gbps 320 Gbps
(8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps)

320 Gbps
640 Gbps
960 Gbps
1.28 Tbps
Line Card Slot 1.60 Tbps
1.92 Tbps

© 2014-2015 Elcore | Elko.by. All rights reserved. 58


Merchant vs Merchant+ Silicon
Merchant Silicon — “коммерческие” интегральные микросхемы, разработанные
специализированными компаниями, для которых это является основным бизнесом (Broadcom)

 18-24 цикл для нового поколения интегральных микросхем (увеличивают емкость портов,
уменьшают величину задержек во время коммутации, уменьшают электропотребление)
 Не сфокусированы на сетевых сервисах и потребностях заказчиков
 “Тормозят” сетевых вендоров

Merchant+ Silicon (Custom) — гибридное решение, состоящее из Merchant + специализированные


ASIC для сетевых сервисов, собственной разработки Сisco

NFE – network forwarding engine


ALE – ACI Leaf Engine
ASE – ACE Spine Engine

© 2014-2015 Elcore | Elko.by. All rights reserved. 59


Nexus 9500 - линейные карты
• Additional buffer
• VXLAN routing* ACI Spine Only
• ACI Enabled*
Merchant+

9736 (36x40G)

NX-OS Mode
ACI Leaf Ready*

9564 (48x10G+4x40G) 9564 (48x10G+4x40G) 9536 (36x40G)

NX-OS Mode
only
Merchant

9636 (36x40G)

9464 (48x10G+4x40G) 9464 (48x10G+4x40G) 9432 (32x40G) 9408PC-CFP2 (8x100G)

* Future 10G Copper 10G Fiber 40G Fiber 100G Fiber


© 2014-2015 Elcore | Elko.by. All rights reserved. 60
40G QSFP Bidirectional
использование той же СКС что и для 10G

Проблема миграции c 10G на 40G 10G SFP MMF Cable 10G SFP

40G QSFP 40G QSFP


• Для передачи 10G достаточно 1 пары (2 жил) SR4 NEW MMF Cable SR4

• Для передачи 40G необходимо 4 пары (8 жил) 40G BiDi


MMF Cable
40G BiDi
QSFP QSFP
• Разъем кабеля “12-fiber MPO”, вместо “Dual LC”
QSFP-40G-SR-BD

Cisco® 40 Gb SR-BiDi QSFP

• Использует существующую CКС (под 10G)


Модуль, платформа Поддержка
• Использует Dual LC разъем кабеля
• 100 m на MMF OM3 и 150m на MMF OM4
N9K (все интерфейсы 40G) Да
• 2 x TX/RX на разных длинах волн по 20 Gb
каждый

© 2014-2015 Elcore | Elko.by. All rights reserved. 61


Разветвитель (breakout cable) 40G = 4 x 10G

ACI MODE (ACI NX-OS 11.0(3i) ):


 The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode
(on the N9332PQ leaf or on the spine)

NX-OS MODE (NX-OS Release 7.0(3)I1(1)):


 Breakout support on X9636PQ, X9432PQ, X9536PQ

QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)

Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix


http://www.cisco.com/c/en/us/td/docs/interfaces_modules/transceiver_modules/compatibility/matrix/40GE_Tx_Matrix.html

© 2014-2015 Elcore | Elko.by. All rights reserved. 62


Nexus 9500
сравнительные характеристики, шасси
Nexus 9504 Nexus 9508 Nexus 9516
Form factor 7 RU 13 RU 21 RU
Line card slots 4 8 16
Supervisor slots 2 2 2
Fabric module slots 6 6 6
ACI support Yes* Yes Yes*
Bandwidth per slot 3.84 Tbps 3.84 Tbps 3.84 Tbps
Bandwidth per system 15 Tbps 30 Tbps 60 Tbps
Max 1/10G BASE-T 192 384 768
Max number of 10 GE 576 1152 2304
Max number of 40 GE 144 288 576
Max number of 100GE 32 64 128
Airflow Front to back Front to back Front to back
Power supplies (3-kW AC) Up to 4 Up to 8 Up to 10
Fan trays 3 3 3

* Future
© 2014-2015 Elcore | Elko.by. All rights reserved. 63
Заключение

© 2014-2015 Elcore | Elko.by. All rights reserved. 64


Cпасибо за внимание!
Максим Порицкий

инженер по направлению Сisco, ССIE R&S

m.poritsky@elcoregroup.com

март 2015

© 2014-2015 Elcore | Elko.by. All rights reserved. 65