Обзор Cisco DC switches N9K-N7K 3.2015

Обзор коммутаторов Cisco для
построения ЦОД - Nexus 7K и 9K
Максим Порицкий
инженер по направлению Сisco, ССIE R&S
m.poritsky@elcoregroup.com
март 2015
© 2014-2015 Elcore | Elko.by. All rights reserved. 1

 Продолжительность: 1 час
 Аудитория: менеджеры по продажам, инженеры по продажам, IT-
архитекторы, инженеры заказчиков
 Уровень сложности: базовый-средний
 Цель: ознакомимся с портфолио коммутаторов Cisco Nexus (7K, 9K)
для построения ЦОД, их программно-аппаратными
характеристиками, функционалом и позиционированием

Содержание
 Коммутаторы Nexus 7K
 Коммутаторы Nexus 9K

Портфолио Nexus 7K

Nexus 7K
основные характеристики
 Высокопроизводительные, модульные коммутаторы для ядра/агрегации ЦОД

(совмещенного ядра ЦОД и ядра LAN-кампуса)
 Модульная NX-ОS
 Резервирование всех основных компонент (Sup, коммутационные фабрики,
БП, вентиляторы, при необходимости линейные карты)
 Высокоплотное подключение 1/10/40/100 Гбит/c
 Распределенная коммутация (на каждой карте forwarding engines + локальная
фабрика)
 Пассивная mid-plane архитектура – подключение фабрик и линейных карт
 Межмодульная коммутация через crossbar fabric ASICs на картах и фабрике
 Поддерживает FEX (N2K)

Шасси Nexus 7K

Nexus 7018 – комплектация шасси
Вид спереди Вид сзади
2 вентиляторных
модуля
с вентиляторами
(переменная скорость)
2 x Sup
5 x коммутационных
фабрик
16 слотов для линейных

карт
4 x БП
AC или DC
* optional door
2+2 вентиляторных
модуля (Sup+linecard;
Fabric)

карт
2 x Sup
фабрик
3 x БП
AC или DC
* optional door and air filter

2 x Sup

карт
фабрик
1 вентиляторный модуль
2 x БП
AC или DC
* optional door
• Нет коммутационных фабрик
• Backplane дизайн

1 вентиляторный модуль
2 x Sup
2 слота для линейных

карт
4 x БП
AC или DC
карт
фабрик
(за вентиляторами)
2 x Sup
3 x вентиляторных
модуля
16 x БП (3kW)
AC или DC

карт
фабрик
(за вентиляторами)
2 x Sup
3 x вентиляторных
модуля
8 x БП (3kW)
AC или DC * optional door and air filter
Вид спереди
6 x коммутационных фабрик 4 слотов для линейных

(за вентиляторами) карт
Расположены сзади
2 x Sup
3 x вентиляторных модуля
с вентиляторами (переменная
скорость)
Расположены сзади
4 x БП (3kW)
AC или DC

Вид спереди
1 слот для линейной
карты 1 x вентиляторный модуль
с 3 вентиляторами
Расположен сзади
2 x БП (3kW)
1 x Sup
AC или DC

Nexus 7000/7700
процессорные модули – основные функции
 Обеспечивает control plane и management функции

 Active/Standby – SSO/NSF, ISSU
 В шасси должны устанавливаться Sup одинакового типа
 Управляющие резервируемые каналы к фабрикам и линейным картам
 Централизованный арбитраж, регулирующий коммутацию через фабрику
 Приоритезация процессорных ресурсов (времени) VDC (CPU Shares)
 Поддержка FCoE на картах F2E

Nexus 7000
процессорные модули
Supervisor 2E (Enhanced ) Supervisor 2
CPU 2 x CPU 2.13GHz (4 ядра) 1 x CPU 2.13GHz (4 ядра)
Memory (GB) 32 12
Flash memory (bootflash) 2GB, Embedded USB 2GB, Embedded USB
USB Log Flash 8GB, USB 8GB, USB
FCoE on F2E module Yes Yes
Разделение CPU между VDC Yes Yes
VDC 8+1 admin VDC 4+1 admin VDC
FEX 64 FEX / 3072 ports 32 FEX / 1536 ports
Management
USB v2
Ethernet
N7K-SUP2/N7K-SUP2E
Консоль USB Log Flash, USB v2, 8G USB Expansion Flash, USB v2, 2G (N7K-USB-2GB=)

Nexus 7700
процессорный модуль
Supervisor 2E (Enhanced )
CPU 2 x CPU 2.13GHz (4 ядра)
Memory (GB) 32
Flash memory (bootflash) 4GB, Embedded USB
Flash log 16GB, Embedded USB
FCoE on F2E module Yes
Разделение CPU между VDC Yes
VDC 8+1 admin VDC
FEX 64 FEX / 3072 ports
Management Ethernet Консоль USB порты N77-SUP2E
N77-USB-2GB=

Nexus 7000
коммутационная фабрика
Supported I/O Per-fabric module Total bandwidth with
Fabric Module Supported Chassis
Modules bandwidth 5 fabric modules
Fabric 2 7009 / 7010 / 7018 All 110Gbps per slot 550Gbps per slot
 Выполняет функции центрального коммутационного элемента между трафиком

линейных карт
 От каждой фабрики 2 канала по 55G = 110G на слот
 Максимально 5 x фабрик = 550Gbps на слот
 Все фабрики активны и передают трафик N7K-C7009-FAB-2=
 Поддерживается замена в горячем режиме
 В зависимости от типа I/O – получает соответствующую BW
N7K-C7010-FAB-2= N7K-C7018-FAB-2=

Nexus 7000
многоуровневая коммутационная фабрика
 Элемент 1 и 3 на I/O модулях - для локальной коммутации (local Fabric 2 ASIC)
 Элемент 2 – коммутационная фабрика - для коммутации между I/O
 Доступ к фабрике регламентируется централизованным арбитражем на основе
кредитов (на Sup) с использованием буферизации, очередей, функционала QoS
2nd stage 1
Fabric ASIC
2
Fabric ASIC
3
Fabric ASIC
4
Fabric ASIC
5
Fabric ASIC Fabric Modules
2 x 55Gbps канала (110G)

между слотом I/O и
фабрикой До 550Gbps
per I/O module with 5
Fabric ASIC Fabric ASIC
fabric modules
1st stage 3rd stage

Ingress Egress
Module Module

Nexus 7004
 Nexus 7004 не имеет выделенных модулей коммутационной фабрики
 I/O модули имеют локальную фабрику с10 fabric channels
 I/O modules подключаются “back-to-back” через 8 fabric channels
 2 fabric channels для подключения к Sup
 Доступная inter-module BW зависит от подключаемых I/O
Sup Module 1 Crossbar Crossbar Sup Module 2 Sup Module 1 Crossbar Crossbar Sup Module 2
ASIC ASIC ASIC ASIC
2 * 23G 2 * 55G
M1 Modules fabric channels F2E/M2 Modules fabric channels
M1 M1 F2E/M2 F2E/M2
Fabric 1 Fabric 1 Module 3 Fabric 2 Fabric 2 Module 4
Module 3 Module 4
Crossbar Crossbar Crossbar Crossbar
ASIC ASIC ASIC ASIC
8 * 23G local fabric channels 8 * 55G local fabric channels

interconnect I/O modules (184G) interconnect I/O modules (440G)

Nexus 7700
Supported Per-fabric module Total bandwidth with 6
Fabric Module Supported Chassis
I/O Modules bandwidth fabric modules
Fabric 2 7706 / 7710 / 7718 All 220Gbps per slot 1.32Tbps per slot
 Функционал аналогичный Nexus 7000 Fabric 2 N77-C7710-FAB-2=
 Архитектура фабрики аналогичная Nexus 7000 Fabric 2

N77-C7706-FAB-2=
 От каждой фабрики 4 канала по 55G = 220Gbps на слот
 Максимально 6 x фабрик = 1.32Tbps на слот
 Все фабрики активны и передают трафик
 Поддерживается замена в горячем режиме
 В зависимости от типа I/O – получает соответствующую BW
N77-C7718-FAB-2=

Портфолио линейных карт
M2 XL
M1 XL Набор ASIC-ов
Набор ASIC-ов 2x forwarding engines
XL Table Sizes (MAC, IP route, ACL, Netflow) XL Table Sizes (MAC, IP route, ACL, Netflow)
L2/L3 - 1/10G L2/L3 - 10/40/100G
46/80G to Fabric 240G to Fabric
F2e F3
System-on-Chip (SoC)
System-on-Chip (SoC)
L2/L3 - 10G
L2/L3 - 10/40/100G
480G to Fabric
480G – 1200G to Fabric

Линейные карты – распределенная коммутация
 Distributed architecture, with the forwarding engine integrated into each module
 Forwarding engine also delivers ACL filtering, marking, rate limiting, and NetFlow
with no degradation of performance
 Forwarding engine buffer data in virtual output queues (VOQs) before the data
flows to the fabric. The data flow is controlled by a central arbiter on the supervisor
module, using a credit-based buffer design. This architecture offers a lossless
fabric that delivers quality of service (QoS) and fairness across all ports, even
during congestion

M1 XL / M2 XL линейные карты – режимы работы
Item Non-XL Mode XL Mode

MAC entries 128K 128K
IPv4 routes 128K Up to 1M
IPv6 routes 64K Up to 350K
NetFlow entries 512K 512K
ACL 64K 128K
Optional Scalable Feature license, the modules can operate in enhanced XL mode
Cisco Nexus 7004 Scalable Feature License N7K-C7004-XL

Линейные карты M-серии XL (M1XL, M2XL) для N7000
2-Port 100GbE
Основной функционал
100G N7K-M202CF-22L=
(200G/slot)
L2, L3, vPC, VDC 6-Port 40GbE
40G N7K-M206FQ-23L=
Large Tables/Buffers
(240G/slot)
MPLS, VPLS, OTV 24-Port 10GbE
Sampled / Full NetFlow 10G N7K-M224XP-23L=
(240G/slot) 8-Port 10GbE
MacSec, SGT/SGACL
N7K-M108X2-12L=
LISP & FEX (M1 32XP-12L) 10G 32-Port 10GbE
(80G/slot) N7K-M132XP-12L=
FEX (M2)
48-port 10/100/1000
N7K-M148GT-11L=
M2 XL = 2 x M1 XL 1G
48-port 1GE SFP
performance (46G/slot)
N7K-M148GS-11L=

Линейная карта M-серии N7K-M132XP-12L=
Режимы работы
Режим Shared
10 GE
Режим Dedicated
10 GE
Режим Shared
 Все 4 порта в группе активны Режим работы
 Используют один канал 10 Gbps устанавливается для групп
портов, на одной карте
 Переподписка до 4:1, динамическое распределение
группы портов могут
 Применение – включение серверов на уровне доступа находится в разных режимах
Режим Dedicated
 Первый порт в группе из 4 активен, доступно 10 Gbps
 Остальные 3 в группе не используются
 Неблокируемый полноскоростной порт 10Gbps

Архитектура M1/M2 модулей, на примере M2 Central Arbiter
EOBC Arbitration
Aggregator
LC To Fabric Modules
CPU
Fabric ASIC
EARL8 EARL8
VOQs Layer 3 VOQs VOQs Layer 3 VOQs
Engine Engine
Layer 2 Layer 2
Engine Engine
Replication Replication Replication Replication
Engine Forwarding Engine Engine Forwarding Engine
Engine Engine
MAC / Linksec MAC / Linksec
1x100G / 3x40G / 12x10G 1x100G / 3x40G / 12x10G

Линейные карты F-серии - switch-on-chip (SoC)
 F-Series Module is built with switch-on-chip (SoC) architecture, in which a

single application-specific integrated circuit (ASIC) implements all the
module functions, including ingress buffering, forwarding lookup
operations, access control lists (ACLs), quality-of-service (QoS) tables,
fabric interfaces, and virtual output queuing (VOQ)
 Each SoC manages can manage several front-panel interfaces
 This type of design increases performance while lowering the power and
cooling requirements of the module

Архитектура F2e/F3 модулей, на примере - N7K-248XP-25E=
EOBC
LC To Fabric Modules
To Central Arbiters
CPU
Arbitration Aggregator
Fabric 2 ASIC
4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G 4 X 10G
SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC SoC
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47
2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48
Front Panel Ports MACSec Capable Ports*

Линейные карты F-серии (F2e) для N7000
Основной функционал
48-port 1/10 GE SFP+ 48-port 1/10 GE BaseT

L2, L3, vPC, VDC
1/10G
Sampled NetFlow (480G/slot)
MacSec**, SGT/SGACL
N7K-F248XP-25E= N7K-F248TX-25E=
FEX (SFP+ only)
N77-F248XP-23E=
+FCoE (SFP+ only)
+FabricPath
 Архитектура - switch-on-chip (SoC) архитектура
 **На N7K-F248XP-25E= MacSec на последних 8 портах
MPLS, VPLS, OTV  Лицензия на FCoE N7K-FCOEF248XP=
 SFP+ карта поддерживается на N7K и N77K
Full NetFlow, LISP

Линейные карты F-серии (F3) для N7000 и N7700
6-Port 100GbE Основной 12-Port 100GbE
100G функционал 100G
(600G/slot) (1.2T/slot)
L2, L3, vPC, VDC

N7K-F306CK-25= N77-F312CK-26=
Sampled NetFlow
12-Port 40GbE 24-Port 40GbE
OTV, SGT/SGACL
40G 40G
(480G/slot) FabricPath, FEX (960G/slot)
-----------------------
N7K-F312FQ-25= N77-F324FQ-25=
**MacSec (8 портов),
LISP, FCoE, MPLS,
48-port 1/10 GE SFP+ 48-port 1/10 GE SFP+
VPLS – HW ready,
1/10G SOFT – later !!! 1/10G
(480G/slot) (480G/slot)
N7K-F348XP-25= N77-F348XP-23=**
40G QSFP Bidirectional
использование той же СКС что и для 10G
Проблема миграции c 10G на 40G 10G SFP MMF Cable 10G SFP
40G QSFP 40G QSFP

• Для передачи 10G достаточно 1 пары (2 жил) SR4 NEW MMF Cable SR4
• Для передачи 40G необходимо 4 пары (8 жил) 40G BiDi

MMF Cable
40G BiDi
QSFP QSFP
• Разъем кабеля “12-fiber MPO”, вместо “Dual LC”
QSFP-40G-SR-BD
Cisco® 40 Gb SR-BiDi QSFP
• Использует существующую CКС (под 10G)

Модуль, платформа Поддержка
• Использует Dual LC разъем кабеля
• 100 m на MMF OM3 и 150m на MMF OM4 Nexus 7000
Да, c NX-OS 6.2(6)
• 2 x TX/RX на разных длинах волн по 20 Gb M2 40G Module
каждый Nexus 7000/7700

Да, c NX-OS 6.2(6)
F3 40G Module

Разветвитель (breakout cable) 40G = 4 x 10G
 Режимы работы QSFP интерфейса:
 40G (40-Gbps flow)
 4 x 10G (QSFP-to-SFP+)
 Разъем MPO со стороны QSFP+ интерфейса и 4 отдельных пар с разъемом LC c другой стороны
 Типы кабелей
 Direct-attach copper breakout cables
 Fiber breakout cables (без оптических интерфейсных модулей)
Модуль, платформа Тип кабеля Оптические интерфейсы Поддержка
Nexus 7000 QSFP-4X10G-ACxM

M2 40G Module (медь 7, 10 м) FET-40G (100м – OM3, 150м - OM4)
QSFP-4X10G-AOCxM QSFP-40G-SR4 (100м – OM3, 150м - OM4) Да, c NX-OS 6.2(8)
Nexus 7000/7700 (оптика 1,2,3,5, 7, 10 м) QSFP-40G-CSR4 (300м – OM3, 400м - OM4)
F3 40G Module

Nexus 7K
сравнительные характеристики
N7K- N7K- N7K- N7K- N77- N77- N77- N77-
C7004 C7009 C7010 C7018 C7702 C7706 C7710 C7718
RU 7 14 21 25 3 9 14 26
Sup 2 2 2 2 1 2 2 2
I/O slots 2 7 8 16 1 4 8 16
BW per slot 440Gbps 550 Gbps 550 Gbps 550 Gbps 1.3Tbps 1.3 Tbps 1.3 Tbps 1.3 Tbps
Switching capacity 1.92 Tbps 7.7 Tbps 8.8 Tbps 17.6 Tbps 5 Tbps 21 Tbps 42 Tbps 83 Tbps
1 GE port 96 336 384 768 48 192 384 768
10 GE port 96 336 384 768 48 192 384 768
40 GE port 24 84 96 192 24 96 192 384
100 GE port 4 14 16 32 12 48 96 192
Fabric 0 5 5 5 0 6 6 6
БП (AC / DC) 4 2 3 4 2 4 8 18
Fan 1 1 2+2 2 1 3 3 3

Nexus 9K

Развитие подходов к построению сети ЦОД
Традиционная Альтернативная Новая
модель сети SDN модель модель сети
Программная Application Centric

Сумма устройств виртуализация сети Infrastructure
Проверенное решение Устраняет сложность
Остаётся сложность
Существующая модель Управление по политикам
эксплуатации сети и Отдельные оверлей и
приложений транспортная сеть
Аппаратные оверлеи
Широкое Зависимость от
гипервизора Автоматизация
распространение
Несколько точек Программируемая
Много точек управления инфраструктура
управления
Негибкость Защита инвестиций
Application Centric Infrastructure
Application Policy
Infrastructure Controller Storage SME Server SME Network SME
APIC
Security SME App. SME OS SME
Spine
Leaf

Nexus 9300

Nexus 9300
 Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:

 уровня доступа ЦОД (ToR; MoR/EoR - c FEX (N2K) – 16 шт. или без)
 объединенного уровня агрегации-доступа (N9K+N2K)
 ACI (leaf или spine - Nexus 9336PQ)
 Фиксированная платформа с 1 GEM (на некоторых N9K)

 CPU – 2 core, 2.5 GHz x86 + 16GB memory + 64 GB SDD
 2 режима работы: NX-OS и Application Centric Infrastructure (ACI) (leaf или spine - 9336PQ)
 L2/L3; 1/10/40 - Гбит/c, низкая задержка коммутации (2 микросекунды)

 NX-OS (Linux based, ISSU, patching)
 Лицензирование: L3 – дополнительная лицензия

Nexus 9300 •
•
Incremental buffer
VXLAN Routing*
портфолио • ACI Enabled
spine
NX-OS – ACI mode
93120TX (96x10+6x40G) 9336PQ

(36x40G)
+GEM
Merchant+
FEX +GEM
93128TX (96x10+8x40G) 9396PX 9332PQ

+GEM (48x10+12x40G) (32x40G)
FEX
9396TX (48x10+12x40G)
9372PX
(48x10+6x40G)
9372TX (48x10+6x40G)
10G Copper 10G Fiber 40G Fiber

* Future
Nexus 9300
архитектура платформы, на примере N9K-C93128TX
GEM module with 12 x 40 Gbps QSFP+
(8 active uplinks)
Generic Expansion Module
Console
96 x 1G BaseT/10G BaseT
management, USB
Fan
Power Supply - AC или DC
Power supply (1+1) (2+1) fan trays Power supply (1+1)
Front-to-back and back-to-front airflow options
Hot-swappable
Nexus 9300
Generic Expansion Module
Nexus M6PQ 6-Port QSFP+ Uplink Card
 При конфигурации N9K выбор GEM

обязателен
 Все модули общие между всеми N9K
Nexus M6PQ 12-Port QSFP+ Uplink Card
 12 port 40-Gbps QSFP+ - (8 active ports)
на Nexus 93128TX
 4-Port 100G - (2 active ports) на Nexus
93128TX
 Поддержка QSFP-to-SFP QSA adapter
Nexus N9K-M4PC-CFP2 4-Port 100G Uplink Card
для 10G

40G QSFP 40G QSFP


MMF Cable
40G BiDi
QSFP QSFP
QSFP-40G-SR-BD

• 100 m на MMF OM3 и 150m на MMF OM4
N9K (все интерфейсы 40G) Да
• 2 x TX/RX на разных длинах волн по 20 Gb
каждый

ACI MODE (ACI NX-OS 11.0(3i) ):

 The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode
(on the N9332PQ leaf or on the spine)
NX-OS MODE (NX-OS Release 7.0(3)I1(1)):

 Breakout support on 9332PQ switch (all ports except 13-14 and 27-32 can
support breakout)
QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)
Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix

http://www.cisco.com/c/en/us/td/docs/interfaces_modules/transceiver_modules/compatibility/matrix/40GE_Tx_Matrix.html

Nexus 9300
сравнительные характеристики
N9K- N9K- N9K- N9K- N9K- N9K- N9K- N9K-
C9372TX C9396TX C93120TX C93128TX C9372PX C9396PX C9332PQ C9336PQ
Usage ACI leaf, ToR, EoR, FEX** aggregation ACI spine
Высота 1 RU 2 RU 2 RU 3 RU 1 RU 2 RU 1 RU 2 RU
Коммутац.
1.44 1.92 2.4 2.56 1.44 1.92 2.56 2.88
(Tbps)
100 M/1
GE/10 GE 48 48 96 96
copper
1/10 GE
48 48
fiber
40 GE 6 6 or 12 6 6 or 8 6 6 or 12 32 36
100 GE 4 4 4
Latency Less than 2 microseconds
Buffer ,MB 37 52 52 52 37 52 37 72
**FEX is supported only on the Cisco Nexus 9372PX and 9396PX switches. It is not supported on the other Cisco Nexus 9300 Series switches or the Cisco
Nexus 9500 Series switches.
Nexus 9500

Nexus 9500
 Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:
 уровня доступа ЦОД (EoR) (с FEX* или без)
 уровня агрегации/ядра
 ACI (leaf* или spine)
 Модульная платформа – 4, 8, 16 столов

 Midplane-free chassis design
 2 режима работы: NX-OS и Application Centric Infrastructure (ACI)
 ACI Spine (на текущий момент 9508+X9736PQ)
 ACI Leaf*
 Поддерживает FEX* (до 32 шт)
 L2/L3; 1/10/40/100 - Гбит/c, низкая задержка коммутации (5 микросекунд)

 NX-OS (Linux based, ISSU, patching)
 Лицензирование: L3 – дополнительная лицензия
* Future
Nexus 9500
архитектура платформы, на примере Nexus 9508
Nexus 9508 вид спереди Nexus 9508 вид сзади
8 x линейных карт 3 x fan trays (N+1)

Max 3.84 Tbps per slot
duplex
3 или 6 x коммутационных
фабрик (behind fan trays)
2 x Sup
2 x системных
контроллера
No mid-plane for
До 8 x БП (N+1, N+N)
LC-to-FM connectivity

Nexus 9500
первое модульное устройство без midplane/backplane
Улучшения:
 Охлаждения – нет препятствий для воздуха
 Электропитания – из-за эффективного охлаждения
 Надежности – меньше элементов, подверженных
сбоям (коннекторы на mid-plane / back plane)
 Будущего масштабирования – нет ограничений mid-
plane / back plane

Nexus 9500
Nexus 9508коммутационных
подключение Backplane-free Modular
фабрик Designкарт
и линейных
High Density Connectors

Nexus 9500
Nexus 9508 Backplane-free
вентиляторные модули и БП Modular Design
 3 вентиляторных модуля
 Мощность – 3kW AC
 3 вентилятора на модуль
 2 x БП – для полностью загруженного
 Динамическое управление
коммутатора
скоростью на основе
 Отказоустойчивость N+1 или N+N = 4 x БП температурных сенсоров
 Всего 10 слотов для БП (для будущих карт)  1 fan на 2 фабрики
 Поток воздуха на фабрику
и карты
 Отказоустойчивость N+1

Nexus 9500
Nexus 9500 Platform Architecture
Supervisor Module
процессорные модули
 2 x Sup Supervisor A Supervisor B

CPU 4 core, 1.8 GHz 6 core, 2.2 GHz
 Active/Standby
Memory (RAM) 16 GB 24 GB
 Только control plane, никакого Storage (SSD) 64 GB 256 GB
management plane
SSD Redundant paths to system controllers
Intel CPU
DRAM
(Upgradable to 48 GB)
10/100/1000 mgmt port
Dual USB ports Console port External clock input

Nexus 9500
системные контроллеры
 2 x системных контроллера
 Осуществляет управление шасси вместо Sup
 2 ядерный CPU, 1.3 GHz
 Управляет БП, вентиляторами

Nexus 9500
 Объединяет подключения линейных карт
 Все коммутационные фабрики активные и используются для

data plane
N9504 N9508 N9516

Broadcom Triden II (NFE) 1 2 4
 N9K-C9504-FM=
 N9K-C9508-FM=
 N9K-C9516-FM=

Nexus 9500
масштабируемость data plane, на примере Nexus 9508
 Каждая коммутационных фабрика обеспечивает 320 Gbps на 1 слот линейной карты
 Суммарно 6 x коммутационных фабрик обеспечивают 1.92 Tbps duplex на слот линейной карты
Fabric 1 Fabric 2 Fabric 3 Fabric 4 Fabric 5 Fabric 6

NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE NFE
320 Gbps 320 Gbps 320 Gbps 320 Gbps 320 Gbps 320 Gbps
(8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps) (8 x 40 Gbps)
320 Gbps
640 Gbps
960 Gbps
1.28 Tbps
Line Card Slot 1.60 Tbps
1.92 Tbps

Merchant vs Merchant+ Silicon
Merchant Silicon — “коммерческие” интегральные микросхемы, разработанные
специализированными компаниями, для которых это является основным бизнесом (Broadcom)
 18-24 цикл для нового поколения интегральных микросхем (увеличивают емкость портов,
уменьшают величину задержек во время коммутации, уменьшают электропотребление)
 Не сфокусированы на сетевых сервисах и потребностях заказчиков
 “Тормозят” сетевых вендоров
Merchant+ Silicon (Custom) — гибридное решение, состоящее из Merchant + специализированные

ASIC для сетевых сервисов, собственной разработки Сisco
NFE – network forwarding engine

ALE – ACI Leaf Engine
ASE – ACE Spine Engine

Nexus 9500 - линейные карты
• Additional buffer
• VXLAN routing* ACI Spine Only
• ACI Enabled*
Merchant+
9736 (36x40G)
NX-OS Mode
ACI Leaf Ready*
9564 (48x10G+4x40G) 9564 (48x10G+4x40G) 9536 (36x40G)
NX-OS Mode
only
Merchant
9636 (36x40G)
9464 (48x10G+4x40G) 9464 (48x10G+4x40G) 9432 (32x40G) 9408PC-CFP2 (8x100G)
* Future 10G Copper 10G Fiber 40G Fiber 100G Fiber

40G QSFP 40G QSFP


MMF Cable
40G BiDi
QSFP QSFP
QSFP-40G-SR-BD

• 100 m на MMF OM3 и 150m на MMF OM4
N9K (все интерфейсы 40G) Да
• 2 x TX/RX на разных длинах волн по 20 Gb
каждый

ACI MODE (ACI NX-OS 11.0(3i) ):

 The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode
(on the N9332PQ leaf or on the spine)
NX-OS MODE (NX-OS Release 7.0(3)I1(1)):

 Breakout support on X9636PQ, X9432PQ, X9536PQ
QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)
Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix

http://www.cisco.com/c/en/us/td/docs/interfaces_modules/transceiver_modules/compatibility/matrix/40GE_Tx_Matrix.html

Nexus 9500
сравнительные характеристики, шасси
Nexus 9504 Nexus 9508 Nexus 9516
Form factor 7 RU 13 RU 21 RU
Line card slots 4 8 16
Supervisor slots 2 2 2
Fabric module slots 6 6 6
ACI support Yes* Yes Yes*
Bandwidth per slot 3.84 Tbps 3.84 Tbps 3.84 Tbps
Bandwidth per system 15 Tbps 30 Tbps 60 Tbps
Max 1/10G BASE-T 192 384 768
Max number of 10 GE 576 1152 2304
Max number of 40 GE 144 288 576
Max number of 100GE 32 64 128
Airflow Front to back Front to back Front to back
Power supplies (3-kW AC) Up to 4 Up to 8 Up to 10
Fan trays 3 3 3
* Future
Заключение

Cпасибо за внимание!
Максим Порицкий
инженер по направлению Сisco, ССIE R&S
m.poritsky@elcoregroup.com
март 2015

Обзор Cisco DC switches N9K-N7K 3.2015

Загружено:

Сведения о документе

Описание:

Авторское право

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Описание:

Авторское право:

Обзор Cisco DC switches N9K-N7K 3.2015

Загружено:

Описание:

Авторское право:

Обзор коммутаторов Cisco для

построения ЦОД - Nexus 7K и 9K

инженер по направлению Сisco, ССIE R&S

© 2014-2015 Elcore | Elko.by. All rights reserved. 1

© 2014-2015 Elcore | Elko.by. All rights reserved. 2

© 2014-2015 Elcore | Elko.by. All rights reserved. 3

© 2014-2015 Elcore | Elko.by. All rights reserved. 4

 Высокопроизводительные, модульные коммутаторы для ядра/агрегации ЦОД

© 2014-2015 Elcore | Elko.by. All rights reserved. 5

© 2014-2015 Elcore | Elko.by. All rights reserved. 6

16 слотов для линейных

8 слотов для линейных

* optional door and air filter

Вид спереди Вид сзади

7 слотов для линейных

Вид спереди Вид сзади

2 слота для линейных

Вид спереди Вид сзади

6 x коммутационных фабрик 4 слотов для линейных

* optional door and air filter

* optional door and air filter

 Обеспечивает control plane и management функции

© 2014-2015 Elcore | Elko.by. All rights reserved. 15

© 2014-2015 Elcore | Elko.by. All rights reserved. 16

Management Ethernet Консоль USB порты N77-SUP2E

© 2014-2015 Elcore | Elko.by. All rights reserved. 17

 Выполняет функции центрального коммутационного элемента между трафиком

 Максимально 5 x фабрик = 550Gbps на слот

 Все фабрики активны и передают трафик N7K-C7009-FAB-2=

 Поддерживается замена в горячем режиме

 В зависимости от типа I/O – получает соответствующую BW

© 2014-2015 Elcore | Elko.by. All rights reserved. 18

2 x 55Gbps канала (110G)

1st stage 3rd stage

© 2014-2015 Elcore | Elko.by. All rights reserved. 19

8 * 23G local fabric channels 8 * 55G local fabric channels

© 2014-2015 Elcore | Elko.by. All rights reserved. 20

 Функционал аналогичный Nexus 7000 Fabric 2 N77-C7710-FAB-2=

 Архитектура фабрики аналогичная Nexus 7000 Fabric 2

 Максимально 6 x фабрик = 1.32Tbps на слот

 Все фабрики активны и передают трафик

 Поддерживается замена в горячем режиме

 В зависимости от типа I/O – получает соответствующую BW

© 2014-2015 Elcore | Elko.by. All rights reserved. 21

© 2014-2015 Elcore | Elko.by. All rights reserved. 22

© 2014-2015 Elcore | Elko.by. All rights reserved. 23

Item Non-XL Mode XL Mode

© 2014-2015 Elcore | Elko.by. All rights reserved. 24

© 2014-2015 Elcore | Elko.by. All rights reserved. 25

© 2014-2015 Elcore | Elko.by. All rights reserved. 26

MAC / Linksec MAC / Linksec

1x100G / 3x40G / 12x10G 1x100G / 3x40G / 12x10G

© 2014-2015 Elcore | Elko.by. All rights reserved. 27

 F-Series Module is built with switch-on-chip (SoC) architecture, in which a

 Each SoC manages can manage several front-panel interfaces

© 2014-2015 Elcore | Elko.by. All rights reserved. 28

© 2014-2015 Elcore | Elko.by. All rights reserved. 29

48-port 1/10 GE SFP+ 48-port 1/10 GE BaseT

© 2014-2015 Elcore | Elko.by. All rights reserved. 30

L2, L3, vPC, VDC

40G QSFP 40G QSFP

• Для передачи 40G необходимо 4 пары (8 жил) 40G BiDi

Cisco® 40 Gb SR-BiDi QSFP

• Использует существующую CКС (под 10G)