SP 2 1 Routers Hardware Architecture Korzha Corr

Аппаратная
архитектура
маршрутизаторов и
ее особенности в
зависимости от их
назначения
Системный инженер Cisco Systems - Андрей Корж
Presentation_ID © 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential 1
Цели сессии
По итогам сессии получить :

1.  Более глубокое понимание аппаратного
дизайна маршрутизаторов
2.  Определение наиболее важных критериев
аппаратного дизайна и их привязки к
назначению устройств
3.  Понимание важности аппаратной архитектуры,
чтобы при выборе платформы для решения
задач мочь сравнивать архитектуры одного
класса.
2
Presentation_ID © 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential
Содержание
1.  Основные элементы анатомии маршрутизатора.

2.  История развитие маршрутизаторов Cisco
3.  Инженерные ограничения аппаратного дизайна
4.  Дизайн фабрик коммутации
5.  Дизайн Forwarding процессоров
6.  Основные заметки
3

4
Что внутри маршрутизатора?
•  Обрабатывающие элементы 
•  control‐plane – OS процессор 
•  data‐plane – сетевой процессор 
•  Память 
•  DRAM для  OS и  пакетных буферов 
•  SRAM для «кэшей» различного назначения 
•  TCAM для быстрого нахождения и доступа 
•  соединения 
•  шина доступа 
•  последовательный линк 
•  фабрика коммутации 
5  5
Производительность или гибкость?
CPU (Central Processing Unit) 
•  процессоры широкого назначания (CISC, RISC) 
•  высокая гибкость s/w [недели на доп функционал] 
•  низкая производительность[до 1Mpps] 
•  применение: маршрутизаторы доступа (ISR) 
ASIC (ApplicaKon Specific Integrated Circuit) 
•  одноцелевая аппаратно неизменная функциональность  
•  низкая гибкость реинжиниринга[2 года] 
•  высокая производительность[более 100 Mpps сегодня] 
•  применения: коммутаторы (Catalysts), опорные маршрутизаторы 
NP (Network Processor) = “нечто посредине”  
•  производительность + программируемость, наращиваемость, 
   параллельное мультипроцессирование 
•  умеренная гибкость s/w  [месяцы на доп функционал] 
•  умеренная производительность [4Mpps – 40 Mpps+] 
•  недешевы, достаточно энергоемки 
•  уровни программируемости– u‐code, C‐code 
•  применение: высокопроизводительные функциональные 
edge и агрегация  6  6
Типы памяти
Сегодня применяются две основных технологии памяти: 
•  StaKc RAM (SRAM, SSRAM) 
•  Dynamic RAM (DRAM, EDO DRAM, SDRAM, DDR) 
SRAM DRAM
Низкое потребление Высокое потребление
Высокая скорость Низкая скорость

[10-15ns] [40-60ns] /25
Низкая плотность Высокая плотность

[eg. 16M per chip] [eg. 1G per chip]
7  7
Типы памяти
(продолжение)
TCAM (Ternary Content Addressable Memory  
Троичная Ассоциативная память) 
  SRAM с компаратором для каждой ячейки 
  1 проход – очень быстро, но очень дорого 
  параллельное выполнение независимых поисков   
(ACL, QoS, Neflow, FIB) 
Содержимое и маска Адрес
. . .
192.168.100.xxx 801
192.168.200.xxx 802
192.168.300.xxx 803 Дерево последовательных поисков  
. . .
  8‐8‐8‐8 использует в  IOS в большинстве платформ 
  16‐8‐8 в 12000, 11‐8‐5‐8 ‐ C10K 
  Альтернативные подходы – 
192.168.200.111 802
8‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1‐1... (в SRAM) 
запрос результат
8  8
Presentation_ID © 2008 Cisco Systems, Inc. All rights reserved.
DENY
Cisco Confidential
Соединения
• шина 
•  полудуплекс, shared medium 
• Например PCI [800Mbps до 25Gbps+ ] 
•  просто и дешево 
•  Последовательный линк точка‐точка 
•  выделенное, одно или двух‐ направленное 
соединение 
•  например SPI [11.2Gbps+] 
• синхронный, с кодированием в линии 
•  Фабрика коммутации(cross‐bar, exchange) 
• неблокируемая, полный дуплекс, any‐to‐any 
•  например GSR, ASR9k, CRS [40Gbps to 9.6Tbps+ ] 
•  характеристики 
•  cell или frame коммутирующие 
•  центральный или распределенный арбитр 
•  одно или двух уровневая коммутация 
•  реплицирует мультикаст или нет 
9 
•  есть ли  реализация QoS в с. фабрике  
Cisco Confidential
9

10
Эволюция маршрутизаторов
CPU
CPU and
Centralized ASIC
processing
7200 5500
Hybrid CPU
< 1Mppsprocessing
Unmatched< 1Mpps
Distributed ASIC
processing
flexibility
7500 Hybrid
Limited processing
NPU
flexibility,
< 1Mpps high
6500 Main High >10
Centralized
performance
CPU-ASIC-NPU
limit: Mpps
processing
(9xGE)
flexibility
performance
10000 Limited features
>1processing
ASIC-NPU
Distributed Mpps
Limited
Main
Main features
limit:
limit:
>50
Distributed bus bus
Mpps (resolved
speed in
architecture
processing
12000 NPU
7600 nextMain
Complex>50 limit:
hardware Mppscomplex
releases)
feature
Centralized
NPU
architecture
dependencies
Complex (before
feature
Massively >1 NPUMpps
distributed
Main limit: features
dependencies
Eng3/5)
In-line
>500features
Mpps with
распределенная
ASR1000 CRS performance
>50 architecture
Almost ideal Mpps
ASR9000 Main limits:
Main limits:
Единая performance,
complex
архитектура
Main architecture
complexity, 20G/slot
Mainlimits:
limits:centralized
price
Централиз. Полностью распред. РаспределеннаяОграничение: linecard NPU
NPU (QFP) NPU (CPP, QFAP) ASIC (EARL) +
NPU (EzChip)
11

12
Выбор архитектуры или архитектура
выбора
Пропускная Processing Стоимость

Forwarding Forwarding Потребление
способность budget per на Гигабит
[Mpps] процессор на Гигабит [W]
[Gbps] packet [ns] [GPL USD]
Централизов
Catalyst 4500 250 320 анный 4 (no code) 2 500
1x1
Распределен
Cisco XR12000 240 300 ный. 250 (u-code) 25 6500
15x4
Централизов
Cisco ASR1000 16 20 анный 2000 (C code) 30 5000
1x40
13  13
Инженерные ограничения
1.  Основные ограничивающие факторы:

– цена
– энергопотребление
– охлаждение
– габариты
– производительность
– гибкость / перепрограммируемость
– Инновационность, технологичность
14
Цена как ограничение
1.  Соревнование производителей : лучше = лучше

2.  ...Но кроме этого - дешевле = лучше
3.  Фактор толкающий производить продукты не
высокой инновационности с минимизацией
расходов на R&D.
4.  Дешевле = больше ограничений, короткий
жизненный цикл, частое использование
продуктов, разработанных для применения в
других уровнях сети для другого класса задач и
условий эксплуатации.
15
Ватты и джоули
1.  Сейчас мы имеем ~400W per slot (CRS, ASR9k)

Плюс фабрика, RP, вентиляторы системы теплоотвода...
~15W на Gbit/s для CRS-1
~6W на Gbit/s для CRS-3
2.  Будущие генерации: 600Вт? 800Вт? На слот
3.  Модульные системы питания (CRS/ASR9k), можно
добавлять по мере заполнения шасси линейными картами
4.  2 по N-чипов: >2x э/потребление, один чип 2N чипов -
экономичнее
5.  Архитектура чипов Cisco (один «но большой») - более

«green»
Хотя требует больше времени на разработку.
16
Ватты и джоули(продолжение)
1.  ASR1k - “green”: <130-400W под 20G трафика с

услугами
Находится в пределах как CRS/ASR9k
2.  „Green” модное словечко

Следует обращать внимание на условия
декларируемого потребления.
3.  Технологии низкого ЭП: clock gating,
asynchronous processors, фрагментарное
обесточивание по необходимости...
4.  Разработка новых чипов
Движение к 45nm технологии позволило снизить
потребление на 1/3 (доступна с 2008)
32nm в 2010, 22nm в 2011, 16nm > 2015
17
Теплоотвод
1.  Airflow дизайн

front-to-back
может не отвечать NEBS требованиям к фильтрации
side-to-side
Требует более широкого шасси
front_top-to-back_bottom
Ограничивает размер линейных карт
2.  Моделирование температурных режимов.

(изменение кострукции LC и т.д.)
3.  Жидкостное охлаждение? (дорого, сложно)
18
Габариты
1.  „Недвижимость” на карте очень ограничена

12k linecard ~1500cm^2
CRS-1 linecard ~2300 cm^2
2.  Площадь одного чипа 200-300 cm^2
Менее 10 чипов на линейную карту?
Плюс коннекторы к backplane
Плюс межчиповые соединения
3.  Передняя понель для коннекторов и оптики
19
Производительность
1.  Враждующий треугольник : Пропускная способность
- производительность forwarding (PPS) -
используемый функционал
2.  Сохранение абсолютной скорости линейного
интерфейса(в pps) - дорого.
Линейные карты CRS поддерживают множество функционала
за счет дорогого процессора обработки (MSC), часто
предпочитаются менее производительные недорогие (FP)
3.  «Cell tax» и другие побочные эффекты

Снижение производительность при разных размерах пакетов
4.  Репликация Multicast

Проще дизайн, но ограничения в производительности
20
Гибкость
Три основных типа ASICs для выбора
1.  Field Programmable Gate Array (FPGA)
–  наинизшая фикс. цена, самая высокая цена в развитии
2.  Masked Gate Array (MGA)

–  средний показатель цен между FPGA и CIBC ;-)
3.  Cell Based Integrated Circuit (CIBC)

– Самая высокая фикс. цена, наиинизшая на доработку
21
Инновационность и технологичность
1.  Постоянно изменяющееся:

Технологические процессы(45nm и менее)
SPI ( убыстряются)
Эффективность теплоотвода(незначительно)
Оптимизация чипов(дизайн)
2.  Для новых технологических процессов цена на

элемент
На 40 % на первом году
На 30 % на втором году
Затем остается постоянной
3.  Новый технология внедряется каждые ~2 years

22
Инновационность и технологичность
(прод)
1.  Дизайн маршрутизатора новой генерации

требует около 4 лет!
В CRS (с 2008) применяется 65nm технология (2006)
...но его дизайн делался существенно ранее
2.  Беря в расчет 2-х летний цикл выхода новой

технологии, процесс планирования и дизайна
нового устройства должен начаться практически
еще до выхода предыдущего.
23
Коротко о дизайне чипов
1.  Electronic design automation (EDA)
2.  ULSI (Ultra Large Scale Integration)- >1M
транзисторов.
3.  Функциональный дизайн(используя библиотеки)
–  Размер, э/потребление, clocking speed
4.  Тестирование эмуляцией в software(synthesis)

5.  Подготовка процесса производства
6.  Производство прототипов
7.  Широкое тестирование прототипов
8.  Если баг в в hardware -> „re-spin ASIC”
Задержка выпуска на несколько месяцев
9.  При ограничении архитектуры -> частый „re-

Presentation_ID
spin ” платформы....
© 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential
24
Немного о производстве чипов
1.  Чипы производят на кремниевых подложках
называемых «вафлями» от 300mm до 450mm
Модернизация фабричного оборудования под новый технологический
процесс 10млрд. $
2.  Размер функциональности(сколько займет

силиконового пространства)
3.  Сколько места на подложке „рабочее”
60-90% чипа, остальное – соединения
4.  Чем больше чип – вероятность ошибки выше

при одинаковой технологии
–  Close to 0% (zero) for complex chips, in initial phase!
–  Quickly climbs to over 50% in the first months of production
–  Final yield is typically over 90%
–  For complex chips (such as Cisco) this is not so easy
25

26
Эволюция фабрик коммутации
•  Шина ‐> 1‐ступ. фабрика ‐> 2‐ступ. фабрика 
•  Ac†ve/standby фабрика ‐> ac†ve/ac†ve фабрика 
•  STM‐4 ‐> STM‐16 ‐> 10GE ‐> STM‐256 ‐> 100GE 
•  входящая ‐> исходящая репликация  mul†cast 
•  Fabric QoS (на уроках 76/12k!) 
•  Общий  RX/TX ASIC‐>  независимые  RX и TX ASIC 
27  27
Что такое фабрика коммутации?
Egress
Fabric Channel Linecards
•  addressable fabric port
•  one big pipe
RX RX RX RX
1 2 3 4
Ingress
1 What capacity?
Linecards TX
4 канала @ 10Gbps
неблокируемая
2
TX
MULTICAST
to slots 2,3,4 Инженерное:
3 4 * 10 = 40Gbps fdx
TX
UNICAST Маркетинговое:
to slot 3
4 * 10 *2 = 80Gbps
4
TX
UNICAST
to slot 3
28
Как выглядела бы идеальная фабрика
1.  Фиксированная цена за порт (тысячи 10G портов)

2.  Высокая плотность (малоразмерность и потребление)
3.  Поддержка субпортов(порты меньшей скорости)
4.  Высокая доступность
5.  Полная неблокируемость(любые комбинации загрузки и
утилизации фабрики без блокировок)
Исходящие буфера значительно больше входящих
Нет внутреннего speedup (overspeed, overclocking)
6.  Минимальная задержка
7.  Многоступенчатость
8.  Никаких уловок и компромисов ;)
29
Компромисы к дизайну фабрики
1.  «Субпорты» и настоящая неблокируемость крайне
дорога
2.  Попытка минимизировать :
Более высокая скорость обработки внутри фабрики чем
требуется линейным картам
дополнительная обработка очередей и управление
потоками внутри фабрики
30
Cisco CRS-1 фабрика коммутации
50 Gbps
136 Bytes Cells 100 Gbps/LC(2)
Fabric (2.5X Speedup)
40 Gbps Chassis
8 of 8
8 16
S1 S2 S3
2 2 of 8
2
1 of 8
Line Card 1 1 Line Card
S1 S2 S3
Два уровня Поддержка

приоритета мультикаста
HP Low Latency Traffic 1M Multicast Groups
S1 S2 S3
LP Best Effort Traffic
1296 X 1296 буферизованный неблокируемый коммутатор

Многоступенчатый интерконнект - трехступенчатая топология Бенеша
End2end управление прохождением трафика( flow control)
31
Почему нужен speedup?
1.  Блокировка субпортов и speedup
10G
10G
10G
20G STM16
2,5G
0G
STM16
2,5G
0G
STM16
2,5G
0G
STM16
32
Примеры фабрик
8x 2.5Gbps links
4x 2.5Gbps links
7+1 switch fabric
•  Cisco CRS-1/16,
•  40G linecard, 18x18 matrix 40G TX RX 40G
•  1 fabric port на слот
•  active/active redundancy
per-cell loadsharing
•  cell-based (136B cell), more 8 planes = 80Gbps
- 8/10 code = 64Gbps
packets packed in a cell - cell tax = ~56 Gbps
Active RSP
2x 3.125Gbps links
4:4 switch fabric
•  Cisco 7600, 720 Gbps
20G TX RX 20G
•  40G linecard, 18x18 matrix
•  2 fabric ports на слот
per-bit loadsharing •  active/standby redundancy
4 planes = 25Gbps
- 8/10 code = 20Gbps •  frame-based (64-9KB)
Standby RSP 33
“Non-Blocking”?
Ingress Egress
Linecards Linecards
TX
10G 10G RX
Port-to-Port трафик
• Нет потерь пакетов
TX
10G 10G RX
TX
10G 10G RX Any-to-Any трафик
•  Voice/Video/Data
TX
10G 10G RX •  Unicast/Multicast
•  есть потери! Почему?
34
Multicast репликация
репликация на выходе
Ingress RX
Linecards Хорошо:
Репликация на выходе
TX RX
•  Cisco CRS, 12000
•  Cisco ASR9K, 7600
TX RX
10Gbps of multicast
RX
eats 10Gbps fabric bw!
Неплохо:
Ingress RX
Linecards Выделеный fabric plane

Репликация на выходе
TX RX
Выделеный только под

TX RX 2.5G multicast- slot
(10G multicast impossible)
RX
35
Если фабрика не реплицирует?
Обходы при репликации на входе
Egress Linecards
Ingress RX
Linecards Плохо:
TX RX
Репликация на входе
•  один репликационный
чип
TX RX
10Gbps multicast
RX
съедает 160Gbps fabric bw!
(10G multicast невозможен)
RX
Ingress RX
RX
Достаточно неплохо:
RX
Linecards
бинарная репликация
TX
TX
TX
RX
RX
RX
на входе
TX RX
•  примитивная фабрика
TX
TX
RX
RX
коммутации
TX RX
TX RX
10Gbps multicast
RX
съедает 80Gbp fabric bw!
RX
RX
RX (10G multicast
36
невозможен)
Binary Tree проблемы Egress LC’s
01  X
02  03 
04  05  06  07 
08  09  10  11  12  13  14  15  X

16 17 18 19 20 21 22 23 24 25 26 27 29 30 31 32 
33 34 36 38 40 42 44 46 48  63 64 
X
Ingress DPC X
OIR пролема 
•  при извлечении линейной 
карты потоки видео теряются 
хаотически 
37
Cell tax - пояснения
cell Фикс. overhead [cell header, ~10%]
Пример формата hdr
cell payload
Относительный overhead [fabric header]
[48B]
ячейки: [5B]
изменяемый overhead [padding]
cell buffer Хорошая

IP Packet
40B IP Packet: hdr hdr
[40B] эффективность
[5B] [8B]
1Mpps = 1Mcps
1Gb/s  1.33Gb/s
cell buffer cell плохая
IP Packet empty
[first 40B]
hdr
[47B padding]
1Mpps = 2Mcps
[5B] [8B] [5B] 1Gb/s  2.6Gb/s
IP Packet [last 1B]
cell buffer cell посредствен
IP Packet empty
[first 40B]
hdr
[24B padding]
1Mpps = 2Mcps
[5B] [8B] [5B] 1Gb/s  1.7Gb/s
IP Packet [last 24B]
Cell Tax эффект на Linerate: пилообразная

кривая
% of Linerate
40
1100
100
200
300
400
500
600
700
800
900
1000
1200
1300
1400
1500
38
L3 Размер пакета [B]
Cisco Confidential
Cell tax невидимы трафику в CRS
140% 
120% 
100% 
Percentage of Linerate 
80% 
60% 
40% 
20% 
0% 
40  
100 
200 
300 
400 
500 
600 
700 
800 
900 
1000 
1100 
1200 
1300 
1400 
1500 
L3 Размер пакета[B] 
cell  buffer  buffer 
hdr  hdr  IP Packet 1  hdr 
IP Packet 2 
Упаковывние  cell  buffer 

beginning of IP Packet 3 
hdr  hdr 
пакетов 
 ( super‐framing):  cell 
hdr  rest of IP Packet 3 
buffer 
hdr  IP Packet 4  39
Cell tax – недостаточный overspeed
140% 
120% 
100% 
Процент от Linerate 
80% 
60% 
40% 
20% 
0% 
40  
100 
200 
300 
400 
500 
600 
700 
800 
900 
1000 
1100 
1200 
1300 
1400 
1500 
L3 Размер пакета [B] 
40
Cell tax ухудшение + 10% multicast
(за счет binary tree таксы на репликацию)
140% 
120% 
100% 
Процент от Linerate 
80% 
60% 
40% 
20% 
0% 
40  
100 
200 
300 
400 
500 
600 
700 
800 
900 
1000 
1100 
1200 
1300 
1400 
1500 
41
Cell tax худший случай – при отказе одного
из модулей фабрики
140% 
120% 
100% 
Процент от  Linerate 
80% 
60% 
40% 
20% 
0% 
40  
100 
200 
300 
400 
500 
600 
700 
800 
900 
1000 
1100 
1200 
1300 
1400 
1500 
42
Избыточность фабрики – отказ fabric card
1. failed: 56G  49G 2x overspeed
2. failed: 49G  42G
CRS-1
•  40G eth. Неблокируема
при отказе 1 или 2 fabric
cards 40G TX RX 40G
CRS-3
X
cards X
Active RSP
failed RSP: 180G  90G
ASR9000
TX RX •  80G Неблокируема при
80G 80G отказе RSP
TX Active RSP RX
•  cell tax – не проблема
X (superframe-based fabric,
не cell based)
Standby RSP 43
Избыточность фабрики – отказ fabric card
CRS-1: 56G  49G  42G 2x egress speedup
CRS-3: 141G  123G  106G
CRS-1
при отказе 1 или 2 fabric 40G TX RX 40G
cards 100G  100G
CRS-3
X
cards X
Active RSP
failed RSP: 184G  92G
ASR9000 корректный
TX RX active/active
80G  80G  •  80G Неблокируема при
TX Active RSP RX
отказе RSP
X •  cell tax – не проблема

(superframe-based fabric,
не cell based)
44
Избыточность фабрики–варианты active/
active failed SFM/RSP: 105G  52G
- massive cell dip for 50G (ok for 40G)
Вариант 1 - blocking! with m’cast
X
•  2 х SFM/RSP’s (SF + RP) Active SFM
• blocking if only 1 SFM active x8
TX RX
50G  50G 
Active SFM
x8
Failed SF: 126G  84G

- massive cell dip Active SF
- blocking! with m’cast
TX RX
80G  Active SF 80G  Вариант 2
X
RX
TX •  3rd SF (inactive control-plane)
TX RX
•  no backward compatibility
RX
TX
Active SF
•  blocking if only 2 SF’s active
45
HoLB (Head of Line Blocking)
решение:
Полосы по смягчение/решение:
направлениямs Есть место для разъезда
(= Virtual Output Queues) (= Overspeed)
Traffic Lights
(= Arbiter!)
46
Хорошее HoLB решение
Планировщик + Backpressure + QoS
неявный backpressure +
Ingress Egress Linecard Queues (VOQ)
Linecards arbiter Linecards
grant •  Cisco 12000 или ASR9000
10G 14G RX
TX
• VOQ (Virtual Output Queues)
IP ASIC  cell ASIC no Grant = implicit backpressure на исходящий слот
10G 14G
8q
8q
TX RX A9K To-Fab: 266
Virtual Output Queues (IP)
A9K From-Fab 36
- 8 на ислодящий слот (IPP/
EXP)
- Voice: strict scheduling
Speedup Queues (packets)
- Multicast: separate queues - u’cast: strict EF, AF, BE
explicit
backpressure - m’cast: strict Hi, Lo
40G 112G
TX RX явный backpressure +
Fabric Queues
TX
40G 112G RX •  Cisco CRS (1296 slots!)
S1
S2 S3
Input Q’s (IP) •  6144 destination queues
Destination Queues (packets) Fabric Queues (cells)
- configurable
- shaped
- u’cast: strict Hi, Lo - u’cast: strict Hi, Lo •  512 speedup queues
- m’cast: strict Hi, Lo - m’cast: strict Hi, Lo
•  4 очереди в каждой точке
(Hi/Lo UC/MC) + vital bit 47
Ограниченный и недостаточные HoLB
обходы Virtual Output Queues и Backpressure
Ingress Egress
arbiter
Linecards Linecards Порог отбрасывание
grant
20G 20G низкоприоритетного
RX
TX
трафика
• Cisco 7600 clear-block
20G 20G RX
TX
•  арбитр с backpressure
Fabric Queue Threshold •  входной порог для
- drops data packets causing HoLB
- protects Voice/Video traffic! приоритетного трафика
Overspeed Queues
- Нет строгого планирования  •  защита voice/TV при
- Нет multicast очереди  загрузке
arbiter
grant
10G 18G RX
бедный Fabric QoS дизайн
TX
request/grant loss •  не-linerate распред. арбитр
voice/video loss!!! = high latency!!!
10G 18G RX
-увеличение задержки при
TX
нагрузках
Destination Queues •  2 равновесовые очереди
- no strict scheduling 
- no multicast queues  -отбрасывает и voice/video
48
Пропускная способность фабрики и арбитр
Почему неблокируемые фабрики блокируются?
Egress
send to slot2
Arbiter Linecards
Ingress
TX Scheduler RX
Linecards GRANT CELL
Центральный синхронный 
CELL
TX RX арбитр 
•  Cisco 12000, 7600, ASR9K 
TX RX
•  неблокируемая арбитрация 
TX
  non‐blocking 
RX
SF загружается на 100% 
емкости. 
Ingress Egress
Linecards grant   non‐blocking*)  arbiter Linecards
Асинхронный 
TX RX
распределенный арбитр 
timeout arbiter
TX RX • Dual grant problems 
2 requests(1 lost)
•  Dual request problem 
2 grants (1 lost) arbiter
TX RX
SF начинает блокироваться 
timeout arbiter
TX RX при загрузке >66%. 
*) if not loaded too much  49
Что еще стоит заметить о
перспективных дизайнах фабрики
1.  Универсальность фабрики?
2.  Фабрика коммутации Cisco 12000 имела дизайн
позволяющий транспортировать АТМ ячейки.Эта
емкость фарики – на сейчас невсотребована.
3.  Фабрики коммутаций новых платформ вполне
могут быть гибридными сочетая способность
обрабатывать фрэймы наряду с иными видами
коммутации.
50

51
Почему не CPU?
1.  Если дизайн чипов так сложен , почему не СРU?

2.  Gigabit Ethernet = max. 1 488 952 Ппкс
3.  На обработку одного 671 ns времени процессора
4.  Время доступа к памяти 10..60 ns
5.  Т.е. 10 -60 раз доступиться к памяти на пакет!
Считать IP address получателя
Переписать IP header (TTL, checksum)
...не говоря об остальном
6.  „Почти” хватает. Но как быть с 10GE/40GE/100GE

7.  Решение – только параллельное процессирование
52
Forwarding ASIC’s и Network Processors
Цена vs. Производительность vs. Гибкость
Конвейерный L2/L3 Switch ASIC  Массив SMP u‐программир. NP 
• Catalyst 4500  • Cisco CRS‐1 
•  250Mpps, 320Gbps  •  80Mpps, 40Gbps 
•  185M транзисторов 
Параллельный  L2/L3 Switch ASIC 
•  core/edge/carrierE 
• Catalyst 6500 
•  48Mpps, 80+Gbps  Массив SMP C‐программир.  NP 
Конвейерный ASIC с микрокодовыми ступенями  • Cisco ASR1000 >40 patents 
• Cisco 12000   •  16Mpps, 20Gbps 
•  16Mpps, 10Gbps  •  1.3B transistors 
•  сложный функционал – cRTP, AToM, MVPN...   •  полностью программируем 
на C 
Конвейерный микрокодовый NP  •  100 engineers, 5 years 
•  Cisco 10000, 7300  •  обработка всего и тела 
•  9Mpps, 18Gbps  пакета! 
•  сложный функционал – PPPoE, ISG...   (firewalls, IPSec, DPI, ISG,...) 
Конвейерный SMP (symmetric mulKprocessing) микрокодовый NP 
• Cisco 7600, ASR9000 
•  20Mpps, 20Gbps 
•  очень сложный функционал – VPLS, PPPoE, ISG, Vidmon...   53
CRS-1 как инженерный труд
Дизайн занял 4 года
  10 ASICs разработано исключительно для
CRS-1
Sea
  Одни из самых сложных чипов в индустрии Squirt
(исключая графические чипы карт в PC ;-)
Moose
Sprayer
Sponge
Metro
Sharq
Reindeer
QLink Bambi
54
Опросник к выбору оборудование под
практическое применение
Фабрика
Фабрика Фабрика Фабрика Forwarding
коммутации
Стоимость 10G коммутации коммутации коммутации процессор
масштабируенмос
ть арбитрация Multicast overspeed
Синхронная Репликация,
ASIC/NP -
Агрегация центральная отдельные
микрокод
очереди
Репликация,
SMP/NP - С
отдельные SMP/NP - С
Edge код
очереди код
Нет арбитра , Репликация,

много отдельные ASIC/SMP -
Core очередей и очереди микрокод
backpressure
55
56

SP 2 1 Routers Hardware Architecture Korzha Corr

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

SP 2 1 Routers Hardware Architecture Korzha Corr

Загружено:

Авторское право:

Доступные форматы

Аппаратная

По итогам сессии получить :

1. Основные элементы анатомии маршрутизатора.

1. Основные элементы анатомии маршрутизатора.

Низкое потребление Высокое потребление

Высокая скорость Низкая скорость

Низкая плотность Высокая плотность

1. Основные элементы анатомии маршрутизатора.

1. Основные элементы анатомии маршрутизатора.

Пропускная Processing Стоимость

1. Основные ограничивающие факторы:

1. Соревнование производителей : лучше = лучше

1. Сейчас мы имеем ~400W per slot (CRS, ASR9k)

5. Архитектура чипов Cisco (один «но большой») - более

1. ASR1k - “green”: <130-400W под 20G трафика с

2. „Green” модное словечко

1. Airflow дизайн

может не отвечать NEBS требованиям к фильтрации

2. Моделирование температурных режимов.

1. „Недвижимость” на карте очень ограничена

3. «Cell tax» и другие побочные эффекты

4. Репликация Multicast

2. Masked Gate Array (MGA)

3. Cell Based Integrated Circuit (CIBC)

1. Постоянно изменяющееся:

2. Для новых технологических процессов цена на

3. Новый технология внедряется каждые ~2 years

1. Дизайн маршрутизатора новой генерации

2. Беря в расчет 2-х летний цикл выхода новой

4. Тестирование эмуляцией в software(synthesis)

9. При ограничении архитектуры -> частый „re-

2. Размер функциональности(сколько займет

4. Чем больше чип – вероятность ошибки выше

1. Основные элементы анатомии маршрутизатора.

1. Фиксированная цена за порт (тысячи 10G портов)

Два уровня Поддержка

1296 X 1296 буферизованный неблокируемый коммутатор

Linecards Выделеный fabric plane

Выделеный только под

04 05 06 07

08 09 10 11 12 13 14 15 X

cell buffer Хорошая

Cell Tax эффект на Linerate: пилообразная

Упаковывние cell buﬀer

X • cell tax – не проблема

Failed SF: 126G  84G

1. Основные элементы анатомии маршрутизатора.

1. Если дизайн чипов так сложен , почему не СРU?

6. „Почти” хватает. Но как быть с 10GE/40GE/100GE

Нет арбитра , Репликация,

Вам также может понравиться

1.  Основные элементы анатомии маршрутизатора.

1.  Основные элементы анатомии маршрутизатора.

1.  Основные элементы анатомии маршрутизатора.

1.  Основные элементы анатомии маршрутизатора.

1.  Основные ограничивающие факторы:

1.  Соревнование производителей : лучше = лучше

1.  Сейчас мы имеем ~400W per slot (CRS, ASR9k)

5.  Архитектура чипов Cisco (один «но большой») - более

1.  ASR1k - “green”: <130-400W под 20G трафика с

2.  „Green” модное словечко

1.  Airflow дизайн

2.  Моделирование температурных режимов.

1.  „Недвижимость” на карте очень ограничена

3.  «Cell tax» и другие побочные эффекты

4.  Репликация Multicast

2.  Masked Gate Array (MGA)

3.  Cell Based Integrated Circuit (CIBC)

1.  Постоянно изменяющееся:

2.  Для новых технологических процессов цена на

3.  Новый технология внедряется каждые ~2 years

1.  Дизайн маршрутизатора новой генерации

2.  Беря в расчет 2-х летний цикл выхода новой

4.  Тестирование эмуляцией в software(synthesis)

9.  При ограничении архитектуры -> частый „re-

2.  Размер функциональности(сколько займет

4.  Чем больше чип – вероятность ошибки выше

1.  Основные элементы анатомии маршрутизатора.

1.  Фиксированная цена за порт (тысячи 10G портов)

04  05  06  07 

08  09  10  11  12  13  14  15  X

Упаковывние  cell  buﬀer 

X •  cell tax – не проблема

1.  Основные элементы анатомии маршрутизатора.

1.  Если дизайн чипов так сложен , почему не СРU?

6.  „Почти” хватает. Но как быть с 10GE/40GE/100GE