Вы находитесь на странице: 1из 56

Cisco

Connect
Москва, 2017

Цифровизация:
здесь и сейчас
Методики и
инструменты для
самостоятельного
решения проблем
в сети
Леонтьев Дмитрий

Инженер технической поддержки Cisco


TAC

© 2017 Cisco and/or its affiliates. All rights reserved.


Классификация проблем

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 3
Проблемы, которые можно решить
самостоятельно
• Высокая загрузка процессора
• Потери пакетов
• Ошибки в конфигурации
• Снижение производительности

Проблемы, которые решаются с помощью


Cisco TAC
• Утечки памяти
• Определение причины крэша
• Аппаратный отказ

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 04
Высокая загрузка процессора

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 5
Устройства, передающие пакеты с
помощью центрального процессора
Power Flash
CPU
Supply
NVRAM
Bus
Interface RAM
ROM

System Bus
System Bus

Interface Interface Interface

Network Network Network


Controller Controller Controller

Архитектура маршрутизаторов семейства ISR G1 (Cisco 2800,


Cisco 3800), семейства ISR G2 (Cisco 2900, Cisco 3900),
маршрутизаторов серии Cisco 7200 и т.д.
Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 6
Устройства, передающие пакеты с
помощью специализированных
процессоров Embedded Services
Processor
(active)
Route
Processor
(active)
Route
Processor
(standby)
Embedded Services
Processor
(standby)

FECP RP RP FECP

Interconn. Interconn.
QFP QFP
Crypto
subsys- Crypto subsystem
assist tem assist

Архитектура Interconn. Interconn.

маршрутизаторов
серии ASR 1000 Passive Midplane

Interconn. Interconn. Interconn.

IOCP IOCP IOCP


SPA SPA SPA
Agg. Agg. Agg. SIPs

SPA … SPA SPA … SPA SPA … SPA

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 7
Устройства, передающие пакеты с
помощью специализированных
процессоров
Forwarding rate
MSFC <~500Kpps

1 Gbps
Архитектуры коммутаторов серии
Catalyst 6500, маршрутизаторов
Forwarding rate
серии Cisco 7600 PFC ~48+ Mpps

Linecard Linecard

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 8
Порядок передачи пакетов в устройстве

• Для устройств с программной обработкой пакетов единственным


процессором, выполняющим как задачи передачи транзитных пакетов,
так и обработки служебного трафика, случаи возникновения высокой
загрузки процессора нередки, так как, например, простое увеличение
числа передаваемых транзитных пакетов увеличивает нагрузку на
процессор.

• Для устройств с аппаратной обработкой пакетов центральный


процессор занимается обработкой служебных данных, а транзитные
данные, обрабатываются специализированными процессорами,
например QFP в ASR1000. Поэтому увеличение нагрузки на
центральном процессоре является нештатной ситуацией и требует
вмешательства администратора для устранения проблемы.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 9
Аппаратный и программный путь пакетов
• Транзитные пакеты если возможно должны обрабатываться
специализированными процессорами (аппаратный путь)
 CEF коммутация (большинство пакетов);
 ACL коммутация (например PBR);
 Netflow коммутация (например NAT).
• Пакеты не попадающие в специализированные процессоры для
обработки вызывают отклонения в работе
• Как результат отклонений пакеты, обрабатываются программным
обеспечением на центральном процессоре (punted) или сбрасываются
• Примеры причин обработки пакетов ПО на центральной процессоре:
 Пакет предназначен устройству (это не отклонение);
 Пакеты должны быть фрагментированы;
 Пакеты с опциями;
 Пакеты с TTL=1;
 Пакеты, требующие отправки ICMP;
 Отсутствие маршрута в аппаратном CEF.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 10
Высокая загрузка процессора

Высокая загрузка процессора может привести к нестабильной работе


сети, так как ресурсы устройства (процессор, память, буферы)
используются и для служебного трафика и для транзитного трафика
Симптомы высокой загрузки процессора:
• Нестабильная работа служебных приложений, например
протоколов маршрутизации;
• Снижение производительности;
• Ответ с задержками по Telnet или SSH;
• Потеря пакетов SNMP.
Какой уровень загрузки процессора считать высоким? Это зависит от того
что считается нормальной работой для устройства. Любое отклонение от
нормы должно привлечь внимание. Предельный случай – это когда
нагрузка длительное время превышает 80%.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 11
Определение высокой загрузки CPU

Основная команда для получения информации о высокой загрузке CPU


это show process cpu sorted.

Router#show process cpu sorted


CPU utilization for five seconds: 90%/85%; one minute: 35%; five minutes: 12%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
12 53228 132347 402 14.42% 4.25% 1.56% 0 ARP Input

Красный – процент общей загрузки CPU


Синий – процент загрузки CPU, который вызван прерываниями

Процент загрузки CPU процессами можно посчитать по формуле:


Загрузка CPU процессами = Общая загрузка CPU – Загрузка CPU
прерываниями

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 12
Получение данных о высокой загрузке
процессора

Если загрузка процессора достигла постоянного высокого значения и не


опускается, то в такой ситуации легче определить ее причину. В любой
момент времени мы можем собрать нужную нам статистику.
Если же нагрузка возникает на короткое время, то нужно сторожить эти
моменты, чтобы собрать данные. Но это не всегда возможно отследить.
В этой ситуации нам могут помочь автоматизированные механизмы
получения нужной информации, такие как TCL скрипты, Embedded Event
Manager, CRON.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 13
Embedded Event Manager

EEM (Embedded Event Manager) – встроенный компонент операционных


систем Cisco IOS, XE, XR и NX-OS, который облегчает жизнь
администратора, позволяя отслеживать и классифицировать события,
которые происходят на маршрутизаторах, а также обеспечивать
уведомления для этих событий. EEM позволяет автоматизировать задачи,
выполнять расширения и создавать обходные маршруты решения
проблем.
EEM использует детекторы событий и выполняет действия для
уведомления об этих событиях.

https://supportforums.cisco.com/document/117596/cisco-eem-basic-overview-and-sample-
configurations

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 14
Embedded Event Manager

Детекторы событий EEM:


• SNMP – мониторинг объектов SNMP.
• Syslog – реагирует на появление различных сообщений syslog, при этом
можно использовать регулярные выражения для поиска совпадений.
• Counter (счетчик) – мониторит и реагирует на превышение значений
счетчиков на интерфейсах.
• События CLI – отслеживается CLI ввод с помощью регулярных
выражений.
• None – этот детектор событий используется для тестирования скриптов
EEM с помощью команды "event manager run".
• Timers (таймеры) - (Countdown, watchdog и CRON)

• События IP SLA и Netflow.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 15
Embedded Event Manager

Действия EEM:
• Отсылает сообщения email
• Выполняет команды cisco
• Генерирует SNMP trap
• Перегружает маршрутизатор
• Генерирует приоритетные сообщения syslog
• Переключается на резервный модуль в системах с избыточностью и
отказоустойчивостью
• При наступлении события запрашивает системную информацию (show
tech, show proccess cpu history и т.д.)

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 16
Автоматический сбор статистики

Пример использования EEM (Embedded Event Manager)


event manager applet capture_cpu
event snmp oid 1.3.6.1.4.1.9.2.1.56 get-type next entry-op ge
entry-val 80 exit-time 180 poll-interval 30
action 1.01 cli command "enable"
action 1.02 syslog msg "TEST IN PROGRESS FOR CPU 80%"
action 1.03 cli command "show clock | append
bootflash:cpuinfo.log"
action 1.04 cli command "show platform software status
control-processor br | append bootflash:cpuinfo.log"
action 1.05 cli command "show process cpu sorted | append
bootflash:cpuinfo.log"

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 17
Команда (IOS-XE) для отображения высокой
загрузки процессора в syslog сообщениях

Router(config)#process cpu threshold type total rising 80 interval 5 falling 70


interval 5

------------------ show logging ------------------


%SYS-1-CPURISINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr): 79%/1%, Top 3
processes(Pid/Util): 600/56%, 276/18%, 9/1%
%SYS-1-CPUFALLINGTHRESHOLD: Threshold: Total CPU Utilization(Total/Intr) 54%/4%.

------------------ show process cpu ------------------


600 2189846 10615550 206 0.00% 0.09% 0.08% 0 BGP Router
276 979745 3229937 303 0.00% 0.03% 0.01% 0 IP RIB Update
9 5353819 390447 13712 0.00% 0.17% 0.20% 0 Check heaps

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 18
Алгоритм проведения траблшутинга
Высокая загрузка процессора

Вызван трафиком Анализ работы процесса, который вызвал


или процессом? процесс высокую загрузку

трафик

Используем инструменты для захвата


трафика

Анализ передачи трафика, для


Это ожидаемый
понимания почему пакеты попали в
тип трафика? нет процессор

да

Анализ источника пакетов с целью


Это ожидаемый
определения причины отправки
объем трафика? нет большого объема пакетов

Ищем способы как уменьшить нагрузку на


да процессор

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 19
Высокая загрузка процессора
процессами

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 20
Высокая загрузка процессора процессами
Процесс ARP Input
Вызывается большим количеством запросов протокола ARP
Причиной также может стать статический маршрут, сконфигурированный с
локальным интерфейсом вместо IP адреса следующего устройства. Это вызывает
создание запроса ARP для каждого пакета, у которого нет более специфического
маршрута.
ip route 0.0.0.0 0.0.0.0 GigabitEthernet 2/5
Router#show ip traffic | begin ARP
ARP statistics:
Rcvd: 6512 requests, 2092 replies, 0 reverse, 0 other
Sent: 258 requests, 707 replies (0 proxy), 0 reverse
Drop due to input queue full: 20
<snip>
Router#show interfaces | include line protocol|rate
GigabitEthernet 0/0/0 is up, line protocol is up
5 minute input rate 23013521 bits/sec, 2535 packets/sec
5 minute output rate 0 bits/sec, 0 packets/sec

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 21
Высокая загрузка процессора процессами
Процесс IP Input

Вызывается пакетами, которые должны быть обработаны


процессами или предназначены процессору.

Самые распространенные причины:


• Шторм броадскаст пакетов
• Пакеты, с опциями IP
• Пакеты для которых требуется отправка сообщений ICMP Redirect
или Unreachable, например TTL=1, ACL Deny и т.д..
• Пакеты, которые должны обрабатываться процессором, например
ACL Logging

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 22
Высокая загрузка процессора процессами
Процесс SNMP Engine
Router#show process cpu | include CPU|SNMP
CPU utilization for five seconds: 71%/0%; one minute: 29%; five minutes: 8%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
97 25889 203 127532 70.15% 31.11% 7.05% 0 SNMP ENGINE

Процесс BGP Scanner


Проходит вдоль таблицы BGP и подтверждает достижимость следующих
маршрутизаторов. Процесс также проверяет анонсы с условиями для того чтобы
определить будет BGP или не будет отправлять префиксы с условиями, выполняет
дампенинг маршрутов. Для этого процесса характерно кратковременное
периодическое увеличение нагрузки на процессор, когда устройство хранит
огромные таблицы маршрутизации.

Router#show proc cpu | include BGP|PID


PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
94 4 197 20 0.30% 0.00% 0.00% 0 BGP Router
103 0 1 0 0.05% 0.00% 0.00% 0 BGP I/O
145 188 186 1010 0.07% 0.00% 0.00% 0 BGP Scanner

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 23
Высокая загрузка процессора процессами
Процессы Exec и Virtual Exec

Высокая загрузка процессора возникает когда слишком много сообщений


отправляется на консоль или линии vty

Router#show process cpu | include CPU|Virtual |Exec


CPU utilization for five seconds: 30%/0%; one minute: 8%; five minutes: 5%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
3 272 194 1402 29.00% 2.12% 1.89% 0 Exec
54 180 1443 124 0.00% 0.00% 0.00% 1 Virtual Exec

Проверьте не включен ли режим отладки (debug) с помощью команды “show debug”.


Выполните “undebug all” если необходимо
Router#show debugging
Generic IP:
IP packet debugging is on

Отключите вывод сообщений с помощью команд “no logging console” или “no logging
terminal”

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 24
Высокая загрузка процессора пакетами

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 25
Определение пакетов, обрабатываемых
процессором
• Статистика по пакетам, которые видны в выводе команд show
interfaces, show ip traffic, анализ размера буферов к сожалению
не дает ответа на вопрос, почему пакеты отправляются для обработки в
процессор и как это предотвратить.
• В таком случае надо искать возможности анализа трафика, используя
архитектурные особенности оборудования.
• Как вариант, надо найти объединяющие особенности трафика
 Большая часть трафика приходит через один и тот же интерфейс,
vlan, совокупность интерфейсов, vrf
 Все пакеты имеют один и тот же адрес получателя
 Все пакеты созданы одним и тем же протоколом (MPLS, ICMP, TCP,
UDP), имеют один и тот же порт получателя
 Все пакеты большого размера, либо фрагментированы или имеют
опции

• Либо захват пакетов с их последующим анализом

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 26
Зеркалирование трафика c помощью
CPU SPAN

Захват трафика идущий на RP/SP с помощью CPU SPAN


Router(config)# monitor session 1 type local
Router(config-mon-local)# source cpu {rp | sp} [rx | tx | both]
Router(config-mon-local)# destination {interface}
Router(config-mon-local)# no shutdown
CPU SPAN зеркалирует трафик с точки зрения ASIC которые посылают и получают
трафик процессора, т.е. чтобы захватить трафик, получаемый процессором, надо
использовать параметр tx
Можно использовать фильтры для определения VLAN отправителя:
Router(config-mon-local)# filter {single_vlan | vlan_list |
vlan_range | mixed_vlan_list}

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 27
Определение трафика, загружающего
процессор

Если нагрузку на CPU создает трафик, который попадает на control plane,


то можно собрать трассу, проанализировать ее и сделать выводы о том
насколько данный трафик легитимен
#monitor capture cisco control-plane both
#monitor capture cisco buffer circular size 100
#monitor capture cisco match any

Запустить сбор трассы, когда трафик присутствует.


#monitor capture cisco start

Остановить сбор трассы через некоторое время:


#monitor capture cisco stop

Выгрузить с ASR трассу на TFTP сервер командой


#monitor capture cisco export tftp://<IP-addr of TFTP server>/cisco.pcap

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 28
Анализ собранной трассы с помощью
WireShark

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 29
Анализ трафика на супервизорах 720
Захват пакетов с помощью netdr выполняется контроллером MSFC
CPU. Это самое близкое место, в котором вы можете захватить пакеты на
MSFC для того чтобы определить какой трафик передается (punted) в
MSFC/RP CPU. Для супервизоров Sup720 и Sup32 имеется возможность
захватывать пакеты, идущие в RP или SP. Команда netdr может быть
использована для захвата пакетов, передаваемых в обоих направлениях
(Tx и Rx) при программной обработке (software-switching).

6500-2#debug netdr cap rx and-filter source-ip-address 10.10.10.2


destination-ip-address 10.100.101.10

6500-2#sh netdr cap


A total of 4096 packets have been captured
The capture buffer wrapped 0 times
Total capture capacity: 4096 packets

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 30
Анализ трафика на супервизорах 720

------- dump of incoming inband packet -------


interface Vl10, routine mistral_process_rx_packet_inlin, timestamp 00:00:11
dbus info: src_vlan 0xA(10), src_indx 0xC0(192), len 0x40(64)
bpdu 0, index_dir 0, flood 0, dont_lrn 0, dest_indx 0x380(896)
10020400 000A0000 00C00000 40080000 00060468 0E000040 00000000 03800000
mistral hdr: req_token 0x0(0), src_index 0xC0(192), rx_offset 0x76(118)
requeue 0, obl_pkt 0, vlan 0xA(10)
destmac 00.15.C7.26.FB.80, srcmac 00.00.01.00.06.00, protocol 0800
protocol ip: version 0x04, hlen 0x05, tos 0x00, totlen 46, identifier 0
df 0, mf 0, fo 0, ttl 100, src 10.10.10.2, dst 10.100.101.10
tcp src 0, dst 0, seq 0, ack 0, win 0 off 5 checksum 0x265C

https://supportforums.cisco.com/ru/document/125971

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 31
Защита процессора с помощью Control
Plane Policy Protection

Чтобы настроить CoPP необходимо:


• Определить критерии классификации пакетов:
Router(config)# class-map <traffic_class_name>
Router(config-cmap)# match <access-group>

• Определить сервисную политику


Router(config-pmap)# policy-map<service_policy_name>
Router(config-pmap)# class <traffic_class_name>
Router(config-pmap)# police <rate> conform-action transmit
exceed-action drop
• Перейти в режим конфигурирования control-plane
Router(config)# control-plane
Router(config-cp)#

• Применить политику QoS


Router(config-cp)# service-policy input <service_policy_name>

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 32
Пример СоРР. Ограничение трафика
telnet
! Определение класса telnet
class-map telnet-class
match access-group 140
! Определение списка доступа для выбора пакетов telnet
! Разрешить трафик от устройства 3.3.3.3
access-list 140 deny tcp host 3.3.3.3 any eq telnet
! Разрешить трафик от устройства 4.4.4.4
access-list 140 deny tcp host 4.4.4.4 any eq telnet
! Весь остальной трафик попадает под действие политики
access-list 140 permit tcp any any eq telnet
! Определение политики
policy-map control-plane-policy
class telnet-class
! Ограничить полосу пропускания для класса telnet равной 80kbps, при
превышении трафик отбрасывается
police 80000
! Назначить политику
control-plane
service-policy input control-plane-policy

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 33
Проверка работы СоРР
Router#show policy-map control-plane
Control Plane Interface
Service policy cpp-test
Hardware Counters:
class-map: cpp-class1 (match-all)
Match: access-group 111
police :
96000 bps 3000 limit 3000 extended limit
Earl in slot 6 :
0 bytes
5 minute offered rate 0 bps
aggregate-forwarded 0 bytes action: transmit
exceeded 0 bytes action: drop
aggregate-forward 0 bps exceed 0 bps
Software Counters:
Class-map: cpp-class1 (match-all) 0 packets, 0 bytes
5 minute offered rate 0 bps, drop rate 0 bps
Match: access-group 111
police:
100000 bps, 3125 limit, 3125 extended limit
conformed 0 packets, 0 bytes; action: transmit
exceeded 0 packets, 0 bytes; action: drop
conformed 0 bps, exceed 0 bps, violate 0 bps

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 34
Потери пакетов

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 35
Проверка потери пакетов
Просмотр статистики на интерфейсах:
Router#show interfaces
GigabitEthernet0/1 is up, line protocol is up
...
Input queue: 0/75/25350/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: Class-based queueing
Output queue: 0/1000/0 (size/max total/drops)
5 minute input rate 53272000 bits/sec, 13620 packets/sec
5 minute output rate 95490000 bits/sec, 16657 packets/sec

Уменьшение интервала вычисление статистики на интерфейсах:


Router(config-if)#load-interval 30

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 36
Потеря приходящих пакетов

Причина потери приходящих пакетов чаще всего связана с проблемами с


внутренними ресурсами устройства, которое по тем или иным причинам не
успевает обрабатывать приходящие пакеты.
Варианты решения проблемы:
• Устранить проблемы с загрузкой внутренних компонентов
• Увеличить размер очереди для приходящих пакетов

Router(config-if)#hold-queue ?
<0-240000> Queue length

Удалить статистику с интерфейсов после изменения размера очереди


Router#clear counters gigabitEthernet 0/0/0
Clear "show interface" counters on this interface [confirm]

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 37
Причины Input errors и Overrun на
ASR1000
TenGigabitEthernet0/1/0 is up, line protocol is up
...
Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0
Queueing strategy: fifo Output queue: 0/40 (size/max)
5 minute input rate 6281191000 bits/sec, 927759 packets/sec
5 minute output rate 6552635000 bits/sec, 991723 packets/sec
2739070738313 packets input, 2309716465895527 bytes, 0 no buffer
Received 12 broadcasts (0 IP multicasts)
0 runts, 0 giants, 0 throttles
9439290 input errors, 0 CRC, 0 frame, 9439290 overrun, 0 ignored

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 38
Проверка загрузки процессора
Router#show process cpu history
...
111111111111111111111111111111111111111111111111111111111111111111111111
100
90
80
70
60
50
40
30
20
10
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 39
Проверка загруженности QFP

Router#show platform hardware qfp active datapath utilization qfp 0


CPP 0: Subdev 0 5 secs 1 min 5 min 60 min
Input: Priority (pps) 1 2 2 2
(bps) 1328 2456 2600 2592
Non-Priority (pps) 1565455 1548418 1537575 1579971
(bps) 10211966456 10092549384 9995467136 10417804608
Total (pps) 1565456 1548420 1537577 1579973
(bps) 10211967784 10092551840 9995469736 10417807200
Output: Priority (pps) 0 0 0 0
(bps) 448 288 288 280
Non-Priority (pps) 1554012 1536990 1526164 1568631
(bps) 10201379664 10082326672 9985229536 10407201256
Total (pps) 1554012 1536990 1526164 1568631
(bps) 10201380112 10082326960 9985229824 10407201536
Processing: Load (pct) 33 32 32 33

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 40
Решение проблемы с Overrun
На ESP пакеты уходят с шины в General Packet memory (GPM). Эта память
разделена на равные части, привязанных к 16 возможным источникам
трафика (input FIFO). Для SPA выделено два канала, низкоприоритетный
канал и высокоприоритетный канал. Низкоприоритетному каналу
выделено 18.27% GPM и высокоприоритетному каналу выделено 19.24%
GPM.
Если пакеты покидают шину, но при этом нет свободного места в GPM, то
в этом случае для модуля SPA передается команда удерживать пакеты в
буферах на SPA. Если свободное место в буферах закончилось, то в этом
случае наблюдаются вида overrun.
Пакеты начинают отбрасываться когда GPM израсходована, а SPA
передана команда придерживать пакеты. Все это происходит когда
загрузка QFP далека от 100%, потому что свободные ресурсы
заканчиваются у GPM.
Устранить проблему можно путем использования обеих частей GPM –
низкоприоритетной и высокоприоритетной. По умолчанию Ethernet пакеты,
с маркировкой CoS 6 и 7, считает высокоприоритетными.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 41
Ошибки загрузки после обновления IOS

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 42
Важность обновления Firmware модулей
При обновлении версии IOS не забывайте обновлять программное обеспечение
для модулей, называемое Firmware. Проблемы с которыми можно столкнуться при
расхождении версий IOS и Firmware:
• Некорректная диагностика работы модулей. Диагностика может показывать
проблемы у работающего модуля и наоборот, у проблемного модуля будет
отображаться рабочее состояние.
• После очередного обновления IOS, устройство перестанет загружаться, если
Firmware осталось старым

Calculating SHA-1 hash...done


validate_package: SHA-1 hash:
calculated 386b07a7:34136664:8dd32677:3f852c97:bd9644be
expected a5e62506:70dad839:41872bd9:09fbeef9:39dbbd08
SHA-1 hash doesn't match
boot: cannot determine first file name on device "usb0:/"

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 43
Версии ROMmon для каждого модуля
------------------ show platform ------------------
...
Slot CPLD Version Firmware Version
--------- ------------------- ---------------------------------------
0 14011701 15.4(2r)S
1 14011701 15.4(2r)S
R0 13092401 15.2(1r)S
R1 13092401 15.2(1r)S

Cisco IOS ASR 1000 ASR 1002 ASR 1000 ASR 1000- ASR 1000- ASR1000- ASR1000- ASR1000- ASR1000-
XE Release RP1 RP1 RP2 ESP5 ESP10 ESP20 ESP40 ESP100 ESP200

3.13.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.14.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.15.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.16.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

3.17.x XND1 XND1 15.2(1r)S XNC XNC XNC 15.0(1r)S 15.3(1r)S 15.3(1r)S

http://www.cisco.com/c/en/us/td/docs/routers/asr1000/release/notes/asr1k_rn_rel_notes/a
sr1k_rn_sys_req.html#pgfId-3201398

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 44
Проблемы из-за недостатка памяти

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 45
Проблемы, вызванные недостатком
памяти

Оперативная память – один из важнейших компонентов устройства.


Оперативная память используется для хранения операционной системы
под управлением которой работает устройство, для хранения служебных
таблиц, создающихся автоматически в результате работы служебных
протоколов, таких как протоколы маршрутизации, ARP, CDP, VTP, SSH,
Telnet, HSRP и многих других.
Недостаток оперативной памяти приводит к нестабильной работе
отдельных приложений или устройства в целом. В отдельных случаях это
заканчивается самопроизвольной перезагрузкой устройства, так
называемым крэшем.
Наблюдение за размером свободной оперативной памяти работающего
устройства и своевременное вмешательство в процесс распределения
оперативной памяти позволит не допустить экстренных ситуаций в работе
оборудования.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 46
Проверка наличия ресурсов устройства

Проверьте на какую нагрузку рассчитано ваше устройство. Эту


информацию можно найти на сайте cisco.com. Например, для ASR1000
определено максимальное количество маршрутов для протоколов IPv4 и
IPv6, которые может поддерживать маршрутизатор с определенным
размером оперативной памяти.

Cisco ASR 1002-X Integrated Route Processor Product Specifications


Performance With 4-GB memory:
● Up to 500,000 IPv4 or 500,000 IPv6 routes
With 8-GB or 16-GB memory:
● Up to 1,000,000 IPv4 or 1,000,000 IPv6 routes - 8 GB
Memory
● Up to 3,500,000 IPv4 or 3,000,000 IPv6 routes - 16 GB
Memory

http://www.cisco.com/c/en/us/products/collateral/routers/asr-1000-series-aggregation-
services-routers/data_sheet_c78-441072.html

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 47
Проверка наличия ресурсов устройства
Memory options ● Cisco ASR 1002-X ships with 4-GB memory by default. It can be upgraded to 8- or 16-GB memory.
● Cisco ASR 1002-X has 4 DRAM memory slots, which can take either 2- or 4-GB DRAM each.
● When shipped with 4-GB DRAM (M-ASR1002X-4 GB), 2 slots are filled with 2 GB each.
● When shipped with 8-GB DRAM (M-ASR1002X-8 GB), 4 slots are filled with 2 GB each.
● When shipped with 16-GB DRAM (M-ASR1002X-16 GB), 4 slots are filled with 4 GB each.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 48
Software redundancy как причина нехватки
памяти

Redundancy обычно используется для обеспечения отказоустойчивости


устройства. При выходе из строя одного из компомнентов, управление
передается второму и устройство продолжает работать

Маршрутизаторы ASR1001, ASR1001-X, ASR1002, ASR1002-X, ASR1004


не поддерживают Hardware Redundancy, потому что в них нельзя
установить второй модуль RP.

Reliability and availability ● No route-processor hardware redundancy


● Software redundancy available (requires software redundancy license
and 8-GB memory)

Software Redundancy позволяет запустить два образа IOSd поверх Linux,


но при этом расходуется в два раза больше памяти.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 49
Распределение памяти на ASR1000

RP and Physical Memory Memory Allocated to IOSd Memory Allocated to Kernel and
(w/o IOSd redundancy enabled) other processes
RP1 (4GB) 1.7GB 2.3GB

RP2 (8GB) 4.2GB 3.8GB

RP2 (16GB) 10GB 6GB

ASR 1001 – 4GB 1.4GB 2.6GB

ASR 1001 – 8GB 4GB 4GB

ASR 1001 – 16GB 7GB 9GB

• Распределение памяти определяется архитектурными особенностями.


Вручную нельзя изменить распределение памяти.
• ASR1001, ASR1001-X, ASR1002-X используют одну память для всех
подсистем RP, ESP, SIP

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 50
Пример распределения памяти для
ASR1002

Router#show process memory output


Processor Pool Total: 1695268496 Used: 362330804 Free:
1332937692
lsmpi_io Pool Total: 6295088 Used: 6294116 Free: 972

Router#show version
cisco ASR1002 (2RU) processor with 1655643K/6147K bytes of
memory.
6 Gigabit Ethernet interfaces
32768K bytes of non-volatile configuration memory.
4194304K bytes of physical memory.
7798783K bytes of eUSB flash at bootflash:.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 51
Пример распределения памяти для
ASR1002-X

Router#show process memory output


Processor Pool Total: 3905088960 Used: 2876800024 Free:
1028288936
lsmpi_io Pool Total: 6295128 Used: 6294296 Free: 832

Router#show version
cisco ASR1002-X (2RU-X) processor with 3813739K/6147K bytes of
memory.
6 Gigabit Ethernet interfaces
32768K bytes of non-volatile configuration memory.
8388608K bytes of physical memory.
6684671K bytes of eUSB flash at bootflash:.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 52
Отключение Software Redundancy
#show running-config
...
redundancy
mode sso
#show version
...
cisco ASR1004 (RP2) processor with 1575783K/6147K bytes of memory.
...
8388608K bytes of physical memory.
#show running-config
...
redundancy
mode none
#show version
...
cisco ASR1004 (RP2) processor with 3015264K/6147K bytes of memory.

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 53
Сообщество технической поддержки

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 54
Сообщество Технической поддержки Cisco

https://supportforums.cisco.com

http://russiansupportforum.cisco.com

email:
csc-russian@external.cisco.com

Cisco Connect 2017 © 2017 Cisco and/or its affiliates. All rights reserved. 055
#CiscoConnectRu

Спасибо за внимание!
Оцените данную сессию в мобильном приложении конференции

Контакты:
www.facebook.com/CiscoRu Тел.: +7 495 9611410
www.cisco.com
www.vk.com/cisco

www.instagram.com/ciscoru

www.youtube.com/user/CiscoRussiaMedia

© 2017 Cisco and/or its affiliates. All rights reserved.