Table des matières

Introduction

Conditions préalables

Exigences

Composants utilisés

Informations générales

Vidéo

Terminologie

Commandes générales de validation du matériel

Syslogs IPv4 Scale

Exemples d'utilisation

Exemples d'utilisation (non-HP 16.12.x)

Exemples d'utilisation (non-HP 17.x)

Exemples d'utilisation (HP et 9600 17.x)

Dépannage

Limite d'évolutivité et correction (commutateurs UADP 2.0)

Limite d'évolutivité et correction (commutateurs UADP 3.0)

Scénario : mappages SGT/SXP | Évolutivité Trustsec

Commandes à collecter pour le TAC

Informations connexes

Introduction

Ce document décrit comment comprendre et vérifier l'utilisation du matériel FIB (IPv4 Forwarding Information Base) sur les commutateurs de la gamme Catalyst 9000.

Conditions préalables

Exigences

Aucune exigence spécifique n'est associée à ce document.

Composants utilisés

Les informations contenues dans ce document sont basées sur les versions de matériel et de logiciel suivantes :

- Commutateurs Cisco Catalyst 9200, 9300, 9400 et 9500 (non hautes performances) sur les logiciels Cisco IOS® XE 16.x et 17.x

- Commutateurs Cisco Catalyst 9500 (hautes performances), série 9600 sur les logiciels Cisco IOS® XE 16.x et 17.x

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

Lorsque vous dépannez une fonctionnalité qui ne fonctionne pas comme prévu, un bon point de référence est de confirmer que le matériel n'est pas au-delà de l'échelle du commutateur en question. Bien que la taille de ces tables matérielles puisse varier d'un commutateur à l'autre, la méthodologie de vérification et de dépannage reste généralement la même.

Cette page est également une page de référence où vous pouvez trouver des informations sur diverses fonctionnalités et comment vérifier l'échelle matérielle.

Des exemples sont fournis pour ces versions logicielles et types de périphériques :

- Trains logiciels 16.x et 17.x, car les sorties CLI sont sensiblement différentes

- Informations spécifiques aux modèles 9500 (hautes performances) et 9600, car ces modèles allouent la mémoire adressable par hachage et par contenu ternaire (TCAM) différemment des autres commutateurs Catalyst 9000

Ce document vous aide à :

- Comprendre quelle table (hachage/TCAM) est utilisée

- Comprendre ce qui consomme la table en question

- Comprendre pourquoi une table donnée a été utilisée (hachage par rapport à TCAM)

- Comprendre les journaux ou les messages d'erreur qui indiquent un problème de ressource

- Actions à entreprendre pour résoudre les problèmes d'allocation de ressources matérielles

Remarque : lorsque les commutateurs utilisent des VRF (Virtual Routing and Forwarding), l'utilisation totale doit inclure la consommation dans chaque VRF.

Vidéo

Cette vidéo traite du dépannage des problèmes de ressources matérielles FIB : Dépannage de l'épuisement des ressources matérielles FIB du commutateur Catalyst 9000

Terminologie

ADJ

Contiguïté (tableau)

Stocke les informations de tronçon suivant utilisées pour la réécriture des paquets

DI

Index de destination

Index qui pointe vers l'interface de sortie

EM

Correspondance exacte

Une entrée dans la mémoire de hachage qui correspond à 1:1 (route hôte, hôte connecté directement)

FIB

base de données de transfert

Table simplifiée avec préfixes ajoutés par les tables RIB (Routing Information Base) et ARP (Address Resolution Protocol) avec un pointeur vers la table ADJ

NOURRIR

Conducteur De Moteur Avant

La couche ASIC (circuit intégré spécifique à l'application) (matériel)

FMAN-FP

Gestionnaire de transfert - Plan de transfert

FMAN-FP gère les objets logiciels qui ajoutent, suppriment ou modifient des informations FED

LPM

Correspondance de préfixe la plus longue

Toute route de type /31 ou plus court (/32 routes sont de type EM)

RI

Index de réécriture

Les informations de réécriture d'adresse MAC pour le transfert de couche 3 vers la contiguïté de tronçon suivant

NERVURE

Base d'informations de routage

La table de routage est présentée dans la commande show ip route.

SDM

Gestionnaire de base de données

Processus logiciel qui alloue les ressources matérielles du commutateur à diverses fonctionnalités qui en ont besoin (adresses MAC, routes, entrées de liste d'accès)

SI

Indice De Station

Indice De Station =  Informations de réécriture de paquets (RI = Index de réécriture) et informations d'interface sortante (DI = Index de destination)

TCAM

mémoire ternaire adressable par le contenu

Type de mémoire qui stocke et interroge les entrées avec trois entrées différentes : 0, 1 et X. Ce type de mémoire doit être utilisé dans les cas où il peut y avoir plusieurs correspondances avec la même entrée, et le hachage résultant pour chacune d'elles ne serait pas unique. Cette table inclut un masque ou une valeur « X » qui lui permet de savoir si elle correspond ou non à cette entrée.

UADP

Accès unifié Cisco™ Plan de données

Architecture ASIC utilisée dans le commutateur

Connexion directe

Route connectée directement

Un préfixe d'hôte connecté localement (ARP adjacent)

Connecté indirectement

Route connectée indirectement

Une route qui passe par un tronçon suivant distant pour atteindre

SGT

SXP

CTS (Trustsec)

Commandes générales de validation du matériel

Ces commandes affichent des statistiques d'utilisation de haut niveau pour les ressources de hachage, TCAM, d'interface et de réécriture utilisées. Ces ressources sont liées, et l'épuisement de l'une des ressources mentionnées peut affecter la capacité à utiliser pleinement d'autres ressources disponibles.

Exemple : un commutateur peut avoir des paramètres Hash / TCAM disponibles, mais il n'a plus de contiguïtés. La capacité à transférer des paquets peut être affectée vers un préfixe de destination car le commutateur ne peut pas programmer une nouvelle entrée de réécriture.

show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM

show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)

show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

Remarque : Reportez-vous au « Chapitre : Configuration des modèles SDM » du « Guide de configuration de la gestion du système » pour plus d'informations sur ces commandes

Syslogs IPv4 Scale

Ce scénario montre comment chaque table est utilisée et ce qu'il faut faire si l'une ou l'autre table est à l'échelle ou au-delà. Il couvre également les ressources dépendantes requises pour le transfert vers une destination IP.

Symptôme : la ressource dépasse l'échelle

1. Problèmes d'accessibilité du périphérique ou du préfixe. Bien que les routes existantes ou les périphériques restent accessibles, les préfixes nouveaux ou mis à jour ne le sont pas.

2. Les messages du journal indiquent que le matériel ne peut pas prendre de nouvelles mises à jour d'objets

3. La couche objet, qui programme les logiciels dans le matériel, est encombrée

4. Entrées absentes au niveau de la couche matérielle affectée (dans ce cas, la FIB est la couche affectée).

Si vous êtes à court d'un message FIB IPv4 ou SYSLOG de ressource de contiguïté particulier, le système génère ce message

Message de journal FIB IPv4

Définition

Action de récupération

%FED_L3_ERRMSG-3-RSRC_ERR : Commutateur 1 R0/0 : fed : échec de l'allocation de la ressource matérielle pour l'entrée fib en raison d'une épuisement de la ressource matérielle

L'espace est insuffisant pour le matériel réservé aux entrées FIB IPv4 (EM ou TCAM)

Résumer les routes ou prendre d'autres mesures pour réduire l'échelle des entrées FIB (EM ou TCAM, selon le cas).

%FED_L3_ERRMSG-3-RSRC_ERR : R0/0 : fed :Échec de l'allocation de la ressource matérielle pour l'entrée adj - rc : 1

La table de contiguïté est épuisée. Il s'agit de la table dans le matériel où les adresses MAC de destination du tronçon suivant sont stockées.

Réduire le nombre d’hôtes connectés directement (ARP adjacent)

Exemples d'utilisation

Exemples d'utilisation (non-HP 16.12.x)

le logiciel Cisco IOS

Matériel

16.12.5

Commutateurs Catalyst 9200 9300 9400 9500 (non hautes performances)

Utilisation des ressources de référence

##### Baseline Setup & Usage #####

C9300#show version | include IOS

Cisco IOS XE Software, Version 16.12.05

Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)

C9300-48U

C9300##show ip interface brief | exclude unassigned

Interface           IP-Address          OK?  Method  Status          Protocol

<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured

/// TCAM and Hash ///

C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                  Max Values    Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192      3/19 <-- 3 hash / 19 TCAM is base usage

/// Adjacencies ///

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest     if_name         dst_mac       si_hdl      ri_hdl      pd_flags adj_id Last-modified

----     -------         -------       ------      ------      -------- ----- ------------------------

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                       Allocated      Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000 <-- Next hop Dest MAC for packet rewrite

/// SI DI RI resources ///

C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free

------------------------------------------

RSC_RI                       3       57317  <-- Rewrite Index

RSC_SI                     521       64847  <-- Station Index

Ajouter l'adresse IP du VLAN 1 SVI avec le masque /24

### ADD SVI IP with /24 mask length ###

C9300(config)#interface vlan 1

C9300(config-if)#ip address 10.10.10.1 255.255.255.0

C9300#show ip interface brief | inc up

Vlan1                 10.10.10.1        YES     manual    up                    up

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                Max Values      Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes               24576/8192        6/20  <-- usage = +3 hash, +1 TCAM

C9300#show platform software fed switch active ip adj

IPV4 Adj entries

dest         if_name         dst_mac          si_hdl         ri_hdl         pd_flags adj_id  Last-modified

----         -------         -------          ------         ------         -------- ----- ------------------------

227.0.0.0    Vlan1           0100.5e00.0000   0x7f4880ce37e8 0x7f4880cf3648 0x0      0xf80004b4  2021/02/26 17:48:47.992  <-- 1 Adj created for mcast

C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                      Allocated       Free

-------------------------------------------------------

PHF_EGRESS_destMacAddress                1        31999  <-- 1 Adj used for mcast

Ajouter 3 préfixes EM (masque /32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255      <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa         <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9300#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC [0]

Table                                                   Max Values   Used Values

--------------------------------------------------------------------------------

Directly or indirectly connected routes                 24576/8192       9/20  <-- usage = 3 Hash, 0 TCAM

Exemples d'utilisation (non-HP 17.x)

le logiciel Cisco IOS

Matériel

17,x

Commutateurs Catalyst 9200 9300 9400 9500 (non hautes performances)

Utilisation des ressources de référence

##### Baseline Setup & Usage #####

C9400#show version | include IOS

Cisco IOS XE Software, Version 17.03.02a

Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)

C9400-SUP-1

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I         49152       3     0.01%       2      0       1          0 <-- 3 hash

IP Route Table         TCAM         I         65536      15     0.02%       6      6       2          1 <-- 15 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01  <-- Rewrite Index

RSC_SI                                   520              64848               0.80  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  3/  15        49149/327      0.01/ 0.05 <-- Hash / TCAM Table usage

Ajouter l'adresse IP du VLAN 1 SVI avec le masque /24

C9400(config)#interface vlan 1

C9400(config-if)#ip address 10.10.10.1 255.255.255.0

C9400#show ip interface brief | exclude unassigned

Interface              IP-Address      OK? Method Status               Protocol

Vlan1                  10.10.10.1      YES manual up                  up

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Resource Info for ASIC Instance: 1 [A:0, C:1]

Shared Resource Name                     Allocated         Free             Usage%

----------------------------------------------------------------------------------

RSC_RI                                   4                 57316              0.01 <-- 1 Rewrite Index

RSC_SI                                   520               64848              0.80

Rewrite Data                             Allocated         Free              Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                1                 31999               0.00 <-- 1 Adj used for mcast

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  6/ 16         49146/32752    0.01/ 0.05 <-- 3 Hash + 1 TCAM

C9400#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl         ri_hdl         pd_flags adj_id      Last-modified

----            -------                 -------          ------         ------         -------- -----       ------------------------

227.0.0.0       Vlan1                   0100.5e00.0000   0x7fd8fd1654c8 0x7fd8fc8e6098 0x0      0xf8000444  2015/01/01 00:49:54.758  <-- 1 Adj created for mcast

Ajouter 3 préfixes EM (masque /32)

### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###

interface loopback 1

ip address 10.111.111.1 255.255.255.255       <-- Local /32 prefix

!

ip route 10.111.111.2 255.255.255.255 vlan 1  <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)

!

arp 10.10.10.100 aaaa.bbbb.cccc arpa          <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)

### Usage Result ###

/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.

C9400#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                   Subtype       Dir      Max    Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table          EM            I       49152       9    0.02%       8        0       1        0  <-- Previously was 6, + 3 for /32 EM

IP Route Table          TCAM          I       65536      16    0.02%       8        6       2        1  <-- Previously was 16, no change

C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   5                57315               0.01   <-- One Rewrite index

RSC_SI                                   522              64846               0.80   <-- Two Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                2                31998                0.01  <-- One Dest MAC used for ARP entry

CAM Table Utilization Info               Allocated        Free                Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  9/ 16        49143/32752     0.02/ 0.05 <-- 9 EM, 16 TCAM

Exemples d'utilisation (HP et 9600 17.x)

le logiciel Cisco IOS

Matériel

17,x

Commutateurs Catalyst 9500 (hautes performances) et 9600

Remarque : pour les modèles 9500 (hautes performances) et 9600, seules les CLI 17.x sont fournies. Consultez la section précédente pour obtenir des exemples de la version 16.x.

Utilisation des ressources de référence

##### Baseline Setup & Usage #####

9500H#show version | include IOS

Cisco IOS XE Software, Version 17.04.01

Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)

C9500-24Y4C

C9500H#show ip interface brief | exclude unassigned

Interface              IP-Address             OK? Method Status                 Protocol

<...empty...> <-- no SVI or any IP configured

C9500H#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir        Max     Used    %Used      V4     V6     MPLS     Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I         65536       3     0.00%       2      0        1         0 <-- 3 hash (EM/LPM)

IP Route Table         TCAM         I          1536      11     0.72%       6      3        2         0 <-- 11 TCAM

C9500H#show platform software fed active ip adj

IPV4 Adj entries

dest            if_name                 dst_mac          si_hdl           ri_hdl     pd_flags adj_id  Last-modified

----            -------                 -------          ------           ------     -------- -----   ------------------------

### !!! New CLI displays multiple resources in one place !!! ###

New CLI collects usage information for all resources related to all IP Routing in one output

C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                       <-- ASIC 0 Allocation

Shared Resource Name                     Allocated        Free              Usage%

----------------------------------------------------------------------------------

RSC_RI                                   3                90085               0.00  <-- Rewrite Index

RSC_SI                                   517              130397              0.39  <-- Station Index

Rewrite Data                             Allocated        Free               Usage%

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                98304                0.00 <-- Next hop Dest MAC for packet rewrite

CAM Table Utilization Info               Allocated         Free               Usage%

------------------------------------------------------------------------------------

IP Route table Host/Network                  4/  12        98300/1524     0.00/ 0.78 <-- Hash / TCAM Table usage

Dépannage

Limite d'évolutivité et correction (commutateurs UADP 2.0)

Cette section couvre un cas d'utilisation où le TCAM est épuisé pour IPv4 :

- Les préfixes simulés dans cet exemple sont /24

- Protocole BGP

- Plate-forme 9400

- Cisco IOS XE 17.3.2

Utilisation de référence

Avec le 9400 Sup-1, tout préfixe inférieur ou égal à /31 consomme le TCAM, et non l'EM

- Le nombre maximal de préfixes IPv4 pouvant être ajoutés à TCAM est 65535.

Remarque : la route IP EM et la TCAM sont également utilisées par la commutation multiprotocole par étiquette (MPLS) avec des étiquettes MPLS ajoutées à EM en premier, puis débordement vers la TCAM si la limite est atteinte. Si votre périphérique est un périphérique MPLS Provider Edge (PE) et attribue des étiquettes VPNv4, ce nombre est soustrait du nombre total.

Remarque : il est également important de savoir que si la mémoire EM se remplit en premier, elle peut déborder dans la mémoire TCAM. (Si le commutateur dépasse 49152 entrées EM, TCAM peut remplir avec les routes Connected et /32). Cependant, l'inverse ne se produit pas (si le TCAM se remplit, il ne déborde pas vers EM)

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536       24    0.04%       15        6        2        1

<...snip...>

Injecter les préfixes 80000 via BGP

C9407R#show bgp vpnv4 unicast all summary

BGP router identifier 10.255.255.255, local AS number 65000

BGP table version is 580445, main routing table version 580445

80003 network entries using 20480768 bytes of memory

80003 path entries using 10880408 bytes of memory

16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory

8002 BGP AS-PATH entries using 533708 bytes of memory

1 BGP extended community entries using 24 bytes of memory

0 BGP route-map cache entries using 0 bytes of memory

0 BGP filter-list cache entries using 0 bytes of memory

BGP using 36759516 total bytes of memory

BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs

80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago)

Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd

192.168.1.2     4        65001     101   40485   501775    0    0 01:25:44        0

192.168.1.6     4        65002   31330      96   580445    0    0 01:23:30    80003   <-- 80K prefixes injected in range 172.18.x.x

C9407R#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC  [0]

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I       65536       20    0.03%        0        0        0       20

Mac Address Table      TCAM         I        1024       21    2.05%        0        0        0       21

L3 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L3 Multicast           TCAM         I        1024        9    0.88%        3        6        0        0

L2 Multicast           EM           I       16384        0    0.00%        0        0        0        0

L2 Multicast           TCAM         I        1024       11    1.07%        3        8        0        0

IP Route Table         EM           I       49152       31    0.06%       18        0       13        0

IP Route Table         TCAM         I       65536    65536  100.00%    65527        6        2        1  <-- Limit is reached and TCAM cannot program all prefixes

Le message de journalisation indique que FED ne peut pas programmer une entrée de type FIB

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Solution

La récapitulation de préfixe est nécessaire pour résoudre ce type de problème d'échelle. La méthode de résumé dépend du protocole utilisé, de la contiguïté de vos sous-réseaux et de votre environnement spécifique.

- Dans cet exemple, BGP est le protocole et les techniques de résumé peuvent être trouvées sur cette page : IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter : Configuring BGP

- D'autres techniques de résumé sont disponibles dans la section Informations connexes de ce document. (Tous les liens fournis proviennent des pages de configuration 9500. Consultez d'autres guides de plate-forme si nécessaire).

Vous pouvez également vérifier les préfixes installés dans le matériel par longueur de préfixe afin de déterminer le nombre de chaque longueur, et les résumer si nécessaire.

C9300-48U#show platform software fed switch active ip route summary

Total number of v4 fib entries = 1024                       <-- total prefix count

Total number succeeded in hardware = 1024                   <-- total successfully installed in hardware

Mask-Len 0 :-  Total-count 2  hw-installed count 2

Mask-Len 4 :-  Total-count 2  hw-installed count 2

Mask-Len 8 :-  Total-count 4  hw-installed count 4

Mask-Len 24 :-  Total-count 1000  hw-installed count 1000 <-- breakdown by mask length

Mask-Len 30 :-  Total-count 2  hw-installed count 2

Mask-Len 32 :-  Total-count 14  hw-installed count 14

<...snip...>

Limite d'évolutivité et correction (commutateurs UADP 3.0)

Comme indiqué dans le document "Comprendre les ressources matérielles sur les commutateurs Catalyst 9000", les commutateurs basés sur UADP 3.0 utilisent une mémoire FIB optimisée qui combine les entrées de correspondance exacte (EM) et de correspondance de préfixe la plus longue (LPM). La mémoire TCAM n'est utilisée que pour les dépassements de capacité, les collisions et autres exceptions.

Si vous constatez que le TCAM est fortement utilisé et que le EM/LPM n'est pas utilisé (pas proche ou à des valeurs maximales), cela peut être dû à une conception de réseau dans laquelle trop de longueurs de préfixe sont utilisées. EM/LPM ne peut programmer qu'un nombre spécifique de longueurs de masque, mais ce nombre n'est pas statique. La quantité de masques que EM/LPM peut programmer varie en fonction du modèle SDM et varie davantage en fonction de l'échelle de routage de votre réseau.

En résumé, pour UADP 3.0, il existe un équilibre dynamique entre la configuration SDM, l’échelle de route (nombre de routes) et la variance de longueur de préfixe (nombre de masques de sous-réseau uniques). Si la table de routage IP TCAM est épuisée avant que la table de routage IP EM/LPM soit proche du maximum, il est possible qu'un problème se produise en raison de la configuration SDM, de l'échelle de routage (nombre de routes) et de la variance de longueur de préfixe (nombre de masques de sous-réseau uniques).

Quand une limite d'échelle FIB se produit, un syslog est généré qui indique que le matériel n'a pas pu programmer :

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

Remarque : le syslog indique uniquement une défaillance générique, pas spécifiquement EM/LPM, TCAM ou autre. Vous devez exécuter des commandes supplémentaires pour voir laquelle présente un problème.

9500-48Y4C (9500H / hautes performances - commutateur basé sur UADP 3.0)

Exemple d'utilisation de TCAM avant EM/LPM :

- Le résultat affiché indique que le TCAM de la table de routage IP (FIB) est plein, alors que le module EM/LPM ne l'est pas.

- Comprenez que le commutateur alloue des préfixes et des masques correspondants à plusieurs instances de tables de taille fixe dans la mémoire EM/LPM

- Une instance de table donnée représente une seule longueur de préfixe IPv4 ou IPv6. Le masque n'est pas enregistré pour chaque entrée de préfixe dans le matériel, seulement pour l'instance de table dans son ensemble, ce qui permet d'économiser de l'espace matériel précieux.

- L'allocation de masques de préfixe aux tables matérielles est dynamique et aucune entrée n'est requise pour qu'elle fonctionne.

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992    134345   63.08%       2        0       1        0  <-- 63% (EM is not near or at its limit)

IP Route Table         TCAM         I        1536      1516   98.70%       6        6       2        1  <-- 98% (TCAM is used before EM has reached scale limit)

Dans ce scénario, les tables EM/LPM peuvent être sous-utilisées :

- Pour chaque nouvelle table allouée, une longueur de masque de préfixe spécifique est dédiée à cette table. Toutes les entrées de cette table sont désormais limitées à cette longueur de masque. Si vous disposez d'un nombre d'entrées inférieur au maximum pour cette instance de table, l'utilisation effective est réduite du nombre d'entrées restantes dans cette instance de table. Ils ne peuvent pas être récupérés pour une autre longueur de masque.

- Si vous répétez cette utilisation non optimale sur plusieurs longueurs de masque, l'utilisation efficace de la mémoire EM/LPM est considérablement réduite.

- Lorsque les tables EM/LPM ne sont plus disponibles pour les nouvelles longueurs de masque, les préfixes associés à ce masque sont installés et débordent dans TCAM. L'espace TCAM limité se remplit rapidement.

- La quantité de tables disponibles pour EM/LPM varie en fonction de votre configuration SDM.

Une large distribution de longueurs de masque, combinée à des masques qui ont une faible quantité de préfixes, conduit à des scénarios où de nombreuses tables sont allouées et beaucoup sont sous-utilisées. Cela entraîne l'apparition des erreurs "Failed to allocate hardware resource for fib..." avant que l'utilisation matérielle maximale idéale ne soit atteinte sur les commutateurs basés sur UADP 3.0.

À mesure que le nombre d'instances de table allouées à une seule longueur de préfixe augmente, il est possible que le nombre de tables disponibles pour les préfixes d'autres longueurs soit insuffisant.

Une utilisation sous-optimale peut se produire lorsque la quantité d'entrées d'une longueur de préfixe n'utilise pas entièrement la dernière table dont elle fait partie.

Cet exemple illustre 4500 préfixes eBGP appris sur un commutateur 9500-48Y4C.

- Chaque table peut avoir environ 2048 routes / entrées.

- Le matériel a des tables de deux tailles fixes, 2048 et 8192. Ils sont alloués dynamiquement en fonction de l’échelle de la route, de l’utilisation des préfixes et du modèle SDM utilisé

- Pour cet exemple, trois tables de taille 2048 sont marquées comme /32 pour contenir 4500 routes de longueur de masque /32. Certaines des tables de taille 2048 disposent d'un espace alloué uniquement pour les routes IPv4 /32.

Ceci peut être observé via cette CLI :

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   11     Normal    0      0      0

2      8         1         2048   0      Normal    0      0      2048

...

Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

...

33        1            2048   2037      7             0   <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,

or other features.

...                                                            NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               7

1       162     2               3

2       164     0               1

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       0       0               0

1       139     2               0

Inject 4500 eBGP IPv4 routes;

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0         <<< Table index 1 fully utilized

2      8         1         2048   423    Normal    0      0      2048      <<< Table index 2 423 / 2048 utilized,

must be used for /32 IPv4 prefixes or other features

...

56     11        7         2048   2029   Normal    0      1      112640

Total Entries: 4500

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

...

33        3            6144   1644      4496          1   <<< Hardware Mask 33 increased table count to 3,  1644 "available" spots for /33 (for example IPv4 /32)

******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 *******

Asic: 0 Core: 0 Hash Id: 8 Table Id: 0

Index   MASK    GMR/LPM Idx     Used

0       33      2               2044

1       162     2               3    <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6.

Asic: 0 Core: 0 Hash Id: 8 Table Id: 1

Index   MASK    GMR/LPM Idx     Used

0       33      2               423

Asic: 0 Core: 1 Hash Id: 11 Table Id: 7

Index   MASK    GMR/LPM Idx     Used

0       33      2               2029

/>

Dans l'exemple suivant, la quantité minimale de préfixes est injectée pour forcer l'utilisation d'une nouvelle table pour chaque longueur de masque comprise entre /11 et /32.

Pour ce faire, le modèle SDM « Distribution » est utilisé sur Cisco IOS XE 17.3, qui comporte 56 tables pouvant être allouées dynamiquement pour les entrées FIB.

- /32 longueur est portée à 74000 préfixes

- /12 - 300 préfixes

- /11 - 1 250 préfixes

- Les longueurs de masque comprises entre /13 et /32 contiennent environ 12 préfixes. Moins, et le matériel peut choisir d'utiliser la TCAM pour stocker les préfixes d'une longueur de masque donnée.

Remarque : l'algorithme matériel qui régit l'allocation EM/LPM et TCAM est complexe, ce qui équilibre à la fois la configuration utilisateur et les limitations du matériel. Les résultats présentés dans ce document ne sont pas entièrement représentatifs du comportement d'un système dans un réseau de production.

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688       11    0.01%        7        3        1        0

IP Route Table         TCAM         I        1536       15    0.98%        7        6        2        0

Inject the routes...

*Jan  8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054

F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization  | include Subtype|IP Route

Table                  Subtype      Dir      Max     Used    %Used       V4       V6     MPLS    Other

IP Route Table         EM/LPM       I      114688    73326   63.94%    73322        3        1        0   <<< EM/LPM at 63.94%

IP Route Table         TCAM         I        1536     1535   99.93%     1527        6        2        0   <<< TCAM nearly full

F241.03.23-C9500-2#show platform software fed active ip route summary

Total number of v4 fib entries = 75789

Total number succeeded in hardware = 74847

Mask-Len 0 :-  Total-count 1  hw-installed count 1

Mask-Len 4 :-  Total-count 1  hw-installed count 1

Mask-Len 8 :-  Total-count 2  hw-installed count 2

Mask-Len 11 :-  Total-count 1250  hw-installed count 1250

Mask-Len 12 :-  Total-count 300  hw-installed count 300

Mask-Len 13 :-  Total-count 12  hw-installed count 12

Mask-Len 14 :-  Total-count 12  hw-installed count 12

Mask-Len 15 :-  Total-count 12  hw-installed count 12

Mask-Len 16 :-  Total-count 12  hw-installed count 12

Mask-Len 17 :-  Total-count 12  hw-installed count 12

Mask-Len 18 :-  Total-count 12  hw-installed count 12

Mask-Len 19 :-  Total-count 12  hw-installed count 12

Mask-Len 20 :-  Total-count 12  hw-installed count 12

Mask-Len 21 :-  Total-count 12  hw-installed count 12

Mask-Len 22 :-  Total-count 12  hw-installed count 12

Mask-Len 23 :-  Total-count 12  hw-installed count 12

Mask-Len 24 :-  Total-count 12  hw-installed count 12

Mask-Len 25 :-  Total-count 12  hw-installed count 12

Mask-Len 26 :-  Total-count 12  hw-installed count 12

Mask-Len 27 :-  Total-count 12  hw-installed count 12

Mask-Len 28 :-  Total-count 12  hw-installed count 12

Mask-Len 29 :-  Total-count 12  hw-installed count 12

Mask-Len 30 :-  Total-count 12  hw-installed count 12

Mask-Len 31 :-  Total-count 12  hw-installed count 12

Mask-Len 32 :-  Total-count 74007  hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware

F241.03.23-C9500-2#show platform software fed active hash l3unicast

********************* TABLE INFO ASIC 0 *********************************

Index  Hash Id   Table Id  Size   Used   Mode      Asic   Core   BaseIdx

1      8         0         2048   2048   Normal    0      0      0

...

56     11        7         2048   12     Normal    0      1      112640     <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column

*************************** MASK INFO *********************************

Mask Id   Table Count  Size   Available Hash Entries  Overflow Entries

1         0            0      0         0             1

5         0            0      0         0             1

9         0            0      0         0             2

10        0            0      0         0             0

11        0            0      0         0             0

12        1            2048   809       1239          11

13        1            2048   1759      289           11

14        1            2048   2047      1             11

15        1            2048   2047      1             11

16        1            2048   2047      1             11

17        1            2048   2036      12            0

18        1            2048   2036      12            0

19        1            2048   2036      12            0

20        1            2048   2036      12            0

21        1            2048   2036      12            0

22        1            2048   2036      12            0

23        1            2048   2036      12            0

24        1            2048   2036      12            0

25        1            2048   2036      12            0

26        1            2048   2047      1             11

27        1            2048   2047      1             11

28        1            2048   2047      1             11

29        1            2048   2047      1             11

30        1            2048   2047      1             11

31        1            2048   2047      1             11

32        1            2048   2047      1             11

33        35           71680  0         71676         1389      <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.

Pour résoudre ce scénario, utilisez une ou plusieurs de ces options par ordre de priorité

- Étudiez d’autres modèles SDM :

- L'augmentation des modèles d'échelle de routage FIB/IP augmente le nombre total de tables matérielles disponibles pour ce FIB. Cela peut améliorer l'utilisation efficace (entrées utilisées / entrées disponibles) ainsi que l'échelle totale.

- À l'inverse, les modèles SDM à faible échelle pour FIB / IP Route réduisent la quantité totale de tables matérielles disponibles pour FIB.

- Supprimez entièrement une ou plusieurs longueurs de préfixe (masque) de votre table de routage

- Récapituler les routes (réduire le volume total des préfixes)

Remarque : Reportez-vous au « Chapitre : Configuration des modèles SDM » du « Guide de configuration de la gestion du système » pour les commutateurs des gammes Catalyst 9500 et Catalyst 9600 pour en savoir plus sur les modèles SDM.

Scénario : mappages SGT/SXP | Évolutivité Trustsec

Commandes à collecter pour le TAC

Les problèmes de ressources matérielles les plus courants liés à l'utilisation d'IPv4 sont traités dans ce guide, avec les étapes de correction appropriées. Toutefois, si ce guide ne résout pas votre problème, collectez la liste de commandes affichée et joignez-la à votre demande de service TAC.

show tech-support

show platform hardware fed active fwd-asic resource tcam utilization

show platform hardware fed active fwd-asic resource utilization

show platform hardware fed active fwd-asic resource rewrite utilization

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

show platform software fed active ip route summary

show platform software fed active hash l3unicast

show ip route

show ip route vrf *

Si vous rencontrez un problème avec ce document, utilisez le bouton Commentaires situé dans le volet droit de cet article. Fournissez autant de détails que possible lorsque vous envoyez la demande ou les commentaires sur ce document, qui inclut des informations sur la section, le domaine ou le problème que vous avez rencontré avec le document et ce qui pourrait être amélioré.

Informations connexes

Assistance et documentation techniques - Cisco Systems

Comprendre les ressources matérielles sur les commutateurs Catalyst 9000

Guide de configuration du routage IP, Cisco IOS XE Amsterdam 17.3.x (commutateurs Catalyst 9500) - Chapitre : Configuration du protocole OSPF

Guide de configuration du routage IP, Cisco IOS XE Amsterdam 17.3.x (commutateurs Catalyst 9500) - Chapitre : Configuration du protocole EIGRP

Guide de configuration du routage IP, Cisco IOS XE Amsterdam 17.3.x (commutateurs Catalyst 9500) - Chapitre : Configuration du protocole BGP

Guide de configuration de la gestion du système, Cisco IOS XE Amsterdam 17.3.x (commutateurs Catalyst 9500) - Chapitre : Configuration des modèles SDM

Fiche technique des commutateurs de la série Cisco Catalyst 9200

Fiche technique des commutateurs de la série Cisco Catalyst 9300

Fiches techniques des commutateurs Cisco Catalyst 9400

Fiches techniques des commutateurs Cisco Catalyst 9500

Fiche technique des commutateurs de la série Cisco Catalyst 9600

Livre blanc sur l'architecture de Cisco Catalyst 9500