目录

简介

先决条件

要求

使用的组件

背景信息

术语

ASIC版本信息（UADP 2.0与3.0）

通用硬件验证命令

Cisco IOS XE 17.x通用硬件验证命令

Cisco IOS XE 16.x通用硬件验证命令

每功能硬件验证命令

场景：IPv4前缀

IPv4系统日志

场景：ACL

ACL系统日志

场景：NAT

NAT系统日志

场景：MPLS

MPLS系统日志

场景：QoS

QoS系统日志

相关信息

思科漏洞ID

简介

本文档介绍如何了解Catalyst 9000系列交换机上的硬件资源并对其进行故障排除。

先决条件

要求

本文档没有任何特定的要求。

使用的组件

本文档中的信息基于以下软件和硬件版本：

- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9200、9300、9400、9500非HP系列交换机

- Cisco IOS® XE 16.x和17.x软件上的Cisco Catalyst 9500HP、9600系列交换机

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您的网络处于活动状态，请确保您了解所有命令的潜在影响。

背景信息

- Catalyst 9000系列交换机的各种功能消耗有限的硬件资源。这些资源的存在是为了提高这些功能的性能，并提供交换机预期的预期高转发速率。

- 这些表的大小因交换机型号而异，但基本的故障排除方法保持不变。

- 通常情况下，LAN交换中的主要有限硬件资源称为TCAM(TCAM是一种内存技术，特别适用于存储LPM（最长前缀匹配）信息以用于快速查找或其他类型的OR逻辑查找)。

- 在Catalyst 9000系列交换机中，除了使用“TCAM”之外，还使用多种内存类型，这适合特定功能的特定需求（HASH是另一种简化内存）。MAC地址表就是这种内存类型的示例)。

对未按预期运行的功能进行故障排除时，良好的出发点是确认硬件不超过相关交换机的规模。虽然交换机在这些表的大小上可能不同，但验证和故障排除方法大体相同。

注意：此页面也是一个参考页面，您可以在其中找到有关各种功能以及如何检查其硬件规模的信息。

注意：根据平台，CLI有时包含术语“switch”，有时则不包含。('show platform hardware fed <number|active|standby> fwd-asic resource tcam utilization'与show platform hardware fed <active> fwd-asic resource tcam utilization

术语

EM

精确匹配

哈希内存中的条目是1:1匹配（主机路由、直连主机）

LPM

最长前缀匹配

任何是/31或更短的路由（/32路由是EM类型）

TCAM

三重内容可寻址存储器

一种内存，用于存储和查询具有三个不同输入（0、1和X）的条目。当同一条目可能存在多个匹配项，并且每个匹配项的结果哈希值不唯一时，必须使用这种内存。 此表包含一个掩码或“X”值，使其可以知道它是否与此条目匹配。

渠道客户经理

内容可寻址存储器

硬件内存通用术语(Hash/TCAM)

RIB

路由信息库

show ip route中显示的路由表

FIB

转发信息库

带有由RIB和ARP表添加前缀的简化表，带有指向ADJ表的指针

直接连接

直接连接的路由

本地连接的主机前缀（ARP邻接）

间接连接

间接连接的路由

通过远程下一跳到达的路由

ADJ

邻接（表）

存储用于数据包重写的下一跳信息

EM

精确匹配

连接的主机，间接/32主机前缀

TCAM

三重内容可寻址存储器

间接前缀/31或更短

美联储

转发引擎驱动程序

ASIC（硬件）层

FMAN-FP

转发管理器 — 转发平面

FMAN-FP管理添加、删除或修改FED信息的软件对象

SI

站点索引

站点索引 =  数据包重写信息（RI =重写索引）和出站接口信息（DI =目标索引）

RI

重写索引

第3层转发到下一跳邻接的MAC地址重写信息

DI

目标索引

指向出站接口的索引

UADP

思科统一接入™ 数据层面

交换机中使用的ASIC架构

ASIC版本信息（UADP 2.0与3.0）

Catalyst 9000系列ASIC 2.0和3.0版本之间的主要区别在于如何填充或使用FIB硬件。

在UADP 3.0中，使用称为EM/LPM的内存：

- 主机路由（/32掩码长度）和直连（ARP邻接）

- /31或更短的前缀（需要掩码比较才能做出转发决策）

在UADP 3.0中，TCAM仍然适用于FIB，但仅用于无法使用EM/LPM的特殊情况或例外。

- 例如，如果IP地址空间不连续或使用了多个地址空间，并且无法合并到EM/LPM中。

在UADP 2.0中，内存分为两个部分EM和TCAM:

- EM用于/32主机路由和直连（ARP相邻）主机

- TCAM用于需要前缀掩码比较的/31或更短的前缀

比较两种ASIC类型之间的以下输出：

在本示例中，9500-12Q具有明显更多的“TCAM”空间。但是，9500-48Y4C(9500H)的EM/LPM规模更大。

- LPM代表“最长前缀匹配” — 同样的逻辑同样适用于9500-12Q的TCAM，但并未特别指出。

- 9500H上的EM/LPM表示此共享内存空间用于精确匹配(EM)和LPM（基于前缀）条目。系统使用优化的内存系统来实现可扩展性、性能和灵活性。

- 9500H上的TCAM显着减少是为了存储特殊条目，特别是“散列冲突”（当无法生成特定条目的唯一散列时）。

9500-48Y4C（9500H/高性能 — 基于UADP 3.0的交换机）

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM/LPM       I      212992        3    0.01%        2        0       1        0  <-- LPM matches now stored here

IP Route Table         TCAM         I        1536       15    0.02%        6        6       2        1  <-- Used for exception cases

9500-12Q（基于UADP 2.0的交换机）

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable

CAM Utilization for ASIC [0]

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other

------------------------------------------------------------------------------------------------------

IP Route Table         EM           I        49152        3    0.01%        2        0       1        0

IP Route Table         TCAM         I        65536       15    0.02%        6        6       2        1  <-- LPM matches are stored here in 2.0

注：有关UADP架构的详细信息，请参阅Cisco Catalyst 9500架构白皮书

通用硬件验证命令

这些命令显示所使用散列、TCAM、接口、重写资源的高级使用统计信息。

- 这些资源是相关的，耗尽从属资源可能会影响完全使用其他可用资源的能力。

- 在17.x系列中更改这些命令的输出，可以更轻松地读取硬件和诊断特定问题。

示例： 交换机可以有可用的Hash/TCAM，但邻接关系已用完。

- 数据包转发能力可能会影响到某个目标前缀，这不是因为硬件无法对FIB进行编程，而是因为硬件无法对新重写条目进行编程。

show platform hardware fed

active fwd-asic resource tcam utilization

<-- Hash & TCAM

show platform hardware fed

active fwd-asic resource utilization

<-- SI/RI/DI/etc (other related resources)

show platform hardware fed

active fwd-asic resource rewrite utilization

<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

### 17.x train CLI displays multiple resources in one place (these are not available in 16.x) ###

New CLI combines aspects of all 3 commands into one table for easier diagnosis of all resources related to IPv4

show platform hardware fed active fwd-asic resource features ip-adjacency utilization

Cisco IOS XE 17.x通用硬件验证命令

show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。

代码：

- EM - Exact_Match < — 请参阅术语表了解定义

- I — 输入，O — 输出，IO — 输入和输出，< — 如果资源是方向的，则说明它

- 不适用< — 如果方向不适用

Switch#show platform hardware fed active fwd-asic resource tcam utilization

Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable                 <-- Key for table abbreviations

CAM Utilization for ASIC [0]                                                                             <-- Content Addressable Memory for ASIC 0

Table                  Subtype      Dir       Max     Used    %Used       V4       V6    MPLS    Other   <-- CAM usage broken down per resource & memory type (EM versus TCAM)

------------------------------------------------------------------------------------------------------

Mac Address Table      EM           I        65536       18    0.03%        0        0       0       18

Mac Address Table      TCAM         I         1024       21    2.05%        0        0       0       21

L3 Multicast           EM           I        16384        0    0.00%        0        0       0        0

L3 Multicast           TCAM         I         1024        9    0.88%        3        6       0        0

L2 Multicast           EM           I        16384        0    0.00%        0        0       0        0

L2 Multicast           TCAM         I         1024       11    1.07%        3        8       0        0

IP Route Table         EM           I        49152        3    0.01%        2        0       1        0  <-- Data from RIB/FIB populated here

IP Route Table         TCAM         I        65536       15    0.02%        6        6       2        1  <-- Data from RIB/FIB populated here

QOS ACL                TCAM         IO       18432       85    0.46%       28       38       0       19

Security ACL           TCAM         IO       18432      129    0.70%       26       58       0       45

Netflow ACL            TCAM         I         1024        6    0.59%        2        2       0        2

PBR ACL                TCAM         I         2048       22    1.07%       16        6       0        0  <-- Data for PBR & NAT populated here

Netflow ACL            TCAM         O         2048        6    0.29%        2        2       0        2

Flow SPAN ACL          TCAM         IO        1024       13    1.27%        3        6       0        4

Control Plane          TCAM         I          512      276   53.91%      126      106       0       44

Tunnel Termination     TCAM         I         1024       18    1.76%        8       10       0        0

Lisp Inst Mapping      TCAM         I         2048        1    0.05%        0        0       0        1

Security Association   TCAM         I          512        4    0.78%        2        2       0        0

CTS Cell Matrix/VPN

Label                  EM           O         8192        0    0.00%        0        0       0        0  <-- Outbound resource used to reach remote VPNv4 prefixes

CTS Cell Matrix/VPN

Label                  TCAM         O          512        1    0.20%        0        0       0        1

Client Table           EM           I         4096        0    0.00%        0        0       0        0

Client Table           TCAM         I          256        0    0.00%        0        0       0        0

Input Group            LE TCAM      I         1024        0    0.00%        0        0       0        0

Output Group           LE TCAM      O         1024        0    0.00%        0        0       0        0

Macsec SPD             TCAM         I         1024        2    0.20%        0        0       0        2

CAM Utilization for ASIC [1]

<...snip...>

如果命令show platform hardware fed active fwd-asic resource tcam utilization中的硬件扩展正常，请检查其他相关资源

注意：有许多共享资源。这只是几个常用的方法。（该表的外观在16.x和17.x之间没有变化）

Switch#show platform hardware fed active fwd-asic resource utilization

Resource Info for ASIC Instance: 0

Resource Name           Allocated     Free  <-- Number available. If this is at max (or very close) possible issues can occur

------------------------------------------

RSC_DI                      61       41805  <-- DI = Destination Index

RSC_RI                       3       57317  <-- RI = Rewrite Index

RSC_RI_REP                  10       49143  <-- RI_REP = Multicast Rewrite/Replication Index

RSC_SI                     519       64849  <-- SI = Station Index

<...snip...>

Switch#show platform hardware fed switch active fwd-asic resource rewrite utilization

Resource Info for ASIC Instance: 0

Rewrite Data                        Allocated     Free    <-- Rewrite specific hardware resources

-------------------------------------------------------

PHF_EGRESS_destMacAddress                 0       32000   <-- Destination MAC (Layer 3 next hop MAC rewrite)

IPV4_TUNNEL_SRC_IP_ADDR                   0          16   <-- IPv4 Tunnel Source IP

IPV4_TUNNEL_DEST_IP_ADDR                  0         256   <-- IPv4 Tunnel Destination IP

IPV4_GRE_TUNNEL_DEST_IP_ADDR              0        1024   <-- GRE specific tunnel Destination IP

GRE_HEADER                                0         684

GRE_KEY                                   0         684   <-- GRE keys

NAT_L3_DEST_IPV4                          0        7168   <-- NAT Layer 3 IPv4 Destination

NAT_DST_PORT_UNICAST                      0        8192   <-- NAT Destination Ports

NAT_L3_SRC_IPV4                           0        8192   <-- NAT Layer 3 IPv4 Source

NAT_SRC_PORT_UNICAST                      0        8192   <-- NAT Source Ports

<...snip...>

Switch#show platform hardware fed active fwd-asic resource features ip-adjacency utilization

IPv4 unicast adjacency resource info

Resource Info for ASIC Instance: 0 [A:0, C:0]                                          <-- Per-ASIC & Core [Asic 0, Core 0]

Shared Resource Name                     Allocated        Free              Usage%     <-- Shared resources

----------------------------------------------------------------------------------

RSC_RI                                   3                57317               0.01     <-- RI = Rewrite Index

RSC_SI                                   519              64849               0.79     <-- SI = Station Index

<-- These are tables that maintain port map info, and other necessary details to send packets

<-- These resources are shared, and used by many features

Rewrite Data                             Allocated        Free              Usage%     <-- Rewrite resources (Dest MAC)

-----------------------------------------------------------------------------------

PHF_EGRESS_destMacAddress                0                32000               0.00     <-- Destination MAC usage

<-- When a packet is sent to a next hop, it must be written with a destination MAC address

CAM Table Utilization Info               Allocated        Free              Usage%     <-- EM (Hash) & TCAM resources

------------------------------------------------------------------------------------

IP Route table Host/Network                   0/ 0            0/32768    0.00/ 0.00

<-- Resource that programs prefixes, either local/host routes (EM/Hash) or Shorter /31 or less prefixes (TCAM)

注意：9500H和9600 ASIC能够在散列内存（称为EM/LPM）中存储较短的前缀掩码，而不是TCAM。有关详细信息，请参阅IPv4特定场景

Cisco IOS XE 16.x通用硬件验证命令

show platform hardware fed active fwd-asic resource tcam utilization命令是第一个要评估硬件规模问题的位置。（它按ASIC显示信息）。您可以看到，在16.x系列中，输出不是那么精确，而且有些描述也各不相同。

在大多数情况下，表列表是明确的，但也有一些例外：

- 直接或间接连接的路由。这需要改进，因为并不清楚“直接”表示ARP邻接路由和/32主机路由。“间接”是指任何路由/31或更短

- “基于策略的路由ACE”包括NAT相关配置。当NAT是需要考虑的功能时，请记住这一点。

Switch#show platform hardware fed switch active fwd-asic resource tcam utilization

CAM Utilization for ASIC  [0]

Table                                              Max Values        Used Values

--------------------------------------------------------------------------------

Unicast MAC addresses                               32768/1024        19/21

L3 Multicast entries                                 8192/512          0/9

L2 Multicast entries                                 8192/512          0/11

Directly or indirectly connected routes             24576/8192         3/19 <-- First value 24576 = EM / Second value 8192 = TCAM

QoS Access Control Entries                           5120             85

Security Access Control Entries                      5120            126

Ingress Netflow ACEs                                  256              8

Policy Based Routing ACEs                            1024             22

Egress Netflow ACEs                                   768              8

Flow SPAN ACEs                                       1024             13

Control Plane Entries                                 512            255

Tunnels                                               512             17

Lisp Instance Mapping Entries                        2048              3

Input Security Associations                           256              4

SGT_DGT                                              8192/512          0/1

CLIENT_LE                                            4096/256          0/0

INPUT_GROUP_LE                                       1024              0

OUTPUT_GROUP_LE                                      1024              0

Macsec SPD                                            256              2

注：此处列出的命令在16和17代码系列之间没有CLI更改，并且本文档的17.x部分仅介绍一次。

show platform hardware fed

active fwd-asic resource utilization

<-- SI/RI/DI/etc (other related resources)

show platform hardware fed

active fwd-asic resource rewrite utilization

<-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc

每功能硬件验证命令

场景：IPv4前缀

IPv4硬件验证可以在本页了解Catalyst 9000交换机上的IPv4硬件资源

症状资源超出规模

1. 设备或前缀连通性问题。虽然现有路由或设备仍可访问，但无法访问任何新的或更新的前缀。

2. 日志消息指示硬件无法接收新的对象更新

3. 将软件编程到硬件中的对象层变得拥塞

4. 受影响硬件层没有条目（在本例中，FIB是受影响层）。

IPv4系统日志

如果特定IPv4 FIB或邻接资源耗尽，则由系统生成SYSLOG消息

IPv4 FIB日志消息

定义

恢复操作

%FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，无法为fib条目分配硬件资源

为IPv4 FIB条目保留的硬件空间已用尽（EM或TCAM）

总结路由或采取某些其他操作以减少FIB条目的规模（可以是完全匹配或TCAM，无论哪个条目已耗尽）。

%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:为adj条目分配硬件资源失败 — rc:1

邻接表已用尽。这是硬件中存储下一跳目的MAC地址的表。

减少直连（ARP相邻）主机的扩展数量

场景：ACL

ACL硬件验证可以在此页面上找到验证Catalyst 9000交换机上的安全ACL

ACL系统日志

如果特定安全ACL资源用完，系统将生成SYSLOG消息（接口、Vlan、标签等值可能不同）。

ACL日志消息

定义

恢复操作

%ACL_ERRMSG-4-UNLOADED：馈送交换机1：接口<interface>上的输入<ACL>无法在硬件中编程，且流量将被丢弃。

ACL已卸载（保留在软件中）

研究TCAM规模。如果超出规模，请重新设计ACL。

%ACL_ERRMSG-6-REMOVED：已馈送1：已为标签<label>asic<number>删除接口<interface>上输入<ACL>的卸载配置

从接口删除卸载的ACL配置

ACL已删除，无需执行任何操作

%ACL_ERRMSG-6-RELOADED: 1 fed: Input <ACL> on interface <interface>现已加载到asic<number>标签<label>的硬件中

ACL现在已安装在硬件中

ACL的问题现已通过硬件解决，无需采取任何措施

%ACL_ERRMSG-3-ERROR：已馈送1个：无法在bindorder <number>处的<interface>上应用输入<ACL> IP ACL <NAME>配置

其他类型ACL错误（例如dot1x ACL安装失败）

确认是否支持ACL配置，以及TCAM是否超出规模

%ACL_ERRMSG-6-GACL_INFO:交换机1 R0/0：馈送：GACL不支持日志记录

GACL配置了日志选项

GACL不支持日志。从GACL中删除日志语句

%ACL_ERRMSG-6-PACL_INFO:交换机1 R0/0：馈送：PACL不支持日志记录

PACL已配置日志选项

PACL不支持日志。从PACL中删除日志语句

%ACL_ERRMSG-3-ERROR：交换机1 R0/0：已提供：输入IPv4组ACL implicit_deny:<name>：无法在客户端MAC 0000.0000.0000上应用配置

(dot1x)ACL无法应用到目标端口

确认是否支持ACL配置，以及TCAM是否超出规模

场景：NAT

NAT硬件验证可以在本页Configure and Verify NAT on Catalyst 9000 Switches上找到

NAT系统日志

NAT功能没有任何在硬件资源扩展不足时打印的系统日志。Cisco Bug ID CSCvz46804已归档作为添加这些日志的增强功能。

如果遇到NAT问题并要验证硬件资源使用情况，请选中show platform hardware feed switch active fwd-asic resource tcam utilization（当NAT TCAM耗尽时，PBR ACL区域被高度利用）。

另请确认您已按照此处所述的限制配置了NAT:NAT的限制

场景：MPLS

MPLS硬件验证可以在本页上配置和验证Catalyst 9000交换机上的MPLS

MPLS系统日志

如果耗尽特定资源（例如MPLS标签），系统就会生成SYSLOG消息。

需牢记的要点：

- MPLS LABEL用于标签处理。（从本地CE获取前缀时会占用此资源）

- LSPA用于标签实施。 （从远程PE获取前缀时会占用此资源）

MPLS日志消息

定义

恢复操作

%FED_L3_ERRMSG-3-RSRC_ERR：交换机1 R0/0: fed：由于硬件资源耗尽，为fib条目分配硬件资源失败

为IP前缀保留的硬件空间已用尽（EM或TCAM）

采取以下操作之一以减少本地或远程PE获知的前缀数量:

1.在CE上汇总前缀

2.将标签分配模式从每个前缀更改为每个vrf

%FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed:MPLS LABEL ENTRY的资源不足。无法对硬件中的本地标签8205(8192/8192)进行编程

本地标签分配：为MPLS本地标签保留的硬件空间已用尽（EM或TCAM）

采取以下操作之一以减少本地PE上使用的标签数：

1.汇总本地CE或本地PE上的前缀

2.在本地PE上将标签分配模式从每个前缀更改为每个VRF

%FED_L3_ERRMSG-3-MPLS_LENTRY_PAUSE：交换机1 R0/0: fed：已达到MPLS LABEL ENTRY资源的严重限制。条目创建已暂停。

本地标签分配：为MPLS本地标签保留的硬件空间不足（EM或TCAM）

采取以下操作之一以减少本地PE上使用的标签数:

1.汇总本地CE或本地PE上的前缀

2.在本地PE上将标签分配模式从每个前缀更改为每个VRF

%FED_L3_ERRMSG-3-mpls_out_of_resource：交换机1 R0/0: fed:MPLS LSPA的资源不足。无法在硬件中编程

远程标签分配：为LSPA远程标签保留的硬件空间已用尽

采取以下操作之一以减少远程PE上使用的标签数:

1.汇总远程CE或远程PE上的前缀

2.将远程PE上的标签分配模式从每个前缀更改为每个vrf

场景：QoS

QoS硬件验证可以在此页面上找到了解Catalyst 9000交换机上的QoS硬件资源

QoS系统日志

如果与QoS相关的资源耗尽，系统将生成SYSLOG消息：

QoS相关系统日志消息

定义

恢复操作

%FED_QOS_ERRMSG-4-TCAM_OVERFLOW：交换机1 R0/0：馈送：无法在GigabitEthernet1/0/10上为策略映射ingress_pmap2编程TCAM。

为QoS实体保留的硬件(TCAM)空间已用尽

1. 确保您具有有效/支持的配置。

2. 查看本文档的其余部分，验证您的交换机的当前规模利用率，以及如果过度使用可能采取的减少措施。

%FED_QOS_ERRMSG-3-QUEUE_SCHEDULER_HW_ERROR：交换机1 R0/0: fed：无法为GigabitEthernet1/0/27配置队列调度程序

QoS队列调度程序的硬件安装失败

1. 验证您的配置是否受支持

2. 查看特定平台和软件版本的QoS配置指南。

对于9200LONLY：查看Cisco bug IDCSCvz54607和Cisco bug IDCSCvz76172

FED_QOS_ERRMSG-3-QUEUE_BUFFER_HW_ERROR: R0/0: fed：无法配置默认队列缓冲区

QoS队列缓冲区的硬件安装失败

1. 验证您的配置是否受支持，

2. 查看特定平台和软件版本的QoS配置指南。

3. 查看Cisco bug IDCSCvs49401

相关信息

技术支持和文档 - Cisco Systems

Cisco Catalyst 9200 系列交换机产品手册

Cisco Catalyst 9300 系列交换机产品手册

Cisco Catalyst 9400系列交换机产品手册

Cisco Catalyst 9500系列交换机产品手册

Cisco Catalyst 9600 系列交换机产品手册

Cisco Catalyst 9500 体系结构白皮书

思科漏洞ID

Cisco Bug ID CSCvg60292（在TCAM中达到最大路由数时，哈希表中不能安装任何路由）

Cisco Bug ID CSCvx57822(硬件表需要90%的利用率水印)

Cisco Bug ID CSCvs49401

Cisco Bug ID CSCvz54607

Cisco Bug ID CSCvz76172