Nexus 9000クラウドスケールASIC CRCの特定とトレース
内容
はじめに
このドキュメントでは、Cisco Nexus 9000クラウドスケールASICモジュールで見られるCRCエラーの原因をトレースする手順について説明します。
前提条件
要件
カットスルースイッチングとストアアンドフォワードスイッチングの基本を理解しておくことをお勧めします。また、イーサネットフレームチェックシーケンス(FCS)フィールドの基本と、FCSフィールドで使用される巡回冗長検査(CRC)アルゴリズムについても理解しておくことを推奨します。詳細については、次のドキュメントを参照してください。
使用するコンポーネント
このドキュメントの情報は、NX-OSソフトウェアリリース7.0(3)I7(8)を実行しているCloud Scale ASICを搭載したCisco Nexus 9000シリーズスイッチに基づくものです。
このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。
背景説明
このドキュメントでは、モジュラNexusスイッチの物理インターフェイスと内部ファブリックリンクで見られるストンプおよび非ストンプCRCエラーを区別するために使用される手順についても説明します。
Cisco Nexus 9000シリーズスイッチは、カットスルースイッチングをデフォルトで使用します。カットスルースイッチングでは、スイッチがフレームに対して転送の決定を行い、有効な転送の決定を行うのに十分なフレームのヘッダーがスイッチで処理されるとすぐに、フレームを出力インターフェイスから転送し始めます。これは、出力インターフェイスからフレームを転送する前にフレーム全体をバッファリングするストアアンドフォワードスイッチングとは異なります。
イーサネットフレームのFCSフィールドは、フレームの整合性を検証し、フレームが転送中に破損していないことを確認します。イーサネットフレームのFCSフィールドは、フレームのペイロードの背後にあるイーサネットフレームの末尾に配置されます。ストアアンドフォワードスイッチングモードで動作するスイッチは、フレームを出力インターフェイスから転送する（または、FCSフィールドに無効な内容がある場合はフレームをドロップする）前に、FCSフィールドを使用してイーサネットフレームの整合性を確認できます。 ただし、カットスルースイッチングモードで動作するスイッチは、出力インターフェイスからフレームを転送する前に、FCSフィールドを使用してイーサネットフレームの整合性を確認できません。つまり、カットスルースイッチがイーサネットフレームの整合性を確認できる時点で、イーサネットフレームの大部分はすでに出力インターフェイスから転送されています。
カットスルースイッチングモードで動作しているスイッチが、無効なFCSフィールドを含むイーサネットフレームを受信した場合、スイッチは次のアクションを実行できます。
- 着信する破損したフレームのCRC値を計算し、計算されたCRC値のビット単位の反転を使用してイーサネットフレームのFCSフィールドを書き換えます。フレームをルーティングする必要がある場合、破損したフレームのCRC値が計算され、フレームのイーサネットヘッダーが書き換えられた後にビット単位で反転されます。この動作は、CRCの「ストンプ」と呼ばれます。
- フレームに対する転送の決定に従って、イーサネットフレームの残りの部分を（ストンプされたCRCとともに）出力インターフェイスから転送します。
- 入力インターフェイスのinput errorsカウンタまたはCRC errorsカウンタ、あるいはその両方を増やします。
このドキュメントでは、入力インターフェイスに関連付けられているCRCカウンタが正常CRC（通常は、入力インターフェイスに接続されているリンクの物理層の問題を示す）なのか、またはストンプCRC（入力インターフェイスに接続されているデバイスもカットスルースイッチングモードで動作していて、不正なイーサネットフレームを受信したことを示す）なのかを確認する手順について説明します。
該当ハードウェア
このドキュメントで説明する手順は、次のハードウェアにのみ適用されます。
Nexus 9200/9300固定構成スイッチ
- N9K-C92160YC-X
- N9K-C92300YC
- N9K-C92304QC
- N9K-C92348GC-X
- N9K-C9236C
- N9K-C9272Q
- N9K-C9332C
- N9K-C9364C
- N9K-C93108TC-EX
- N9K-C93108TC-EX-24
- N9K-C93180LC-EX
- N9K-C93180YC-EX
- N9K-C93180YC-EX-24
- N9K-C93108TC-FX
- N9K-C93108TC-FX-24
- N9K-C93180YC-FX
- N9K-C93180YC-FX-24
- N9K-C9348GC-FXP
- N9K-C93240YC-FX2
- N9K-C93216TC-FX2
- N9K-C9336C-FX2
- N9K-C9336C-FX2-E
- N9K-C93360YC-FX2
- N9K-C93180YC-FX3
- N9K-C93108TC-FX3P
- N9K-C93180YC-FX3S
- N9K-C9316D-GX
- N9K-C93600CD-GX
- N9K-C9364C-GX
- N9K-C9364D-GX2A
- N9K-C9332D-GX2B
Nexus 9500モジュラスイッチラインカード
- N9K-X97160YC-EX
- N9K-X9732C-EX
- N9K-X9736C-EX
- N9K-X97284YC-FX
- N9K-X9732C-FX
- N9K-X9788TC-FX
- N9K-X9716D-GX
Cisco Nexus 9200および9300クラウドスケールCRCの識別およびトレース手順
このセクションでは、Cisco Nexus 9200および9300シリーズスイッチ上の特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
NX-OSソフトウェアリリース10.2(1)以降
NX-OSソフトウェアリリース10.2(1)以降、Cloud Scale ASICを搭載したNexusスイッチには、スイッチを通過するイーサネットフレームのFCSフィールドでストンプCRCを持つパケット用の新しいインターフェイスカウンタがあります。show interfaceコマンドを使用すると、ゼロ以外のCRCカウンタとストンプされたCRCカウンタが増分されている物理インターフェイスを特定できます。次に例を示します。物理インターフェイスEthernet1/1のCRCカウンタとストンプされたCRCカウンタはゼロではありません。これは、無効なCRCとストンプされたCRCを持つフレームがこのインターフェイスで受信されたことを示しています。
switch# show interface
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 04:09:21
Last clearing of "show interface" counters 00:50:37
0 interface resets
RX
8 unicast packets 253 multicast packets 2 broadcast packets
1832838280 input packets 2199405650587 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1832838019 CRC 0 no buffer
1832838019 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
1832838019 Stomped CRC
TX
908 unicast packets 323 multicast packets 3 broadcast packets
1234 output packets 113342 bytes
0 jumbo packets
0 output error 0 collision 0 deferred 0 late collision
0 lost carrier 0 no carrier 0 babble 0 output discard
0 Tx pause
注:CRCカウンタが増加している場合は、フレームがストンプされたCRCまたは無効ではあるがストンプされていないCRCで受信されたことを示しています。ストンプCRCカウンタの増加は、ストンプCRCを持つフレームが受信されたことを示します。
また、show interface counters errors non-zeroコマンドを使用して、インターフェイスエラーカウンタを表示することもできます。この例を次に示します。
switch# show interface counters errors non-zero
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/1 1790348828 1790348828 0 1790348828 0 0
--------------------------------------------------------------------------------
Port Single-Col Multi-Col Late-Col Exces-Col Carri-Sen Runts
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Giants SQETest-Err Deferred-Tx IntMacTx-Er IntMacRx-Er Symbol-Err
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port InDiscards
--------------------------------------------------------------------------------
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth1/1 1790348828
パイプを使用してshow interfaceコマンドをjsonコマンドまたはjson-prettyコマンドに渡し、CRCおよびストンプしたCRCカウンタの統計情報を構造化された形式で取得できます。この例を次に示します。
switch# show interface Ethernet1/1 | json-pretty | include ignore-case crc
"eth_crc": "828640831",
"eth_stomped_crc": "828640831",
NX-API REST APIは、sys/intf/phys-[intf-id]/dbgEtherStats.jsonオブジェクトモデルを使用して、これらの同じ統計情報を取得するために使用できます。この例を次に示します。
/api/node/mo/sys/intf/phys-[eth1/1]/dbgEtherStats.json
{
"totalCount": "1",
"imdata": [
{
"rmonEtherStats": {
"attributes": {
"cRCAlignErrors": "26874272810",
"dn": "sys/intf/phys-[eth1/1]/dbgEtherStats",
"dropEvents": "0",
"rXNoErrors": "26874276337",
"stompedCRCAlignErrors": "26874272810",
...
}
}
}
]
}
NX-OSソフトウェアリリース10.1(2)以前
10.2(1)より前のNX-OSソフトウェアリリースでは、インターフェイスでstopped CRCカウンタを使用できません。無効なCRCが観察される入力インターフェイスを判別し、CRCが無効であるかストンプされているかを検証するには、いくつかの手順が必要です。
ステップ 1：物理インターフェイスでのCRCカウンタの増加の確認
show interfaceコマンドを使用し、ゼロ以外のCRCカウンタが増加している物理インターフェイスを特定します。ここに示す例では、物理インターフェイスEthernet1/1にゼロ以外のCRCカウンタがあります。
switch# show interface
<snip> Ethernet1/1 is up admin state is up, Dedicated Interface Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe) MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec reliability 255/255, txload 1/255, rxload 1/255 Encapsulation ARPA, medium is broadcast Port mode is trunk full-duplex, 10 Gb/s, media type is 10G Beacon is turned off Auto-Negotiation is turned on FEC mode is Auto Input flow-control is off, output flow-control is off Auto-mdix is turned off Rate mode is dedicated Switchport monitor is off EtherType is 0x8100 EEE (efficient-ethernet) : n/a admin fec state is auto, oper fec state is off Last link flapped 04:09:21 Last clearing of "show interface" counters 00:50:37 0 interface resets RX 3 unicast packets 3087 multicast packets 0 broadcast packets 3097 input packets 244636 bytes 7 jumbo packets 0 storm suppression bytes 0 runts 7 giants 7 CRC 0 no buffer 7 input error 0 short frame 0 overrun 0 underrun 0 ignored 0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop 0 input with dribble 0 input discard 0 Rx pause
または、show interface counters errors non-zeroコマンドを使用して、ゼロ以外のエラーカウンタ（ゼロ以外のCRCカウンタを含む）を持つすべてのインターフェイスを表示します。 次に示す例では、物理インターフェイスEthernet1/1のCRCカウンタがゼロ以外であり、FCS-Errカラムに表示されています。
switch# show interface counters errors non-zero <snip> -------------------------------------------------------------------------------- Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards -------------------------------------------------------------------------------- Eth1/1 7 7 0 7 0 0
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
show interface hardware-mappingsコマンドを使用して、次の3つの主要な特性を特定します。
- Unit：物理インターフェイスが接続するクラウドスケールASICのID。これは、ゼロベースの番号付けシステムを使用します（たとえば、最初のASICは0、2番目のASICは1など）
- MacId：物理インターフェイスが接続するMACブロックのID。これは、ゼロベースの番号付け方式を使用します（たとえば、最初のMACブロックは0、2番目のMACブロックは1など）
- MacSP：物理インターフェイスが接続するMACブロックサブポートのID。各MACブロックには4つのサブポートが関連付けられており、ゼロベースの番号付けシステムを使用し、2の値で増分します。したがって、第1サブポートのインデックスは0、第2サブポートのインデックスは2、第3サブポートのインデックスは4、第4サブポートのインデックスは6である。
これは、物理インターフェイスEthernet1/1がクラウドスケールASIC 0、MACブロック4、およびMACブロックサブポート0に関連付けられている場合の、次の例で示されています。
switch# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールのASICレジスタでのCRC関連カウンタの確認
slot {x} show hardware internal tah counters asic {y}コマンドを使用して、Cloud Scale ASICのレジスタカウンタを表示します。このコマンドには、次の2つの変数が含まれます。
- {x} – この値をラインカードのスロット番号に置き換えます。トップオブラックスイッチの場合、この値は常に1です。エンドオブローのモジュラスイッチの場合、ラインカードスロット番号は物理インターフェイス名の最初の番号です。たとえば、物理インターフェイスEthernet1/1のラインカードスロット番号は1で、物理インターフェイスEthernet4/24のラインカードスロット番号は4です。
- {y} – この値をステップ2で特定したクラウドスケールASIC識別子で置き換えます。たとえば、物理インターフェイスEthernet1/1のUnit列の値が0の場合、この変数の値は0になります。物理インターフェイスEthernet4/24のUnit列の値が3の場合、この変数の値は3になります。
この出力では、テーブルを表示できます。テーブルの各行は異なるASICレジスタです。テーブルの各列は、スイッチの物理インターフェイスに対応します。各列に使用される名前は、物理インターフェイスの名前ではなく、MACブロックとMACブロックサブポートの組み合わせです。列ヘッダーに使用される形式は次のとおりです。
M{A},{B}-{InterfaceSpeed}
この形式には、次の3つの変数があります。
- {A} – この値をMACブロック番号で置き換えます。
- {B}：この値をMACブロックサブポート番号で置き換えます。
- {InterfaceSpeed}：この値は、インターフェイスの物理速度に対応できます（10G、25G、40Gx4など）。
次の例では、これについて説明します。物理インターフェイスEthernet1/1は、ラインカードのスロット番号1とクラウドスケールASIC 0に関連付けられていることを思い出してください。つまり、実行する必要があるコマンドは、slot 1 show hardware internal tah counters asic 0です。物理インターフェイスEthernet1/1に関連付けられたMACブロックは4、物理インターフェイスEthernet1/1に関連付けられたMACブロックサブポートは0、物理インターフェイスEthernet1/1は10Gインターフェイスです。したがって、検索する列ヘッダーはM4,0 ～ 10Gです。
switch# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
このコマンドの出力には、数十のレジスタカウンタが含まれています。自然なCRCエラーとストンプされたCRCの識別に関連する次の2つのキーレジスタカウンタがあります。
- 02-RX Frm with FCS Err：フレームが無効ですが、ストンプされていないCRCを受信したことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプCRCを持つフレームが受信されたことを示します。
これらのカウンタの値は16進数です。NX-OSのdecコマンドを使用すると、次に示すように、16進数値を10進数値に変換できます。
N9K-C93180YC-EX-2# dec 0xc
12
両方のレジスタカウンタを合わせた値は、show interfaceまたはshow interface counters errors non-zeroの出力によって物理インターフェイスで観察されるCRCの数と同じです。
Cisco Nexus 9500のクラウド規模：モジュラスイッチでのCRCの識別とトレース手順
このセクションでは、Cisco Nexus 9500シリーズスイッチ上の特定の物理インターフェイスEthernet1/1で見られるCRCエラーの発生源を特定する手順について説明します。
Nexus 9500シリーズスイッチの各ラインカードは、内部リンク(iEth)経由でファブリックモジュールに接続されます。各ラインカードの各ASICは、すべてのファブリックモジュールにフルメッシュ接続されています。次の例は、モジュラNexus 9500スイッチ内の4つのファブリックモジュールに接続する内部リンクを備えた4つのSugarbowl ASICを搭載したラインカードを示しています。
ASICで受信されたトラフィックが別のASICまたはラインカードから出力される必要がある場合、そのトラフィックはファブリックモジュールを介してファブリックに送信される必要があります。入力ASICは、パケットのヘッダーのハッシュとASICで使用可能なiEthリンクの数に基づいて、ファブリックモジュールへのiEthリンクの1つを選択します。
ステップ 1：ラインカードとファブリックモジュール間の内部リンクのマッピング
show system internal fabric connectivity module {x}コマンド（{x}はラインカードまたはファブリックモジュールのスロット番号）を使用して、指定したラインカードとすべてのファブリックモジュール間の内部リンクを表示します。この出力では、各行がラインカードの内部リンク（LC-iEthLink列の下）と各ファブリックモジュールの内部リンク（FM-iEthLink列の下）の間の1対1のマッピングを示す表が表示されています。 この例は、8枚のラインカードと4枚のファブリックモジュールが挿入されたNexus 9508スイッチから取得したものです。この出力例は、スイッチのスロット8に挿入されたラインカードの各ASICインスタンスが、2つの内部リンクを介して、取り付けられている4つのファブリックモジュール（スロット22、23、24、および26に挿入）のそれぞれに接続されていることを示しています。
Nexus9500# show system internal fabric connectivity module 8
Internal Link-info Linecard slot:8
------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink
------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18
8 0 iEth02 - 22 1 iEth50
8 0 iEth03 - 23 0 iEth18
8 0 iEth04 - 23 1 iEth50
8 0 iEth05 - 24 0 iEth18
8 0 iEth06 - 24 1 iEth50
8 0 iEth07 - 26 0 iEth18
8 0 iEth08 - 26 1 iEth50
8 1 iEth09 - 22 0 iEth03
8 1 iEth10 - 22 1 iEth35
8 1 iEth11 - 23 0 iEth03
8 1 iEth12 - 23 1 iEth35
8 1 iEth13 - 24 0 iEth03
8 1 iEth14 - 24 1 iEth35
8 1 iEth15 - 26 0 iEth03
8 1 iEth16 - 26 1 iEth35
8 2 iEth17 - 22 0 iEth32
8 2 iEth18 - 22 1 iEth53
8 2 iEth19 - 23 0 iEth32
8 2 iEth20 - 23 1 iEth53
8 2 iEth21 - 24 0 iEth32
8 2 iEth22 - 24 1 iEth53
8 2 iEth23 - 26 0 iEth32
8 2 iEth24 - 26 1 iEth53
8 3 iEth25 - 22 0 iEth31
8 3 iEth26 - 22 1 iEth54
8 3 iEth27 - 23 0 iEth31
8 3 iEth28 - 23 1 iEth54
8 3 iEth29 - 24 0 iEth31
8 3 iEth30 - 24 1 iEth54
8 3 iEth31 - 26 0 iEth31
8 3 iEth32 - 26 1 iEth54
同様に、iEthリンクマッピングは、ファブリックモジュールの観点から確認できます。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールとNexus 9508シャーシに取り付けられた8枚の各ラインカード間の内部リンクが表示されています。
Nexus9500# show system internal fabric connectivity module 22
Internal Link-info Fabriccard slot:22
------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX
------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 -
22 0 iEth06 1 1 iEth11 -
22 0 iEth25 1 2 iEth21 -
22 0 iEth26 1 3 iEth31 -
22 0 iEth10 2 0 iEth01 -
22 0 iEth05 2 1 iEth11 -
22 0 iEth23 2 2 iEth21 -
22 0 iEth24 2 3 iEth31 -
22 0 iEth12 3 0 iEth01 -
22 0 iEth11 3 1 iEth11 -
22 0 iEth21 3 2 iEth21 -
22 0 iEth22 3 3 iEth31 -
22 0 iEth14 4 0 iEth01 -
22 0 iEth13 4 1 iEth11 -
22 0 iEth07 4 2 iEth21 -
22 0 iEth08 4 3 iEth31 -
22 0 iEth16 5 0 iEth01 -
22 0 iEth15 5 1 iEth11 -
22 0 iEth01 5 2 iEth21 -
22 0 iEth04 5 3 iEth31 -
22 0 iEth20 6 0 iEth01 -
22 0 iEth17 6 1 iEth11 -
22 0 iEth28 6 2 iEth21 -
22 0 iEth27 6 3 iEth31 -
22 0 iEth19 7 0 iEth01 -
22 0 iEth02 7 1 iEth09 -
22 0 iEth30 7 2 iEth17 -
22 0 iEth29 7 3 iEth25 -
22 0 iEth18 8 0 iEth01 -
22 0 iEth03 8 1 iEth09 -
22 0 iEth32 8 2 iEth17 -
22 0 iEth31 8 3 iEth25 -
22 1 iEth41 1 0 iEth02 -
22 1 iEth38 1 1 iEth12 -
22 1 iEth59 1 2 iEth22 -
22 1 iEth60 1 3 iEth32 -
22 1 iEth42 2 0 iEth02 -
22 1 iEth37 2 1 iEth12 -
22 1 iEth62 2 2 iEth22 -
22 1 iEth61 2 3 iEth32 -
22 1 iEth44 3 0 iEth02 -
22 1 iEth43 3 1 iEth12 -
22 1 iEth64 3 2 iEth22 -
22 1 iEth63 3 3 iEth32 -
22 1 iEth46 4 0 iEth02 -
22 1 iEth45 4 1 iEth12 -
22 1 iEth39 4 2 iEth22 -
22 1 iEth40 4 3 iEth32 -
22 1 iEth48 5 0 iEth02 -
22 1 iEth47 5 1 iEth12 -
22 1 iEth36 5 2 iEth22 -
22 1 iEth33 5 3 iEth32 -
22 1 iEth52 6 0 iEth02 -
22 1 iEth49 6 1 iEth12 -
22 1 iEth57 6 2 iEth22 -
22 1 iEth58 6 3 iEth32 -
22 1 iEth34 7 0 iEth02 -
22 1 iEth51 7 1 iEth10 -
22 1 iEth55 7 2 iEth18 -
22 1 iEth56 7 3 iEth26 -
22 1 iEth50 8 0 iEth02 -
22 1 iEth35 8 1 iEth10 -
22 1 iEth53 8 2 iEth18 -
22 1 iEth54 8 3 iEth26 -
show system internal fabric link-state module {x}コマンドを使用して、内部ポートがアップしているかどうか（STカラムの下）と、特定の内部リンクの対応するASICスライスとMAC識別子（MACカラムの下）を確認します。この例を次に示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
[ 8] [ 0 : 0 : 7 : 0x38] [iEth01] [UP] <========> [22] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 9 : 0x0] [iEth02] [UP] <========> [22] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 6 : 0x30] [iEth03] [UP] <========> [23] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 16 : 0x38] [iEth04] [UP] <========> [23] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 8 : 0x40] [iEth05] [UP] <========> [24] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 15 : 0x30] [iEth06] [UP] <========> [24] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 0 : 0 : 5 : 0x28] [iEth07] [UP] <========> [26] [ 0 : 3 : 21 : 0x18] [iEth18] [UP]
[ 8] [ 0 : 1 : 17 : 0x40] [iEth08] [UP] <========> [26] [ 1 : 3 : 21 : 0x18] [iEth50] [UP]
[ 8] [ 1 : 0 : 7 : 0x38] [iEth09] [UP] <========> [22] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 6 : 0x30] [iEth11] [UP] <========> [23] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 16 : 0x38] [iEth12] [UP] <========> [23] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 8 : 0x40] [iEth13] [UP] <========> [24] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 15 : 0x30] [iEth14] [UP] <========> [24] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 1 : 0 : 5 : 0x28] [iEth15] [UP] <========> [26] [ 0 : 0 : 4 : 0x20] [iEth03] [UP]
[ 8] [ 1 : 1 : 17 : 0x40] [iEth16] [UP] <========> [26] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
[ 8] [ 2 : 0 : 7 : 0x38] [iEth17] [UP] <========> [22] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 9 : 0x0] [iEth18] [UP] <========> [22] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 6 : 0x30] [iEth19] [UP] <========> [23] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 16 : 0x38] [iEth20] [UP] <========> [23] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 8 : 0x40] [iEth21] [UP] <========> [24] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 15 : 0x30] [iEth22] [UP] <========> [24] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 2 : 0 : 5 : 0x28] [iEth23] [UP] <========> [26] [ 0 : 5 : 35 : 0x28] [iEth32] [UP]
[ 8] [ 2 : 1 : 17 : 0x40] [iEth24] [UP] <========> [26] [ 1 : 4 : 24 : 0x0] [iEth53] [UP]
[ 8] [ 3 : 0 : 7 : 0x38] [iEth25] [UP] <========> [22] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 9 : 0x0] [iEth26] [UP] <========> [22] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 6 : 0x30] [iEth27] [UP] <========> [23] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 16 : 0x38] [iEth28] [UP] <========> [23] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 8 : 0x40] [iEth29] [UP] <========> [24] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 15 : 0x30] [iEth30] [UP] <========> [24] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
[ 8] [ 3 : 0 : 5 : 0x28] [iEth31] [UP] <========> [26] [ 0 : 5 : 34 : 0x20] [iEth31] [UP]
[ 8] [ 3 : 1 : 17 : 0x40] [iEth32] [UP] <========> [26] [ 1 : 4 : 25 : 0x8] [iEth54] [UP]
ステップ 2：iEthリンクのCRCカウンタを確認し、破損フレームの原因を追跡する
モジュラ型のNexus 9500スイッチでは、次のシナリオで1つ以上のiEthリンクでCRCエラーを確認できます。
- スイッチがカットスルースイッチングモードで動作している場合、FCSフィールドに不正なCRC値を持つ破損したイーサネットフレームを受信したラインカードは、ローカルでフレームを廃棄しません。その代わり、ラインカードは通常どおりパケットを転送します。パケットの出力インターフェイスが別のASICまたはラインカードに属している場合、入力ラインカードはパケットをファブリックモジュールに転送します。ファブリックモジュールはカットスルースイッチングモードでも動作するため、ファブリックモジュールはパケットを出力ラインカードに転送します。出力ラインカードはパケットをネクストホップに転送し、出力インターフェイスの出力エラーカウンタを増やします。
- ハードウェアの障害が原因で内部リンクに障害が発生した場合、ラインカードとファブリックモジュールの間で内部リンクを通過するパケットが破損する可能性があります。
show system internal fabric connectivity stats module {x}コマンドを使用して、対応する内部リンクのCRCカウンタを確認します。次に例を示します。スロット22に挿入されたファブリックモジュールが、スイッチのスロット7に挿入されたラインカードのiEth26に接続されたiEth56で、無効なCRCを持つパケットを受信した場合です。これは、破損したイーサネットフレームが、スイッチのスロット7に挿入されたラインカードからファブリックモジュールで受信されたことを示しています。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
-------------------------------------------------------------------------------------
22 0 iEth09 1 0 iEth01 - 0
22 0 iEth06 1 1 iEth11 - 0
22 0 iEth25 1 2 iEth21 - 0
22 0 iEth26 1 3 iEth31 - 0
22 0 iEth10 2 0 iEth01 - 0
22 0 iEth05 2 1 iEth11 - 0
22 0 iEth23 2 2 iEth21 - 0
22 0 iEth24 2 3 iEth31 - 0
22 0 iEth12 3 0 iEth01 - 0
22 0 iEth11 3 1 iEth11 - 0
22 0 iEth21 3 2 iEth21 - 0
22 0 iEth22 3 3 iEth31 - 0
22 0 iEth14 4 0 iEth01 - 0
22 0 iEth13 4 1 iEth11 - 0
22 0 iEth07 4 2 iEth21 - 0
22 0 iEth08 4 3 iEth31 - 0
22 0 iEth16 5 0 iEth01 - 0
22 0 iEth15 5 1 iEth11 - 0
22 0 iEth01 5 2 iEth21 - 0
22 0 iEth04 5 3 iEth31 - 0
22 0 iEth20 6 0 iEth01 - 0
22 0 iEth17 6 1 iEth11 - 0
22 0 iEth28 6 2 iEth21 - 0
22 0 iEth27 6 3 iEth31 - 0
22 0 iEth19 7 0 iEth01 - 0
22 0 iEth02 7 1 iEth09 - 0
22 0 iEth30 7 2 iEth17 - 0
22 0 iEth29 7 3 iEth25 - 0
22 0 iEth18 8 0 iEth01 - 0
22 0 iEth03 8 1 iEth09 - 0
22 0 iEth32 8 2 iEth17 - 0
22 0 iEth31 8 3 iEth25 - 0
22 1 iEth41 1 0 iEth02 - 0
22 1 iEth38 1 1 iEth12 - 0
22 1 iEth59 1 2 iEth22 - 0
22 1 iEth60 1 3 iEth32 - 0
22 1 iEth42 2 0 iEth02 - 0
22 1 iEth37 2 1 iEth12 - 0
22 1 iEth62 2 2 iEth22 - 0
22 1 iEth61 2 3 iEth32 - 0
22 1 iEth44 3 0 iEth02 - 0
22 1 iEth43 3 1 iEth12 - 0
22 1 iEth64 3 2 iEth22 - 0
22 1 iEth63 3 3 iEth32 - 0
22 1 iEth46 4 0 iEth02 - 0
22 1 iEth45 4 1 iEth12 - 0
22 1 iEth39 4 2 iEth22 - 0
22 1 iEth40 4 3 iEth32 - 0
22 1 iEth48 5 0 iEth02 - 0
22 1 iEth47 5 1 iEth12 - 0
22 1 iEth36 5 2 iEth22 - 0
22 1 iEth33 5 3 iEth32 - 0
22 1 iEth52 6 0 iEth02 - 0
22 1 iEth49 6 1 iEth12 - 0
22 1 iEth57 6 2 iEth22 - 0
22 1 iEth58 6 3 iEth32 - 0
22 1 iEth34 7 0 iEth02 - 0
22 1 iEth51 7 1 iEth10 - 0
22 1 iEth55 7 2 iEth18 - 0
22 1 iEth56 7 3 iEth26 - 1665601166
22 1 iEth50 8 0 iEth02 - 0
22 1 iEth35 8 1 iEth10 - 0
22 1 iEth53 8 2 iEth18 - 0
22 1 iEth54 8 3 iEth26 - 0
ラインカードまたはファブリックモジュールでslot {x} show hardware internal tah counters asic {y}コマンドを使用して、CRCエラーが無効であるか、またはCRCのストンプ状態であるかを確認します。無効なCRCエラーとストンプされたCRCエラーを区別する2つのレジスタカウンタは次のとおりです。
- 02-RX Frm with FCS Err：無効だがストンプされていないCRCを持つフレームが受信されたことを示します。
- 16-RX Frm CRC Err(Stomp)：ストンプCRCを持つフレームが受信されたことを示します。
次に例を示します。破損したフレームが、シャーシのスロット22に挿入されたファブリックモジュールで、シャーシのスロット8に挿入されたラインカードへの内部リンクiEth54接続を介して受信され、ストンプCRCで受信された場合です。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M24,0-100Gx4 M25,0-100Gx4
--------------------------------------------------------------------------------------------------------------------------
02-RX Frm with FCS Err .... ....
03-RX Frm with any Err .... 144912733e
16-RX Frm CRC Err(Stomp) .... 14491277d7
または、show hardware internal errors module {x}コマンドを使用して、特定のモジュールのASICエラーカウンタを表示します。この例を次に示します。
注：この出力では、Interface Inbound Errors(CRC,len,Alng Err)カウンタが無効なCRCとストンプされたCRCの両方で増加し、Interface Inbound CRC Error StompedカウンタがストンプされたCRCのみの値で増加します。
Nexus9500# show hardware internal errors module 22
|------------------------------------------------------------------------|
| Device:Lacrosse Role:MAC Mod:22 |
| Last cleared @ Tue Jul 6 04:10:45 2021
| Device Statistics Category :: ERROR
|------------------------------------------------------------------------|
Instance:0
ID Name Value Ports
-- ---- ----- -----
Instance:1
ID Name Value Ports
-- ---- ----- -----
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000053053264536 27:0
1048603 Interface Inbound CRC Error Stomped 0000053053264535 27:0
破損したフレームの受信元の入力ラインカードを特定した後で、同様にslot {x} show hardware internal tah counters asic {y}またはshow hardware internal errors module {x}コマンドを使用して、エラーが受信されている入力インターフェイスを特定し、エラーが無効なCRCまたはストンプされたCRCとして受信されているかどうかを特定します。
ファブリックモジュールまたは出力ラインカードではiEthリンク上でCRCエラーが発生しているものの、接続されたラインカードには入力CRCの兆候がない、という稀なシナリオが考えられます。この問題の根本原因は、通常、ファブリックモジュールのハードウェア障害です。この問題をさらにトラブルシューティングして、必要に応じてファブリックモジュールを交換するには、Cisco TACのサポートケースをオープンすることをお勧めします。
例
このセクションでは、前の手順の一部を例を挙げて説明します。
シナリオ 1.ストンプCRCを受信する物理インターフェイス
この例は、物理インターフェイスのCRCエラーがストンプCRCであることを特定する方法を示しています。
このトポロジを参照してください。
この例では、意図的にストンプされたCRCエラーが、スイッチN9K-1上で生成されます。このICMPパケットは、インターフェイスSVI 10（IPアドレス192.0.2.1を所有）からN9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）を宛先とするジャンボサイズの8000バイトのICMPパケットです。MTUは11155550000000バイト0バイト0バイトをのののバイトをを持のを送信送信するを送信する送信がするが送信をします。N9K-1、N9K-2、およびN9K-3はすべてNexus 93180YC-EXモデルスイッチです。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000 PING 192.0.2.3 (192.0.2.3): 8000 data bytes Request 0 timed out Request 1 timed out Request 2 timed out Request 3 timed out Request 4 timed out Request 5 timed out --- 192.0.2.3 ping statistics --- 5 packets transmitted, 0 packets received, 100.00% packet loss
この例では、スイッチN9K-3の物理インターフェイスEthernet1/1でCRCエラーの増加が見られます。
N9K-3# show interface Ethernet1/1
<snip>
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
9 unicast packets 10675 multicast packets 0 broadcast packets
10691 input packets 816924 bytes
7 jumbo packets 0 storm suppression bytes
0 runts 7 giants 7 CRC 0 no buffer
7 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
N9K-1のインターフェイスSVI 10（IPアドレス192.0.2.1を所有）からN9K-3のインターフェイスSVI 10（IPアドレス192.0.2.3を所有）を宛先としてジャンボサイズの8000バイトのICMPパケットを生成することによって、物理インターフェイスEthernet1/1でCRCが増加していることを確認します。
N9K-1# ping 192.0.2.3 count 5 packet-size 8000
PING 192.0.2.3 (192.0.2.3): 8000 data bytes
Request 0 timed out
Request 1 timed out
Request 2 timed out
Request 3 timed out
Request 4 timed out
Request 5 timed out
--- 192.0.2.3 ping statistics ---
5 packets transmitted, 0 packets received, 100.00% packet loss
N9K-3# show interface Ethernet1/1
Ethernet1/1 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2bbe)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:52:57
Last clearing of "show interface" counters 03:34:13
0 interface resets
RX
11 unicast packets 13066 multicast packets 0 broadcast packets
13089 input packets 1005576 bytes
12 jumbo packets 0 storm suppression bytes
0 runts 12 giants 12 CRC 0 no buffer
12 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
N9K-3でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/1をASIC番号0、MACブロック4、およびMACブロックサブポート0にマッピングします。
N9K-3# show interface hardware-mappings
<snip>
-------------------------------------------------------------------------------------------------------
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
-------------------------------------------------------------------------------------------------------
Eth1/1 1a000000 1 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth1/2 1a000200 1 0 17 255 4 -1 0 17 34 4 2 5 0 34
Eth1/3 1a000400 1 0 18 255 8 -1 0 18 36 4 4 9 0 36
Eth1/4 1a000600 1 0 19 255 12 -1 0 19 38 4 6 13 0 38
Eth1/5 1a000800 1 0 12 255 16 -1 0 12 24 3 0 17 0 24
ステップ 3：クラウドスケールのASICレジスタでのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/1はASIC番号0にマッピングされます。
- 物理インターフェイスEthernet1/1は、MACブロック4のMACブロックサブポート0にマッピングされる
- N9K-3はトップオブラックのNexus 93180YC-EXモデルのスイッチであるため、使用可能なラインカードスロット番号は1だけです
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/1の速度が10Gであることがわかります。
この情報を使用すると、slot 1 show hardware internal tah counters asic 0コマンドを使用して、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M4,0-10Gに関連するASICレジスタカウンタを探します。
N9K-3# slot 1 show hardware internal tah counters asic 0 <snip> *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M4,0-10G M4,2-10G M4,4-10G M4,6-10G M5,0-40Gx4 M6,0-40Gx4 M7,0-40Gx4 M8,0-10G ---------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... .... 16-RX Frm CRC Err(Stomp) c .... .... .... .... .... .... ....
レジスタ16の0以外の16進数値0xcは、この物理インターフェイスでストンプされたCRCを持つフレームが受信されたことを示しています。dec 0xcコマンドを使用して、これを10進数値の12に変換できます。この値は、物理インターフェイスEthernet1/1のCRCエラーの数と一致します。
N9K-3# dec 0xc
12
結論
N9K-3は、物理インターフェイスEthernet1/1上でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet1/1リンクのリモート側のデバイス（この場合はN9K-2）がこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet1/1に直接接続されているリンクではなく、さらに下流にあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの原因を特定することができます。
シナリオ 2.物理インターフェイスが無効なCRCを持つ不正なフレームを受信した
この例は、直接接続されたリンクの物理層の問題が原因で、不正なフレームが原因で物理インターフェイスのCRCエラーが増加していることを特定する方法を示しています。
このトポロジを参照してください。
この例では、スイッチN9K-1の物理インターフェイスEthernet1/40に接続されたトラフィックジェネレータが、誤ったCRCを持つフレームを意図的に生成しています。これは、トランシーバの故障やケーブルの損傷など、Ethernet1/40に接続されたリンク上の物理層の問題をシミュレートします。N9K-1はこれらのフレームを受信し、CRCが無効であることを認識し、Ethernet1/40物理インターフェイスのCRCエラーカウンタを増やします。 N9K-1はNexus 93180YC-EXモデルのスイッチです。
N9K-1# show interface Ethernet1/40
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
1710 unicast packets 9873 multicast packets 0 broadcast packets
11583 input packets 886321 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 1683 CRC 0 no buffer
1683 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
ステップ 1：CRCの増加の確認
show interfaceコマンドまたはshow interface counters non-zeroコマンドを使用して、N9K-1の物理インターフェイスEthernet1/40でCRCが増加していることを確認します。
N9K-1# show interface Ethernet1/40
<snip>
Ethernet1/40 is up
admin state is up, Dedicated Interface
Hardware: 100/1000/10000/25000 Ethernet, address: 00d7.8f86.2bbe (bia 00d7.8f86.2c02)
MTU 1500 bytes, BW 10000000 Kbit, DLY 10 usec
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, medium is broadcast
Port mode is trunk
full-duplex, 10 Gb/s, media type is 10G
Beacon is turned off
Auto-Negotiation is turned on FEC mode is Auto
Input flow-control is off, output flow-control is off
Auto-mdix is turned off
Rate mode is dedicated
Switchport monitor is off
EtherType is 0x8100
EEE (efficient-ethernet) : n/a
admin fec state is auto, oper fec state is off
Last link flapped 06:13:44
Last clearing of "show interface" counters 02:55:00
0 interface resets
RX
14055 unicast packets 9873 multicast packets 0 broadcast packets
23928 input packets 1676401 bytes
0 jumbo packets 0 storm suppression bytes
0 runts 0 giants 14028 CRC 0 no buffer
14028 input error 0 short frame 0 overrun 0 underrun 0 ignored
0 watchdog 0 bad etype drop 0 bad proto drop 0 if down drop
0 input with dribble 0 input discard
0 Rx pause
N9K-1# show interface counters errors non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth1/40 26373 26373 0 26373 0 0
ステップ 2：ASIC、MACブロック、およびMACブロックサブポートへの物理インターフェイスのマッピング
N9K-1でshow interface hardware-mappingsコマンドを使用して、物理インターフェイスEthernet1/40をASIC番号0、MACブロック10、MACブロックサブポート6にマッピングします。
N9K-1# show interface hardware-mappings <snip> --------------------------------------------------------------------------------------------- Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID --------------------------------------------------------------------------------------------- Eth1/38 1a004a00 1 0 45 255 148 -1 1 5 10 10 2 149 0 10 Eth1/39 1a004c00 1 0 46 255 152 -1 1 6 12 10 4 153 0 12 Eth1/40 1a004e00 1 0 47 255 156 -1 1 7 14 10 6 157 0 14 Eth1/41 1a005000 1 0 76 255 160 -1 1 36 64 17 0 161 0 64 Eth1/42 1a005200 1 0 77 255 164 -1 1 37 66 17 2 165 0 66
ステップ 3：クラウドスケールのASICレジスタでのCRC関連カウンタの確認
ステップ2の情報から、次のことがわかります。
- 物理インターフェイスEthernet1/40はASIC番号0にマッピングされます。
- 物理インターフェイスEthernet1/40は、MACブロック10のMACブロックサブポート6にマッピングされます。
- N9K-1はトップオブラックのNexus 93180YC-EXモデルスイッチであるため、使用可能な唯一のラインカードスロット番号は1です。
- ステップ1で収集したshow interfaceの出力から、物理インターフェイスEthernet1/40の速度が10Gであることがわかります。
この情報を使用して、slot 1 show hardware internal tah counters asic 0コマンドを使用し、すべての物理インターフェイスのASICレジスタカウンタを表示できます。具体的には、M10,6-10Gに関連するASICレジスタカウンタを探します。
N9K-1# slot 1 show hardware internal tah counters asic 0 *************** PER MAC/CH SRAM COUNTERS **************** REG_NAME M8,2-10G M8,4-10G M8,6-10G M9,0-40Gx4 M10,0-10G M10,2-10G M10,4-10G M10,6-10G ------------------------------------------------------------------------------------------------------------------------------------- 02-RX Frm with FCS Err .... .... .... .... .... .... .... 973e 16-RX Frm CRC Err(Stomp) .... .... .... .... .... .... .... ....
レジスタ2にゼロ以外の16進数値0x973eが表示される場合は、この物理インターフェイスで受信されたCRCが無効でもストンプされていないフレームを示しています。
dec 0x973eコマンドを使用すると、これを10進数値の38,718に変換できます。この値は、物理インターフェイスEthernet1/40上のCRCエラーの数と一致します（CRCが絶えず増加するため、この値よりも小さくなります）。
N9K-1# dec 0x973e
38718
結論
N9K-1は、物理インターフェイスEthernet1/40上で、無効だがストンプされていないCRCを持つフレームを受信していることが確認されました。これは、Ethernet1/40（またはリンクのリモートエンドにあるデバイス）に直接接続されているリンクが、不正なフレームの発生源である可能性が最も高いことを意味します。このリンクの物理層に対してさらにトラブルシューティングを実行すると、不正なフレームの根本原因を特定できます（損傷したケーブル配線のチェック、現在のトランシーバを既知の良品トランシーバに交換するなど）。
シナリオ 3.Nexus 9500 iEth CRCエラーSyslog
この例は、内部インターフェイスのsyslogレポートエラーがNexus 9500シリーズスイッチによって生成された場合に、iEth内部リンクのCRCエラーの原因を特定する方法を示しています。このsyslogの例を次に示します。
Nexus9500# show logging logfile
<snip>
2021 Jul 9 05:51:19 Nexus9500 %DEVICE_TEST-SLOT22-3-INTERNAL_PORT_MONITOR_CRC_ERRORS_DETECTED: Module 22 received tx errors on internal interface ii22/1/56 since last run TXErr=36836897 TotalTXErr=50781987904
このsyslogは、スイッチのスロット22に挿入されたファブリックモジュールのiEth56内部リンクでエラーが検出されたことを示しています。
ステップ 1：ファブリックモジュール上のiEthリンクを接続されたラインカードにマッピング
show system internal fabric connectivity stats module {x}コマンドを使用して、影響を受けるiEth内部リンクの接続先となるラインカードを識別します。この例では、スイッチのスロット22に挿入されたファブリックモジュールのiEth56にエラーがあります。この例を次に示します。ここでは、スロット22に挿入されたファブリックモジュールのiEth56が、スイッチのスロット7に挿入されたラインカードのiEth26に接続されています。
Nexus9500# show system internal fabric connectivity stats module 22 | include Eth56|FM-Slot
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 603816174
show system internal fabric link-state module {x}コマンドを使用して、ファブリックモジュールのiEth56内部リンクに関連付けられているASICインスタンスとMAC IDを特定します。次に例を示します。ASICインスタンスが1、MAC識別子が27です。
Nexus9500# show system internal fabric link-state module 22 | include MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 2：iEthリンクで受信されたCRCが無効またはストンプされていないかどうかを確認する
前のステップでは、ASICインスタンスIDが1で、スロット22に挿入されたファブリックモジュールに接続されたiEth56のMAC IDが27であることが示されています。slot {x} show hardware internal tah counters asic {y}コマンドを使用して、syslogによって報告されたCRCが無効なCRCかストンプされたCRCかを特定します。次に例を示します。M27,0-100Gx4列はMAC ID 27に関連付けられており、CRCがストンプされていることを示しています。
Nexus9500# slot 22 show hardware internal tah counters asic 1
REG_NAME M27,0-100Gx4
-----------------------------------------
02-RX Frm with FCS Err ....
16-RX Frm CRC Err(Stomp) be9cb9bd6
または、show hardware internal errors module {x} コマンドを使用して、同じ情報を収集します。この例を次に示します。
Nexus9500# show hardware internal errors module 22 | include CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000051587084851 27:0
1048603 Interface Inbound CRC Error Stomped 0000051587084850 27:0
この出力では、Interface Inbound Errors(CRC,len,Algn Err)カウンタが無効なCRCとストンプされたCRCの両方で増加し、Interface Inbound CRC Error StompedカウンタがストンプされたCRCのみの増加であることを思い出してください。
ステップ 3：入力ラインカード上の無効なCRCを持つフレームの送信元の追跡
スイッチのスロット22に挿入されたファブリックモジュールに入るCRCが、スロット7に挿入されたラインカードからスイッチに入っていることがわかります。この情報から、show interface counters errors module {x} non-zeroコマンドを使用して、関連するラインカードに属するインターフェイスのゼロ以外のCRCカウンタを識別できます。この例を次に示します。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 1195309745 0 0
該当するラインカードでこのシナリオのステップ#2を繰り返して、ラインカードが無効なCRCまたはストンプされたCRCを受信しているかどうかを確認できます。
Nexus9500# show hardware internal errors module 7 | include ignore-case CRC|Stomp|Inst
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000051801011139 11:0
1048587 Interface Inbound CRC Error Stomped 0000051801011140 11:0
show interface hardware-mappingsコマンドを使用して、前の出力のMacId:MacSP値11:0がマッピングされている前面パネルポートを識別します。次に例を示します。11:0は前面パネルポートEth7/32にマッピングされています。
Nexus9500# show interface hardware-mappings | include Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
Eth7/1 1a300000 25 0 16 255 0 -1 0 16 32 4 0 1 0 32
Eth7/2 1a300200 25 0 12 255 4 -1 0 12 24 3 0 5 0 24
Eth7/3 1a300400 25 0 8 255 8 -1 0 8 16 2 0 9 0 16
Eth7/4 1a300600 25 0 4 255 12 -1 0 4 8 1 0 13 0 8
Eth7/5 1a300800 25 0 60 255 16 -1 1 20 40 14 0 17 0 40
Eth7/6 1a300a00 25 0 56 255 20 -1 1 16 32 13 0 21 0 32
Eth7/7 1a300c00 25 0 52 255 24 -1 1 12 24 12 0 25 0 24
Eth7/8 1a300e00 25 0 48 255 28 -1 1 8 16 11 0 29 0 16
Eth7/9 1a301000 26 1 12 255 32 -1 0 12 24 3 0 33 0 24
Eth7/10 1a301200 26 1 8 255 36 -1 0 8 16 2 0 37 0 16
Eth7/11 1a301400 26 1 4 255 40 -1 0 4 8 1 0 41 0 8
Eth7/12 1a301600 26 1 0 255 44 -1 0 0 0 0 0 45 0 0
Eth7/13 1a301800 26 1 60 255 48 -1 1 20 40 14 0 49 0 40
Eth7/14 1a301a00 26 1 56 255 52 -1 1 16 32 13 0 53 0 32
Eth7/15 1a301c00 26 1 52 255 56 -1 1 12 24 12 0 57 0 24
Eth7/16 1a301e00 26 1 48 255 60 -1 1 8 16 11 0 61 0 16
Eth7/17 1a302000 27 2 16 255 64 -1 0 16 32 4 0 65 0 32
Eth7/18 1a302200 27 2 12 255 68 -1 0 12 24 3 0 69 0 24
Eth7/19 1a302400 27 2 8 255 72 -1 0 8 16 2 0 73 0 16
Eth7/20 1a302600 27 2 4 255 76 -1 0 4 8 1 0 77 0 8
Eth7/21 1a302800 27 2 60 255 80 -1 1 20 40 14 0 81 0 40
Eth7/22 1a302a00 27 2 56 255 84 -1 1 16 32 13 0 85 0 32
Eth7/23 1a302c00 27 2 52 255 88 -1 1 12 24 12 0 89 0 24
Eth7/24 1a302e00 27 2 48 255 92 -1 1 8 16 11 0 93 0 16
Eth7/25 1a303000 28 3 12 255 96 -1 0 12 24 3 0 97 0 24
Eth7/26 1a303200 28 3 8 255 100 -1 0 8 16 2 0 101 0 16
Eth7/27 1a303400 28 3 4 255 104 -1 0 4 8 1 0 105 0 8
Eth7/28 1a303600 28 3 0 255 108 -1 0 0 0 0 0 109 0 0
Eth7/29 1a303800 28 3 60 255 112 -1 1 20 40 14 0 113 0 40
Eth7/30 1a303a00 28 3 56 255 116 -1 1 16 32 13 0 117 0 32
Eth7/31 1a303c00 28 3 52 255 120 -1 1 12 24 12 0 121 0 24
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が物理インターフェイスEthernet7/32上でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの原因を特定することができます。
シナリオ 4.出力インターフェイスを使用した無効なCRCフレームの送信元の追跡
次の例は、アップストリームスイッチから、Nexus 9500がストンプされたCRCを持つフレームを生成していることが報告された場合に、Nexus 9500スイッチで無効なCRCを持つフレームの送信元を追跡する方法を示しています。このシナリオでは、アップストリームスイッチは前面パネルポートのEthernet8/9経由で接続されています。
ステップ 1：出力ラインカードに無効なCRCフレームを送信しているファブリックモジュールの識別
ストンプされたCRCを持つフレームをアップストリームスイッチに向けて送信している出力インターフェイスがEthernet8/9であることがわかります。まず、シャーシのスロット8に挿入されたラインカードに、ストンプCRCを持つフレームを送信しているファブリックモジュールを特定する必要があります。このプロセスは、show hardware internal errors module {x}コマンドで開始します。この例を次に示します。
Nexus9500# show hardware internal errors module 8 | i CRC|Inst
<snip>
Instance:1
196617 Interface Inbound Errors (CRC,len,Algn Err) 0000091499464650 9:0
1048585 Interface Inbound CRC Error Stomped 0000091499464651 9:0
前の出力のMacID:MacSP 9:0は、show system internal fabric link-state module 8コマンドでソースファブリックモジュールにマッピングできます。この例を次に示します。
Nexus9500# show system internal fabric link-state module 8
cli : mod = 8
module number = 8
========================================================================================================================
Module number = 8
========================================================================================================================
[LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
========================================================================================================================
...
[ 8] [ 1 : 1 : 9 : 0x0] [iEth10] [UP] <========> [22] [ 1 : 0 : 4 : 0x20] [iEth35] [UP]
スロット8に挿入されたラインカードのMAC ID 9が、シャーシのスロット22に挿入されたファブリックモジュールにマッピングされていることがわかります。内部リンクiEth10でCRCエラーが発生すると予想されます。これは、show system internal fabric connectivity stats module 8コマンドで検証できます。この例を次に示します。
Nexus9500# show system internal fabric connectivity stats module 8
Internal Link-info Stats Linecard slot:8
-------------------------------------------------------------------------------------
LC-Slot LC-Unit LC-iEthLink MUX FM-Slot FM-Unit FM-iEthLink CRC
-------------------------------------------------------------------------------------
8 0 iEth01 - 22 0 iEth18 0
8 0 iEth02 - 22 1 iEth50 0
8 0 iEth03 - 23 0 iEth18 0
8 0 iEth04 - 23 1 iEth50 0
8 0 iEth05 - 24 0 iEth18 0
8 0 iEth06 - 24 1 iEth50 0
8 0 iEth07 - 26 0 iEth18 0
8 0 iEth08 - 26 1 iEth50 0
8 1 iEth09 - 22 0 iEth03 0
8 1 iEth10 - 22 1 iEth35 1784603561
ステップ 2：ファブリックモジュール上のiEthリンクを接続されたラインカードにマッピングし、ストンプされたCRCを確認する
次に、CRCを受信するiEth内部リンクをチェックし、これらのCRCがファブリックモジュールのASICに従ってストンプされているかどうか、および、ファブリックモジュールのiEth内部リンクにどのラインカードが接続されているかをチェックすることで、シナリオ3と同じプロセスを使用します。この例をここに表示するには、show system internal fabric connectivity stats module {x}コマンド、show hardware internal errors module {x}コマンド、およびshow system internal fabric link-state module {x}コマンドをそれぞれ使用します。
Nexus9500# show system internal fabric connectivity stats module 22
Internal Link-info Stats Fabriccard slot:22
-------------------------------------------------------------------------------------
FM-Slot FM-Unit FM-iEthLink LC-Slot LC-Unit LC-EthLink MUX CRC
22 1 iEth56 7 3 iEth26 - 1171851894
Nexus9500# show hardware internal errors module 22 | i CRC|Stomp|Inst
Instance:1
196635 Interface Inbound Errors (CRC,len,Algn Err) 0000054593935847 27:0
1048603 Interface Inbound CRC Error Stomped 0000054593935846 27:0
Nexus9500# show system internal fabric link-state module 22 | i MAC|iEth56
[FM] [ INST:SLI:MAC:GLSRC] [IETH] [ST] <========> [LC] [ INST:SLI:MAC:GLSRC] [IETH] [ST]
[22] [ 1 : 4 : 27 : 0x18] [iEth56] [UP] <========> [ 7] [ 3 : 1 : 9 : 0x0] [iEth26] [UP]
ステップ 3：入力モジュール上の無効なCRCを持つフレームの送信元の追跡
入力ラインカード（このシナリオでは、iEth26によってスロット22に挿入されたファブリックモジュールのiEth56に接続されたスロット7に挿入されたラインカード）を判別した後、破損したフレームがどの入力ポートからスイッチに入っているかを判別します。これは、show interface counters errors module {x} non-zeroコマンドで実行されます。show hardware internal errors module {x}コマンドおよびshow interface hardware-mappingsコマンドの出力では、受信したフレームが無効であるか、またはCRCがストンプされているかが検証できます。
次に例を示します。破損したフレームが前面パネルインターフェイスEthernet7/32からスイッチに侵入しています。
Nexus9500# show interface counters errors module 7 non-zero
<snip>
--------------------------------------------------------------------------------
Port Align-Err FCS-Err Xmit-Err Rcv-Err UnderSize OutDiscards
--------------------------------------------------------------------------------
Eth7/32 0 0 0 4128770335 0 0
--------------------------------------------------------------------------------
Port Stomped-CRC
--------------------------------------------------------------------------------
Eth7/32 4129998971
Nexus9500# show hardware internal errors module 7 | i i CRC|Stomp|Inst
<snip>
Instance:3
196619 Interface Inbound Errors (CRC,len,Algn Err) 0000054901402307 11:0
1048587 Interface Inbound CRC Error Stomped 0000054901402308 11:0
Nexus9500# show interface hardware-mappings | i Name|Eth7
<snip>
Name Ifindex Smod Unit HPort FPort NPort VPort Slice SPort SrcId MacId MacSP VIF Block BlkSrcID
...
Eth7/32 1a303e00 28 3 48 255 124 -1 1 8 16 11 0 125 0 16
結論
Nexus 9500が物理インターフェイスEthernet7/32上でストンプされたCRCを持つフレームを受信していることを確認しました。これは、Ethernet7/32リンクのリモート側のデバイスがこれらのフレームのCRCをストンプしていることを意味します。不正なフレームの根本原因は、Ethernet7/32に直接接続されているリンクではなく、さらにダウンストリームにあります。
ダウンストリームネットワークデバイスで追加のトラブルシューティングを実行して、不正なフレームの原因を特定することができます。
関連情報
更新履歴
| 改定 | 発行日 | コメント |
|---|---|---|
3.0 |
08-Nov-2023 |
タイトル、概要、テクニカルコンテンツの用語、SEO、スタイル要件、機械翻訳、フォーマットを更新。 |
2.0 |
03-Oct-2021 |
新しいハードウェアを含めるには、該当するハードウェアのセクションを更新します。 |
1.0 |
13-Nov-2020 |
初版 |
フィードバック