内容

概要

背景説明

よくある原因

コマンドソリューション

show interface

show hardware internal statistics module pktflow dropped

Attachモジュール show hardware internal qengine

追加コマンド

F2eの情報

show hardware internal errors mod

show hardware internal qengine vqi-map

show hardware queuing drops egress module （F2eのみに適用）

概要

このドキュメントでは、Cisco Nexus 7000 F248シリーズ(F2/F2e)ラインカードの入力廃棄の原因と解決策について説明します。入力廃棄は、輻輳のために入力キューで廃棄されたパケットの数を示します。この数には、テールドロップおよび重み付けランダム早期検出(WRED)によって引き起こされるドロップが含まれます。

背景説明

F2ラインカードは、出力ではなく入力でパケットをキューイングし、すべての入力インターフェイスに仮想出力キュー(VOQ)を実装するため、輻輳した出力ポートが他の出力ポートに向かうトラフィックに影響を与えません。システムでVOQを幅広く使用することで、出力単位で最大スループットを確保できます。1つの出力ポートでの輻輳は、他の出力インターフェイス宛てのトラフィックには影響を与えません。これにより、輻輳が拡大するHead-of-Line(HOL)ブロッキングが回避されます。

VOQは、クレジットされたトラフィックとクレジットされていないトラフィックの概念も使用します。ユニキャストトラフィックは、クレジットされたトラフィックとして分類されます。ブロードキャスト、マルチキャスト、および不明なユニキャストトラフィックは、クレジットされていないトラフィックとして分類されます。クレジットされていないトラフィックはVOQを使用せず、トラフィックは入力ではなく出力にキューイングされます。入力ポートにトラフィックを出力ポートに送信するクレジットがない場合、入力ポートはクレジットを取得するまでバッファします。入力ポートバッファが深くないため、入力ドロップが発生する可能性があります。

よくある原因

入力廃棄の一般的な原因は次のとおりです。

- 入力廃棄の最も一般的な原因は、F2ラインカードの宛先ポートと、ラインレートを超えるSPANトラフィックを持つスイッチドポートアナライザ(SPAN)がある場合に発生します。最終的に、入力ポートはパケットをバッファリングし、入力廃棄を引き起こします。

注：{F2E、F3、M3などの次世代I/Oモジュールは、SPAN宛先ポートのオーバーサブスクリプションのシナリオに該当せず、入力ポートで廃棄やHOLBが発生する可能性はありません。これは、「SPANのガイドラインと制限」にも記載されていまする}

- 不適切な設計（入力帯域幅が10G、出力帯域幅が1Gなど）により、F2ハードウェア制限（HOLブロッキング）がトリガーされます。

- 複数のポートからのトラフィックが同じインターフェイス（1Gから1Gまたは10Gから10Gのインターフェイス）から出力される場合、ラインレートを超えると、入力ポートで入力廃棄が発生する可能性があります。

- VLANの不一致により、入力廃棄が発生する可能性があります。show interface trunkコマンドを使用して、両方のスイッチが同じVLANを転送していることを確認します。

コマンドソリューション

ここでは、設定のトラブルシューティングに使用できる情報を示します。

注：このセクションで使用されるコマンドの詳細については、Command Lookup Tool（登録ユーザ専用）を使用してください。

アウトプット インタープリタ ツール（登録ユーザ専用）は、特定の show コマンドをサポートしています。show コマンドの出力の分析を表示するには、Output Interpreter Tool を使用します。

これらの例では、Ethernet 2/1(Eth2/1)に、2つの1Gbpsストリームを受信するホストが接続されています。Eth2/1は1Gで動作します。2つのストリームがEth2/5とEth2/9に入力します。

show interface <ingress interface>

インターフェイスの速度を確認するには、次のコマンドを使用します。入力インターフェイスが10 Gbpsで動作し、出力インターフェイスが1 Gbpsで動作している場合、ドロップはHOLブロッキングが原因である可能性があります。

N7K1# show int eth2/5

Ethernet2/5 is up

admin state is up, Dedicated Interface

------

full-duplex, 1000 Mb/s

------

30 seconds input rate 588237960 bits/sec, 73524 packets/sec

30 seconds output rate 216 bits/sec, 0 packets/sec

Load-Interval #2: 5 minute (300 seconds)

input rate 588.56 Mbps, 73.52 Kpps; output rate 156.11 Mbps, 19.45 Kpps

RX

221333142 unicast packets  0 multicast packets  0 broadcast packets

221333128 input packets  221333169400 bytes

0 jumbo packets  0 storm suppression packets

0 runts  0 giants  0 CRC  0 no buffer

0 input error  0 short frame  0 overrun   0 underrun  0 ignored

0 watchdog  0 bad etype drop  0 bad proto drop  0 if down drop

0 input with dribble  11590977 input discard <-------

0 Rx pause

show hardware internal statistics module <x> pktflow dropped

congestion_drop_bytesの値が増加するかどうかを確認するには、このコマンドを複数回実行します。xは、入力ポートのモジュール番号です。

attach module <x>およびshow hardware internal qengine

仮想キューインデックス(VQI)番号を特定するには、次のコマンドを複数回実行します。

attach module <x>

module-x# show hardware internal qengine voq-status | ex "0 0 0 0 0 0 0 0 0 0

または

module-x# show hardware internal qengine inst 2 voq-status non empty

VQIでは、常に移動にゼロ以外のカウンタが表示されます。輻輳したポートでは、通常、カウンタは常に高い状態を維持します。

N7K1# attach module 2

Attaching to module 2 ...

To exit type 'exit', to abort type '$.'

module-2# show hardware internal qengine inst 2 voq-status non-empty

VQI:CCOS  BYTE_CNT  PKT_CNT  TAIL  HEAD  THR

--------  --------  -------  ----  ----  ---

0036:3    6154      3077     6804  14168 1 <------- VQI is 36 here

module-2# show hardware internal qengine voq-status | ex "0 0 0 0 0 0 0 0 0 0 0 0"

VQI:CCOS CLP0 CLP1 CLP2 CLP3 CLP4 CLP5 CLP6 CLP7 CLP8 CLP9 CLPA CLPB

-------- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ---- ----

0036:3   0    0    0    0    0    0    0    1    0    0    0    0

VQI === 36

VQI番号を取得したら、show hardware internal qengine vqi-mapコマンドを使用して、VQIマップテーブルを検索します。出力インターフェイスを判別するには、スロット番号と低速データインターフェイス(LDI)番号を確認します。（スロットはモジュールとも呼ばれ、LDIはポートとも呼ばれます）。 モジュールはゼロベースであり、マッピング機能を使用してLDIを決定できます。

module-2# show hardware internal qengine vqi-map

VQI   SUP  SLOT  LDI  EQI  FPOE  NUM  XBAR   IN   ASIC  ASIC  SV  FEA_

NUM   VQI  NUM   NUM  NUM  BASE  DLS  MASK   ORD  TYPE  IDX   ID  TURE

----  ---  ----  ---  ---  ----  ---  -----  ---  ----  ----  --  ----

--snip

36     no   1     0    0    8     1    0x155  0    CLP   0     0   0x81

--snip

LDIから物理ポートへのマッピング：

LDI

ポート

0

0

1

1

0

3

3

4

4

6

5

5

6

7

7

8

8

10

9 ミリ秒

9 ミリ秒

10

11

11

12

12

14

13

13

14

15

15

16

16

18

17

17

18

19

19

20

20

22

21

21

22

23

23

24

24

26

25

25

26

27

27

28

28

30

29

29

30

31

31

32

32

34

33

33

34

35

35

36

36

38

37

37

38

39

39

40

40

42

41

41

42

43

43

44

44

46

45

45

46

47

47

48

物理ポート= Eth 2/2

show system internal ethpm info interface Eth2/2を使用してVQIおよびLDIを検証します。 | VQIを含める

テスト説明の輻輳ポートは2/1でしたが、リストされているVQIはe2/2です。不一致の理由は、出力バッファがF2/F2eモジュールの4ポートのグループであるポートグループによって共有されるためです。ポート1 ～ 4、5 ～ 8などは、各ポートグループの一部です。ポートグループ内の1つのポートが出力方向で輻輳すると、入力ポートにバックプレッシャが発生し、入力廃棄が発生する可能性があります。

追加コマンド

入力廃棄が引き続き発生する場合は、次のコマンドを複数回実行します。

- show interface | in Mbps|イーサネット

- show hardware internal statistics pktflow dropped

- show hardware internal statistics pktflow dropped congestion

- show hard internal statistics pktflow all

- show hardware internal error

- show hardware internal statistics device qengine

- show hard internal mac port 38 qos config

- show hard internal statis device mac all port 38

- モジュール1の接続

- show hardware internal qengine voq-status

- show hardware internal qengine vqi-map

F2eの情報

F2eには、輻輳した出力インターフェイスを持つポートグループ/ASICの最初のポートのVQIを指すハードウェア内部エラーカウンタがあります。

show hardware internal errors mod <x>

輻輳が検出された回数をモジュールで確認するには、次のコマンドを使用します。

N7K2# show hardware internal errors mod 1

|------------------------------------------------------------------------|

| Device:Clipper XBAR             Role:QUE                     Mod: 1    |

| Last cleared @ Wed Jul 10 14:51:56 2013

| Device Statistics Category :: CONGESTION

|------------------------------------------------------------------------|

Instance:1

ID    Name                                          Value             Ports

--    ----                                          -----             -----

16227 Num of times congestion detected on VQI 48    0000000000001296  5-8 -

Instance:2

ID    Name                                          Value             Ports

--    ----                                          -----             -----

16227 Num of times congestion detected on VQI 48    0000000000000590  9-12 -

Instance:3

ID    Name                                          Value             Ports

--    ----                                          -----             -----

16227 Num of times congestion detected on VQI 48    0000000000001213  13-16 -

show hardware internal qengine vqi-map

VQIを物理インターフェイスにマッピングするには、次のコマンドを使用します。この例では、前の例のVQI 48を使用しています。スロット番号とLDI番号を確認して、出力インターフェイスを判別します。モジュールはゼロベースであり、マッピング機能を使用してLDIを決定できます。

module-1# show hardware internal qengine vqi-map

VQI   SUP  SLOT  LDI  EQI  FPOE  NUM  XBAR   IN   ASIC  ASIC  SV  FEA_

NUM   VQI  NUM   NUM  NUM  BASE  DLS  MASK   ORD  TYPE  IDX   ID  TURE

----  ---  ----  ---  ---  ----  ---  -----  ---  ----  ----  --  ----

--snip

48    no   0     12   0    3     1    0x155  0    CLP   3     0   0x1

--snip

Module Number = SLOT NUM + 1  (zero-based)

Module Number = 0 + 1 = 1

Physical Port = Eth 1/14 (check the LDI to physical port mapping table)

Validate VQI and LDI via "show system internal ethpm info interface Eth1/14 | include VQI"

VQI 48はEth1/13にマッピングされますが、ポートグループ/ASICの最初のポートでの輻輳が報告されることに注意してください。1つのポートグループ/ASICには4つのポートがあるため、次のコマンドを使用して、輻輳を検出したポートグループ/ASIC内の実際のインターフェイスを表示します。

show hardware queuing drops egress module <x>（F2eにのみ適用）

このコマンドを使用して、前の例で示したVQI 48の一部であるポートグループ/ASICで輻輳を確認した実際の出力インターフェイスを表示します。

N7K2# show hardware queuing drops egress module 1

VQ Drops

--------------------------------------------------------------------------------

|    Output   |     VQ Drops     |  VQ Congestion   | Src | Src  |    Input    |

|  Interface  |                  |                  | Mod | Inst |  Interface  |

--------------------------------------------------------------------------------

|     Eth1/14 | 0000000000000000 | 0000000000001296 |   1 |    1 |    Eth1/5-8 |

|     Eth1/14 | 0000000000000000 | 0000000000000590 |   1 |    2 |   Eth1/9-12 |

|     Eth1/14 | 0000000000000000 | 0000000000001213 |   1 |    3 |  Eth1/13-16 |

|     Eth1/14 | 0000000000000000 | 0000000000000536 |   2 |    1 |    Eth2/5-8 |

|     Eth1/14 | 0000000000000000 | 0000000000000009 |   2 |    2 |   Eth2/9-12 |

|     Eth1/14 | 0000000000000000 | 0000000000000262 |   2 |    3 |  Eth2/13-16 |

--------------------------------------------------------------------------------