目錄

簡介

必要條件

需求

採用元件

輸入緩衝區

流量控制組態

Nexus 2232上TX暫停的原因

實驗室測試案例

網路圖表

測試1.主機上未啟用流量控制的突發流量

測試2.主機上已啟用流量控制的突發流量

測試3.乙太通道雜湊衝突

補救

結論和最佳做法

簡介

本檔案將說明一些資訊，以協助排解Nexus 2232主機介面(HIF)連線埠上的傳輸(TX)暫停問題。它側重於主機到網路(H2N)方向的流量（從伺服器到網路、從南到北的流量）。 它不包括與網路到主機(N2H)流量流相關的方案。

本文檔主要針對Nexus 2232交換矩陣擴展器(FEX)編寫，但該概念適用於B22和2248UPQ FEX。

必要條件

需求

思科建議您瞭解以下主題

- Cisco Nexus 2000系列配置

- Cisco Nexus 6000系列配置

採用元件

本文中的資訊係根據以下軟體和硬體版本：

- Cisco Nexus N2K-C2232PP-10GE

- Cisco Nexus 6001

- 7.1(1)N1(1)

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路正在作用，請確保您已瞭解任何指令可能造成的影響。

輸入緩衝區

Nexus 2232具有32個1/10G面向主機(HIF)埠和8個10G面向網路(NIF)埠。

深入瞭解TX暫停問題之前，您需要瞭解FEX介面上的可用緩衝區。可以通過父交換機上的以下命令檢查分配給介面/qos-group的緩衝區：

esc-6001# show queuing interface ethernet 147/1/1

if_slot 79, ifidx 0x1f920000

Ethernet147/1/1 queuing information:

Input buffer allocation:

Qos-group: 0

frh: 8

drop-type: drop

cos: 0 1 2 3 4 5 6

xon       xoff      buffer-size

---------+---------+-----------

0         126720    151040

<snip>

如所示，對於丟棄類流量(qos-group 0)，使用預設服務品質(QoS)時，FEX HIF有151040位元組用於緩衝H2N流量，而XOFF閾值為126720位元組。

流量控制組態

Nexus 2232超訂用至8:1。為了避免由於超訂用和緩衝區溢位導致H2N方向的資料包丟棄，Nexus 2232預設啟用HIF流量控制傳送：

esc-6001# show run int ethernet 147/1/1 all | inc flow

priority-flow-control mode auto

flowcontrol receive off

flowcontrol send on

esc-6001# show interface ethernet 147/1/1 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 0

Nexus 2232上TX暫停的原因

當達到126720位元組的XOFF閾值時，Nexus 2232會向HIF上的主機傳送TX暫停。常見原因包括：

1.進入FEX的H2N流量非常繁忙，導致入口緩衝區滿滿並達到XOFF閾值。

2.大多數FEX部署使用埠通道來聚合多個NIF。由於入口緩衝區也出現TX暫停，而由於FEX上的EtherChannel雜湊衝突而導致入口緩衝區已滿。當多個HIF埠由於EtherChannel結果而嘗試從單個NIF輸出時，會發生這種情況。

H2N方向的丟包

為了避免丟包，一旦達到XOFF閾值，就會傳送TX暫停。但是，在以下情況下，可以看到H2N流量丟棄：

1.伺服器不會支援暫停，

2.延遲以暫停導致151KB丟棄閾值命中。

實驗室測試案例

網路圖表

對於實驗室中的此測試，有四個10G螺旋埠用作主機，兩個在FEX上，兩個在父Nexus 6001上。所有埠都位於VLAN 50中。FEX或父級上沒有其他埠處於活動狀態：

esc-6001# show port-channel summary

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

S - Switched    R - Routed

U - Up (port-channel)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

147   Po147(SU)   Eth      NONE      Eth1/41(P)   Eth1/42(P)   Eth1/43(P)

Eth1/44(P)   Eth1/45(P)   Eth1/46(P)

Eth1/47(P)   Eth1/48(P)

esc-6001# show fex 147 detail | exc Down

FEX: 147 Description: FEX0147   state: Online

FEX version: 7.1(1)N1(1) [Switch version: 7.1(1)N1(1)]

FEX Interim version: 7.1(1)N1(1)

Switch Interim version: 7.1(1)N1(1)

Extender Serial: FOT1635R003

Extender Model: N2K-C2232PP-10GE,  Part No: 73-12533-05

Card Id: 82, Mac Addr: 20:3a:07:34:5b:02, Num Macs: 64

Module Sw Gen: 21  [Switch Sw Gen: 21]

post level: complete

Pinning-mode: static    Max-links: 1

Fabric port for control traffic: Eth1/47

FCoE Admin: false

FCoE Oper: true

FCoE FEX AA Configured: false

Fabric interface state:

Po147 - Interface Up. State: Active

Eth1/41 - Interface Up. State: Active

Eth1/42 - Interface Up. State: Active

Eth1/43 - Interface Up. State: Active

Eth1/44 - Interface Up. State: Active

Eth1/45 - Interface Up. State: Active

Eth1/46 - Interface Up. State: Active

Eth1/47 - Interface Up. State: Active

Eth1/48 - Interface Up. State: Active

Fex Port        State  Fabric Port

Eth147/1/1    Up       Po147

Eth147/1/9    Up       Po147

Logs:

04/21/2015 21:58:30.162193: Module register received

04/21/2015 21:58:30.164611: Registration response sent

04/21/2015 21:58:30.196708: create module inserted event.

04/21/2015 21:58:30.197425: Module Online Sequence

04/21/2015 21:58:35.051474: Module Online

測試1.主機上未啟用流量控制的突發流量

當您從Eth147/1/1（到Eth1/16）和Eth147/1/9(do Eth1/32)上的主機傳送100K 1500位元組的線路速率單播突發時。 每個流都是一個流。已在主機(Spirent)上禁用流量控制。

結果:接收器埠報告每個流丟棄了約563個資料包。由於主機上已禁用流控制，因此您可以看到更多的TX暫停和高延遲（約100微秒）：

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578269 multicast packets  0 broadcast packets

578267 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  578275 multicast packets  0 broadcast packets

578273 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 578267

Eth147/1/9   on       on       off      off         0                 578273

接收方報告的丟棄實際上丟棄在FEX本身。有內部硬體命令可以顯示丟包，但這要求您完全瞭解FEX內部體系結構，該體系結構不屬於本文檔的範圍。如果您需要檢查這些計數器，請與TAC接洽，瞭解故障排除的此方面。

測試2.主機上已啟用流量控制的突發流量

當您傳送單流100K 1500位元組線速單播突發時，從Eth147/1/1（到Eth1/16）和Eth147/1/9(do Eth1/32)上的主機發起。 每個流都是一個流。已在主機(Spirent)上啟用流量控制。

結果:

接收器埠報告無丟失。最小TX暫停和平均延遲約為19微秒：

esc-6001# clear counters ; clear qos stat

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | egrep Ethernet147|pause|unicast

Ethernet147/1/1 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4743 multicast packets  0 broadcast packets

4739 Tx pause

Ethernet147/1/9 is up

100000 unicast packets  0 multicast packets  0 broadcast packets

0 Rx pause

0 unicast packets  4703 multicast packets  0 broadcast packets

4700 Tx pause

esc-6001# show interface ethernet 147/1/1, eth147/1/9 flowcontrol

--------------------------------------------------------------------------------

Port         Send FlowControl  Receive FlowControl  RxPause   TxPause

admin    oper     admin    oper

--------------------------------------------------------------------------------

Eth147/1/1   on       on       off      off         0                 4739

Eth147/1/9   on       on       off      off         0                 4700

Drops:

沒有丟包，因為主機接受從FEX傳送的流量控制。

測試3.乙太通道雜湊衝突

FEX和父交換機之間的上行鏈路是埠通道。雖然這取決於選取的埠通道中的哪個成員以及它有多忙，但在FEX HIF上可看到TX暫停。在本實驗中，FEX上只有兩個埠處於活動狀態，埠通道中使用的所有8個上行鏈路都處於活動狀態。

但是在本測試中，使用預設雜湊時，來自乙太網147/1/1和乙太網147/1/9上的主機的流量會雜湊到連線到6001上的Eth1/41的NIF0。如果從主機傳送98%的線路速率流量，則會在兩個HIF上傳送TX暫停。

對於此測試，已在主機上禁用流量控制：

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 9836009128 bits/sec, 819667 packets/sec

30 seconds output rate 2516922296 bits/sec, 4915863 packets/sec

input rate 9.84 Gbps, 819.67 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376923 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 9836252112 bits/sec, 819687 packets/sec

30 seconds output rate 2516980960 bits/sec, 4915978 packets/sec

input rate 9.84 Gbps, 819.69 Kpps; output rate 2.52 Gbps, 4.91 Mpps

0 Rx pause

98376916 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         24 |         4 |  11.23Kbps ||         22 |         4 |  16.49Kbps |   272 |   448 |   |

| 0-NI7  ||         15 |         3 |   4.17Kbps ||         17 |         3 |   3.81Kbps |   154 |   120 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          1 |         0 |   1.08Kbps |  1080 |   656 |   |

| 0-NI0  ||    4108297 |    821659 |  10.05Gbps ||          1 |         0 |   1.08Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   24556087 |   4911217 |   3.30Gbps ||    4094470 |    818894 |   9.95Gbps |    64 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   24560241 |   4912048 |   3.30Gbps ||    4095156 |    819031 |   9.95Gbps |    64 |  1500 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

Drops:

由於主機未配置流量控制，因此存在丟包。

在主機上啟用流量控制後，主機將執行暫停和限制後退：

esc-6001# clear counters ; clear qos stat

esc-6001#

esc-6001# show interface ethernet 147/1/1, ethernet 147/1/9 | inc Ethernet14|rate|pause

Ethernet147/1/1 is up

30 seconds input rate 4926871976 bits/sec, 410572 packets/sec

30 seconds output rate 1288637816 bits/sec, 2516870 packets/sec

input rate 4.93 Gbps, 410.57 Kpps; output rate 1.29 Gbps, 2.52 Mpps

0 Rx pause

88129183 Tx pause

Ethernet147/1/9 is up

30 seconds input rate 4924820632 bits/sec, 410401 packets/sec

30 seconds output rate 1287225224 bits/sec, 2514111 packets/sec

input rate 4.92 Gbps, 410.40 Kpps; output rate 1.29 Gbps, 2.51 Mpps

0 Rx pause

88069874 Tx pause

esc-6001# show port-channel traffic interface port-channel 147

ChanId      Port Rx-Ucst Tx-Ucst Rx-Mcst Tx-Mcst Rx-Bcst Tx-Bcst

------ --------- ------- ------- ------- ------- ------- -------

147   Eth1/41  99.99%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/42    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/43    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/44    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/45    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/46    0.0%    0.0%  12.50%  12.50%    0.0%    0.0%

147   Eth1/47   0.00%  99.00%  12.50%  12.50%    0.0%    0.0%

147   Eth1/48    0.0%   1.00%  12.50%  12.50%    0.0%    0.0%

esc-6001# attach fex 147

Attaching to FEX 147 ...

To exit type 'exit', to abort type '$.'

fex-147# dbgexec w

woo> rate

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| Port   || Tx Packets |  Tx Rate  |   Tx Bit   || Rx Packets |  Rx Rate  |   Rx Bit   |Avg Pkt|Avg Pkt|   |

|        ||            |  (pkts/s) |    Rate    ||            |  (pkts/s) |    Rate    | (Tx)  | (Rx)  |Err|

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

| 0-NI8  ||         32 |         6 |  19.76Kbps ||         19 |         3 |  16.01Kbps |   366 |   506 |   |

| 0-NI7  ||         13 |         2 |   3.85Kbps ||         20 |         4 |   5.14Kbps |   165 |   140 |   |

| 0-NI6  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI5  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI4  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI3  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI2  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI1  ||          1 |         0 |   1.76Kbps ||          2 |         0 |   2.16Kbps |  1080 |   656 |   |

| 0-NI0  ||    4105292 |    821058 |  10.04Gbps ||          2 |         0 |   2.16Kbps |  1509 |   656 |   |

| 0-HI31 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI30 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI29 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI28 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI27 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI26 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI25 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI24 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI23 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI22 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI21 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI20 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI19 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI18 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI17 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI16 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI14 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI13 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI12 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI11 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI10 ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI9  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI8  ||   12556848 |   2511369 |   1.68Gbps ||    2049754 |    409950 |   4.98Gbps |    63 |  1500 |   |

| 0-HI6  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI5  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI4  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI3  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI2  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI1  ||          1 |         0 |   2.28Kbps ||          1 |         0 |   2.28Kbps |  1412 |  1412 |   |

| 0-HI0  ||   12573036 |   2514607 |   1.68Gbps ||    2051092 |    410218 |   4.98Gbps |    64 |  1499 |   |

+--------++------------+-----------+------------++------------+-----------+------------+-------+-------+---+

補救

預設情況下，對於IP流量，FEX負載平衡基於源 — 目標MAC/IP。對於類似的問題，請更改雜湊演算法，以便通過交換矩陣埠通道更好地分配流量。如果看到負載不均衡，請使用此方法。此選項不是絕對的解決方案：

esc-6001# show port-channel load-balance

Port Channel Load-Balancing Configuration:

System: source-dest-ip

Port Channel Load-Balancing Addresses Used Per-Protocol:

Non-IP: source-dest-mac

IP: source-dest-ip source-dest-mac

Which hashing algorithm  to choose depends on traffic profile. Here are the options available.

esc-6001# conf t

Enter configuration commands, one per line.  End with CNTL/Z.

esc-6001(config)# port-channel load-balance ethernet ?

destination-ip         Destination IP address

destination-mac        Destination MAC address

destination-port       Destination TCP/UDP port

source-dest-ip         Source & Destination IP address (includes l2)

source-dest-ip-only    Source & Destination IP addresses only

source-dest-mac        Source & Destination MAC address

source-dest-port       Source & Destination TCP/UDP port (includes l2 and l3)

source-dest-port-only  Source & Destination TCP/UDP port only

source-ip              Source IP address

source-mac             Source MAC address

source-port            Source TCP/UDP port

結論和最佳做法

1. 2232/2248UPQ/B22 FEX中，TX暫停是避免封包捨棄的正常操作機制。

2. 2232/2248UPQ/B22 FEX與父交換機之間的上行鏈路數量最大化。為了能夠有更多的路徑通往網路，同時還有助於為N2H流量設定最大緩衝區。

3.如果FEX和父交換機之間的上行鏈路使用不均勻，則更改埠通道雜湊會有所幫助。

4.由於FEX上沒有本地交換，因此應避免在FEX上的主機上設定東 — 西流量配置檔案。

5.避免NAS裝置、FEX上的刀片機箱等突發裝置。這些必須發生在父母身上。

6.更新的2348UPQ FEX具有32M共用緩衝區，每個HIF有1MB共用緩衝區，用於提高H2N流量突發吸收能力。此外，使用40G NIF上行鏈路時，雜湊衝突/上行鏈路擁塞的機率會大幅降低。