목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

MDS 스위치의 우선 순위 전송 B2B 크레딧 이해

ISL(Inter-Switch Link Protocol) 트렁크 인터페이스

MDS 9148S 플랫폼 예:

MDS 9710 스위치의 예:

소개

이 문서에서는 파이버 채널 패브릭에서 성능 문제를 해결할 때 유용한 여러 인터페이스의 B2B(receive and transmit buffer-to-buffer) 크레딧에 대해 설명합니다.

사전 요구 사항

요구 사항

다음 주제에 대한 지식을 보유하고 있으면 유용합니다.

- Cisco MDS(Multilayer Data Switch)

- 파이버 채널 프로토콜

사용되는 구성 요소

이 문서의 정보는 Cisco MDS 9000 Series Multilayer Switch를 기반으로 합니다.

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

MDS 스위치의 우선 순위 전송 B2B 크레딧 이해

파이버 채널 패브릭 네트워크의 슬로우 드레인 문제를 해결할 때 인터페이스에 사용 가능한 크레딧을 쉽게 확인할 수 있는 방법은 MDS 스위치의 show interface 명령입니다.

다음은 MDS 인터페이스의 전송 B2B 크레딧에 대해 설명합니다.

ISL(Inter-Switch Link Protocol) 트렁크 인터페이스

우선 순위가 낮은 크레딧은 데이터 트래픽에 사용되고 우선 순위가 높은 크레딧은 스위치 간 제어 트래픽에 사용됩니다. 이는 수신기에서 사용 가능한 모든 수신(Rx) 크레딧을 소비하지 않도록 자신을 제한하기 위한 발신자 측의 논리적 구분일 뿐입니다.

예를 들어 스위치 MDS Tempest(receiver)는 스위치 MDS Maestro(sender)에게 64개의 Rx 크레딧이 있음을 알립니다.

Switch MDS Maestro는 56개의 크레딧을 낮은 우선 순위 Tx 크레딧으로 표시하고 8개는 높은 우선 순위 Tx 크레딧으로 표시합니다.

혼잡이 발생할 경우 MDS Maestro는 56개의 낮은 우선 순위 크레딧을 사용할 수 없을 때 데이터 트래픽 전송을 중지합니다.

그러나 사용 가능한 8개의 높은 우선순위 크레딧을 사용하여 MDS Tempest에 제어 트래픽을 전송할 수 있습니다.

MDS Tempest에서 낮은 우선 순위 크레딧과 높은 우선 순위 크레딧을 구분할 필요가 없습니다.

참고: 우선순위가 높은 TX 전송 크레딧의 수는 여러 하드웨어 플랫폼에 따라 다릅니다.

이는 일반적인 개념입니다. TX 전송 크레딧 8개 중 1개는 높은 우선 순위의 크레딧이며 최대값은 15입니다. 이는 ELP 또는 기타 ISL 제어 메시지를 처리하기에 충분합니다.

이러한 높은/낮은 우선순위 차별화는 E 포트 또는 TE 포트 간 ISL 링크에만 적용되며 F 포트에서는 사용되지 않습니다.

MDS 9148S 플랫폼 예:

E 포트 인터페이스의 경우:

Tempest# show int fc1/26

fc1/26 is trunking

Hardware is Fibre Channel, SFP is short wave laser w/o OFC (SN)

Port WWN is 20:1a:00:2a:6a:b9:d2:30

Peer port WWN is 20:1a:00:2a:6a:56:f0:00

Admin port mode is auto, trunk mode is on

snmp link state traps are enabled

Port mode is TE

Port vsan is 2

Admin Speed is auto

Operating Speed is 4 Gbps

Rate mode is dedicated

Port flow-control is R_RDY

Transmit B2B Credit is 32

Receive B2B Credit is 64

B2B State Change Number is 14

Receive data field Size is 2112

Beacon is turned off

Logical type is core

Trunk vsans (admin allowed and active) (2)

Trunk vsans (up)                       (2)

Trunk vsans (isolated)                 ()

Trunk vsans (initializing)             ()

5 minutes input rate 160 bits/sec,20 bytes/sec, 0 frames/sec

5 minutes output rate 96 bits/sec,12 bytes/sec, 0 frames/sec

22464 frames input,1801536 bytes

0 discards,0 errors

0 invalid CRC/FCS,0 unknown class

0 too long,0 too short

22977 frames output,1318564 bytes

0 discards,0 errors

0 input OLS,0  LRR,0 NOS,2 loop inits

1 output OLS,2 LRR, 0 NOS, 1 loop inits

64 receive B2B credit remaining

32 transmit B2B credit remaining

28 low priority transmit B2B credit remaining

Interface last changed at Thu Jul 20 15:40:32 2017

Last clearing of "show interface" counters :  never

Tempest#

링크의 반대쪽 끝에는 총 전송 크레딧이 64이고 낮은 우선 순위는 56인 것으로 표시됩니다.

Maestro# show int fc1/26

fc1/26 is trunking

Hardware is Fibre Channel, SFP is short wave laser w/o OFC (SN)

Port WWN is 20:1a:00:2a:6a:56:f0:00

Peer port WWN is 20:1a:00:2a:6a:b9:d2:30

Admin port mode is auto, trunk mode is on

snmp link state traps are enabled

Port mode is TE

Port vsan is 2

Speed is 4 Gbps

Rate mode is dedicated

Transmit B2B Credit is 64

Receive B2B Credit is 32

B2B State Change Number is 14

Receive data field Size is 2112

Beacon is turned off

admin fec state is down

oper fec state is down

Trunk vsans (admin allowed and active) (2)

Trunk vsans (up)                       (2)

Trunk vsans (isolated)                 ()

Trunk vsans (initializing)             ()

5 minutes input rate 160 bits/sec,20 bytes/sec, 0 frames/sec

5 minutes output rate 216 bits/sec,27 bytes/sec, 0 frames/sec

23189 frames input,1330368 bytes

0 discards,0 errors

0 invalid CRC/FCS,0 unknown class

0 too long,0 too short

22677 frames output,1818076 bytes

0 discards,0 errors

1 input OLS,2  LRR,0 NOS,3 loop inits

1 output OLS,0 LRR, 0 NOS, 1 loop inits

32 receive B2B credit remaining

64 transmit B2B credit remaining

56 low priority transmit B2B credit remaining

Interface last changed at Wed Jul 19 16:39:58 2017

Last clearing of "show interface" counters 1w 5d

Maestro#

F 포트 인터페이스의 경우:

F 포트의 경우 MDS 스위치와 개시자/대상 디바이스 간에 제어 트래픽이 없으므로 이 계산이 적용되지 않습니다.

그러나 데이터 트래픽의 우선순위가 낮은 것으로 표시된 F 포트의 모든 전송 크레딧을 볼 수 있습니다.

예를 들어 다음 출력에서 총 전송 크레딧은 3이고 낮은 우선순위는 3입니다.

switch# show int fc1/47

fc1/47 is up

Hardware is Fibre Channel, SFP is short wave laser w/o OFC (SN)

Port WWN is 20:2f:00:2a:6a:56:f0:00

Admin port mode is F, trunk mode is on

snmp link state traps are enabled

Port mode is F, FCID is 0x570f00

Port vsan is 2

Speed is 4 Gbps

Rate mode is dedicated

Transmit B2B Credit is 3

Receive B2B Credit is 32

Receive data field Size is 2112

Beacon is turned off

admin fec state is down

oper fec state is down

5 minutes input rate 0 bits/sec,0 bytes/sec, 0 frames/sec

5 minutes output rate 16 bits/sec,2 bytes/sec, 0 frames/sec

1220 frames input,74256 bytes

0 discards,0 errors

0 invalid CRC/FCS,0 unknown class

0 too long,0 too short

2231 frames output,220056 bytes

0 discards,0 errors

1 input OLS,1  LRR,0 NOS,0 loop inits

1 output OLS,0 LRR, 1 NOS, 0 loop inits

32 receive B2B credit remaining

3 transmit B2B credit remaining

3 low priority transmit B2B credit remaining

Interface last changed at Wed Jul 19 15:56:15 2017

Last clearing of "show interface" counters 1w 5d

switch#

MDS 9710 스위치의 예:

MDS97xx 스위치에는 높은 우선 순위의 Tx 전송 크레딧이 없습니다. 그러나 명령 시스템 default tx-credit double-queue에 의해 변경할 수 있습니다.

최대 Tx 전송 크레딧은 연결된 스위치의 인터페이스에서도 확인할 수 있습니다.

토폴로지:  MDS 9710 Leonard fc3/14는 E 포트를 통해 MDS 9148S Tempest fc1/13에 다시 연결됩니다.

기본 설정:

기본적으로 MDS 9710 DS-X9448-768K9 라인 카드에는 높은 우선 순위 크레딧이 없으며 64개의 전송 크레딧 모두 낮은 우선 순위로 간주됩니다.

Leonard(config-if)# show int fc3/14 counter

fc3/14

5 minutes input rate 320 bits/sec, 40 bytes/sec, 3 frames/sec

5 minutes output rate 2688 bits/sec, 336 bytes/sec, 3 frames/sec

1416819 frames input, 77233324 bytes

0 discards, 0 errors, 0 CRC/FCS

0 unknown class, 0 too long, 0 too short

1416813 frames output, 138598368 bytes

0 discards, 0 errors

0 timeout discards, 0 credit loss

53 input OLS, 85 LRR, 119 NOS, 0 loop inits

77 output OLS, 7 LRR, 93 NOS, 0 loop inits

14 link failures, 37 sync losses, 2 signal losses

140 Transmit B2B credit transitions to zero

92 Receive B2B credit transitions to zero

0 2.5us TxWait due to lack of transmit credits

Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%

500 receive B2B credit remaining

64 transmit B2B credit remaining

64 low priority transmit B2B credit remaining

Last clearing of "show interface" counters : never

Leonard(config-if)#

tx-credit double-queue 사용:

스위치 Leonard 시스템 기본 tx-credit double-queue에서 명령을 실행한 후

(shut/no shut으로 인터페이스를 재설정해야 함)

Leonard(config)# show system default switchport

System default port state is down

System default trunk mode is on

System default link failure syslog logging level is 5

System default tx credit queue type is 0

Leonard(config)# system default tx-credit double-queue

Leonard(config)# show system default switchport

System default port state is down

System default trunk mode is on

System default link failure syslog logging level is 5

System default tx credit queue type is 1

Leonard(config)# int fc3/14

Leonard(config-if)# shut

Leonard(config-if)# no shut

우선순위가 높은 Tx 전송 B2B 크레딧은 8개, 우선순위가 낮은 크레딧은 56개임을 알 수 있습니다.

Leonard(config-if)# show int fc3/14 counter

fc3/14

5 minutes input rate 320 bits/sec, 40 bytes/sec, 2 frames/sec

5 minutes output rate 256 bits/sec, 32 bytes/sec, 2 frames/sec

1420613 frames input, 77459300 bytes

0 discards, 0 errors, 0 CRC/FCS

0 unknown class, 0 too long, 0 too short

1420607 frames output, 138968464 bytes

0 discards, 0 errors

0 timeout discards, 0 credit loss

54 input OLS, 87 LRR, 122 NOS, 0 loop inits

79 output OLS, 7 LRR, 95 NOS, 0 loop inits

14 link failures, 38 sync losses, 2 signal losses

143 Transmit B2B credit transitions to zero

94 Receive B2B credit transitions to zero

0 2.5us TxWait due to lack of transmit credits

Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%

500 receive B2B credit remaining

64 transmit B2B credit remaining

56 low priority transmit B2B credit remaining

Last clearing of "show interface" counters : never

Leonard(config-if)#

스위치 MDS 9148S Tempest의 최대 RX 전송 크레딧은 15입니다.

연결된 MDS 9148S, Tempest에서 최대 Tx 전송 B2B 크레딧이 15임을 확인할 수 있습니다.

MDS9710 스위치 Leonard는 기본적으로 500개의 수신 크레딧을 보유하고 있으므로 MDS9148S 스위치 Tempest도 500개의 Tx 전송 B2B 크레딧이 남아 있지만 15개 크레딧(최대)이 높은 우선 순위로 할당됩니다(500 - 485 = 15).

Tempest# show int fc1/13 counter

fc1/13

5 minutes input rate 2624 bits/sec, 328 bytes/sec, 3 frames/sec

5 minutes output rate 1504 bits/sec, 188 bytes/sec, 3 frames/sec

1343331 frames input, 131489464 bytes

0 discards, 0 errors, 0 CRC/FCS

0 unknown class, 0 too long, 0 too short

1343332 frames output, 72878124 bytes

0 discards, 0 errors

0 timeout discards, 0 credit loss

9 input OLS, 2 LRR, 0 NOS, 0 loop inits

12 output OLS, 20 LRR, 9 NOS, 0 loop inits

9 link failures, 0 sync losses, 0 signal losses

66 Transmit B2B credit transitions to zero

24 Receive B2B credit transitions to zero

0 2.5us TxWait due to lack of transmit credits

Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%

64 receive B2B credit remaining

500 transmit B2B credit remaining

485 low priority transmit B2B credit remaining

Last clearing of "show interface" counters  :never

Tempest#

MDS 9710 Leonard의 수신 크레딧이 120 미만으로 변경되면 Tx 크레딧 8개 중 1개가 높은 우선 순위로 표시됩니다.

Leonard(config)# int fc3/14

Leonard(config-if)# switchport fcrxbbcredit 112

Tempest# show int fc1/13 count

fc1/13

5 minutes input rate 1024 bits/sec, 128 bytes/sec, 3 frames/sec

5 minutes output rate 1536 bits/sec, 192 bytes/sec, 3 frames/sec

1360026 frames input, 133105756 bytes

0 discards, 0 errors, 0 CRC/FCS

0 unknown class, 0 too long, 0 too short

1360027 frames output, 73885304 bytes

0 discards, 0 errors

0 timeout discards, 0 credit loss

14 input OLS, 2 LRR, 0 NOS, 0 loop inits

17 output OLS, 30 LRR, 14 NOS, 0 loop inits

14 link failures, 0 sync losses, 0 signal losses

91 Transmit B2B credit transitions to zero

34 Receive B2B credit transitions to zero

0 2.5us TxWait due to lack of transmit credits

Percentage Tx credits not available for last 1s/1m/1h/72h: 0%/0%/0%/0%

64 receive B2B credit remaining

112 transmit B2B credit remaining

98 low priority transmit B2B credit remaining

Last clearing of "show interface" counters  :never

Tempest#