概要
このドキュメントでは、Cisco Multilayer Director Switch(MDS)と別のCiscoスイッチの間のファイバチャネル(FC)リンクがトランキングまたはポートチャネルでアップにならない理由を説明します。ただし、同じリンクがポートチャネルにない場合はアップになる可能性があります。
背景説明
これには、MDSスイッチと他のMDSスイッチ間のFCリンク、Nexusスイッチ、およびUnified Computing System(UCS)ファブリックインターコネクト(FI)が含まれます。
ヒント:ポートチャネルとトランキングの詳細については、適切なポートチャネルおよびトランキング設定ガイドを参照してください。
ポートチャネルガイド:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_portchannels.html
トランキングガイド:https://www.cisco.com/c/en/us/td/docs/switches/datacenter/mds9000/sw/8_x/config/interfaces/cisco_mds9000_interfaces_config_guide_8x/configuring_trunking.html
すべてのMDSスイッチは、ポートチャネルを介して複数の物理リンクを1つの仮想リンクに集約できるほか、別のシスコデバイスに接続すると、トランキング機能を使用したリンク経由で複数の仮想ストレージエリアネットワーク(VSAN)を転送できます。
ポートチャネルとトランキングリンクをネゴシエートするために、MDSスイッチはExchange Peer Parameters(EPP)サービスを使用して、Inter-Switch Link(ISL)のピアポート間で通信します。 ISLネゴシエーションプロセスの一部は、ピアがピアのOrganizational Unique Identifier(OUI)を持つシスコデバイスであることを確認します。
CiscoスイッチのOUIがピアのOUIデータベースにCisco OUIとしてリストされていない場合、ポートチャネルに追加されたり、インターフェイスでトランキングが有効にされたりすると、リンクがアップになりません。
起動に失敗したMDSトランキング/ポートチャネルリンクのトラブルシューティング
リンクがポートチャネルにある場合は、ポートチャネルインターフェイスのhaschannel mode activeが設定されていることを確認します。
MDSswitch# show run interface port-channel 1
...
interface port-channel1
channel mode active <<<<
リンクがFIなどのN_Port Virtualization(NPV)スイッチに接続されている場合は、NPIVおよびfport-channel-trunk機能が有効になっていることを確認します。
MDSswitch# show feature | include npiv
npiv 1 enabled
MDSswitch# show feature | include fport
fport-channel-trunk 1 enabled
リンクがトランキングされている場合は、トランキングプロトコルがグローバルに有効になっていることを確認します。
MDSswitch# show trunk protocol
Trunk Protocol is enabled
インターフェイスでトランキングが有効になっていることを確認します。
MDSswitch# show interface port-channel 1
port-channel1 is down (No operational members)
Hardware is Fibre Channel
Port WWN is xx:xx:00:2a:6a:xx:xx:xx
Admin port mode is auto, trunk mode is on <<<<
リンクが8 Gbpsで接続されている場合は、塗り潰しパターンまたは塗り潰し語がリンクの両側で同じ設定になっていることを確認してください。デフォルトでは、MDS、N5K/N6K、およびUCS FI 6300シリーズデバイスはARBFFを使用します。N9KおよびUCS FI 6400シリーズは、8G塗り潰しパターンとしてIDLEのみをサポートします。
次のコマンドを使用して、MDS/N5K/N6Kインターフェイスfc x/yの現在の塗り潰しパターンを確認します。
slot x show hardware internal fcmac port y port-info | i FILL
MDSswitch# slot 1 show hardware internal fcmac port 2 port-info | i FILL
FILL_WORD(raw) : ARBFF (0xbc94ffff)
注:Nexusスイッチの出力は、0x0(8 Gbpsでアップしていないインターフェイス)、0xBC94FFFF(ARBFF)、または0xBC95B5B5(IDLE)です。
N9KまたはUCS FI 6400がデフォルトでARBFFを使用するデバイスに接続されている場合、接続されたデバイスのインターフェイスをIDLEを使用するように設定する必要があります。
MDSswitch# conf t
Enter configuration commands, one per line. End with CNTL/Z.
MDSswitch(config)# interface fc1/2MDSswitch(config-if)# switchport fill-pattern IDLE speed 8000
UCS FI 6300シリーズでは、FCアップリンクの塗り潰しパターンがUCS Manager(UCSM)で表示され、[General]タブの[SAN] > [SAN Cloud] > [Fabric] > [Uplink FC Interfaces] > [FC Interface x/Interface x/in
確認
症状
- インターフェイスは、トランキングが無効な単一ポートとして起動しますが、ポートチャネルでは起動しません。
- 単一のインターフェイスでトランキングが有効になっていると起動できない。
- ポートチャネル内またはポートチャネルに追加されると、インターフェイスは即座にエラーディセーブルになります。
ログ メッセージ
注:スイッチのOUIが、リンクの片側または両側のピアのOUIデータベースに存在しない可能性があります。双方の調査が必要です。
MDSおよびNexusスイッチの場合:
ピアのOUIがOUIデータベースにないスイッチでは、「physical flogi rejected, waiting for the port mode」および「EPP_SYNC」エラーが記録されます。
MDSswitch# show flogi internal event-history errors | include reject previous 1 next 1
...
10) Event:E_DEBUG, length:124, at 727676 usecs after Tue May 14 17:44:47 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
11) Event:E_DEBUG, length:124, at 661821 usecs after Tue May 14 17:44:39 2013
[102] fs_fc2_msg_flogi: ifindex[0x12ae000] pwwn[xx:xx:00:2a:6a:xx:xx:xx] physical flogi rejected, waiting for the port mode
12) Event:E_DEBUG, length:73, at 772303 usecs after Tue May 14 17:43:11 2013
[102] fs_flogi_send_flogi_reject: mts_q == 0, ifindex 0x12ae000, port 0x0
MDSswitch# show port internal event-history errors | include EPP previous 1 next 1
...
19) Event:E_DEBUG, length:48, at 465145 usecs after Tue May 14 17:44:49 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
...
27) Event:E_DEBUG, length:48, at 280537 usecs after Tue May 14 17:44:43 2013
[102] epp_ac_accept_sync: Error sending EPP_SYNC
エラーのインターフェイスを確認するには、show interface snmp-ifindex、エラーメッセージのifindexでインデックスを変換します。この例では、show flogi internal event-history errorsに含まれるifindex 12ae000を使用しています。
MDSswitch# show interface snmp-ifindex | include 12ae000
fc6/47 0019587072 (00012ae000)
UCS FIの場合:ピアのOUIがOUIデータベースにないFIでは、「PI_FSM_EV_PORT_CONFIG_FAILURE」および「port fcx/y attempting vf tagging on non-cisco switch」エラーが記録されます。
UCS(nxos)# show port internal event-history errors
1) Event:E_DEBUG, length:117, at 225850 usecs after Wed Aug 1 10:18:26 2018
[102] pi_fsm_port_attr_change_init: Ifindex (fc1/47)0x102e000, Err disabled event (PI_FSM_EV_PORT_CONFIG_FAILURE)0xd7
2) Event:E_DEBUG, length:100, at 222587 usecs after Wed Aug 1 10:18:26 2018
[102] pm_process_fport_vf_tagging_capability: port fc1/47 attempting vf tagging on non-cisco switch
OUIデータベース
各スイッチからOUIを抽出します。OUIは、ワールドワイドネーム(WWN)の3番目、4番目、および5番目のオクテットです。
peer-switch# show wwn switch
Switch WWN is xx:xx:00:2a:6a:xx:xx:xx
この例では、スイッチOUIは0x002A6Aです。
スイッチのOUIデータベースで、ピアスイッチのOUIを確認します。コマンドに出力がない場合、OUIはデータベースに存在しません。
MDSswitch# show wwn oui | include 0x002a6a
MDSswitch#
注:UCS FIでは、show wwnコマンドはサポートされません。FI OUIデータベースにOUIがいつ追加されたかを確認するには、表1.および表2.を参照してください。
取り組む
スイッチOUIデータベースは、スイッチソフトウェアのアップグレードによって更新されます。ピアスイッチのOUIを含むOUIデータベースを使用してスイッチをソフトウェアバージョンにアップグレードできるまで、トランキングを無効にしたポートチャネルの外部に設定された単一のリンクを使用します。
MDSおよびNexusスイッチ上のwwn oui <hex oui>コマンドは、スイッチのOUIデータベースにCisco OUIを手動で追加できます。
MDSスイッチでは、この機能はNX-OSバージョン7.3(0)D1(1)以降で使用できます。
Nexus 5K/6Kスイッチでは、この機能はNX-OSバージョン7.3(3)N1(1)以降で追加されました。
NX-OS 7.xのNexus 9000スイッチでは、この機能はNX-ISバージョン7.3(1)N1(1)以降で使用できます。
NX-OSの他のバージョンのNexus 9000スイッチでは、この機能はNX-OSバージョン9.3(3)以降で使用できます。
Example: MDSswitch# configure terminal
MDSswitch(config)# wwn oui 0x0000fc
MDSswitch# show wwn oui
OUI Vendor Default/Static
----------------------------------------------------
0x0000fc Cisco Static
ACIイメージ上のNexus 9000スイッチは、APIC in15.0(1k)以降からランタイムでライブラリにOUIを追加できます。
OUIデータベースの追加
表1.1. MDS OUIデータベースの追加
OUI |
OUIを含むソフトウェア |
0x547手数料 |
NX-OS 5.0(1)以降のすべてのバージョン。 |
0x00351A 0x003A7D 0x004268 0x0062EC 0x007888 0x00C164 0x00C88B 0x00F28B 0x00FEC8 0x046273 0x188B9D 0x5897BD 0x58AC78 0x5C838F 0x64F69D 0x70E422 0x80E01D 0x84B261 0x84B802 0xA46C2A 0xCC167E 0xCC46D6 0xD8B190 0xE00EDA 0xE4AA5D |
NX-OS 5.x(5.2(8h)以降) NX-OS 6.x(6.2(17)以降) NX-OS 7.x(7.3(1)D1(1)以降) NX-OS 8.3(1)以降のすべてのバージョン。 |
0x0018BA 0x001B54 0x002255 0x0023AC 0x002498 0x0024F7 0x002651 0x002698 0x002A6A 0x00DEFB 0x04C5A4 0x108CCF 0x18EF63 0x1CDF0F 0x405539 0x68BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0xB41489 0xC0626B 0xF02572 0xF866F2 |
NX-OS 5.2(6)以降のすべてのバージョン。 |
0x508789 0x58F39C 0x7426AC 0x7C0ECE 0x881DFC 0x88F031 0x8C604F 0xA0ECF9 0xF07F06 0xF40F1B 0xF44E05 0xF8C288 0xFC5B39 |
NX-OS 6.2(11)以降のすべてのバージョン。 |
0x000831 0x003A9C 0x74A02F 0xD0A5A6 |
NX-OS 5.x(5.2(8g)以降) 6.2(11c)以降のNX-OS 6.x NX-OS 7.3(1)D1(1)以降のすべてのバージョン。 |
0x70EA1A 0xC4F7D5 |
NX-OS 8.4(2)以降のすべてのバージョン。 |
0x00FD22 0x10B3D5 0x10B3D6 0x4C710D 0xC4B239 0xD4E880 |
NX-OS 6.x(6.2(33)以降) NX-OS 8.4(2)以降のすべてのバージョン。 |
0xDC774C |
8.4(2c)以降のNX-OS 8.4(x) NX-OS 9.x(9.2(1)以降) |
0x3C13CC 0x4CE176 |
決定 |
表1.2. Nexus 5000/5500/5600/6000 OUIデータベースの追加
OUI |
OUIを含むソフトウェア |
0x002A6A 0x00DEFB 0x8C604F |
NX-OS 5.1(3)N2(1)以降 NX-OS 5.2(1)N1(4)以降 NX-OS 6.0(2)N1(2)以降のすべてのバージョン。 |
0x50EB1A 0x9371D5 |
NX-OS 7.3(7)N1(1)以降のすべてのバージョン。 |
0x3C13CC 0x4CE176 0xDC774C |
NX-OS 7.3(10)N1(1)以降のすべてのバージョン。 |
表1.3. Nexus 9000 OUIデータベースの追加
OUI |
OUIを含むソフトウェア |
0x000831 0x001086 0x0024FF 0x0027E3 0x002A10 0x002CC8 0x00351A 0x003A7D 0x003A99 0x003A9C 0x004268 0x005D73 0x0062EC 0x006BF1 0x007888 0x0081C4 0x0090FA 0x00A2EE 0x00A38E 0x00A6CA 0x00A742 0x00B771 0x00BE75 0x00C164 0x00C88B 0x00D78F 0x00EABD 0x00F28B 0x00F663 0x00FCBA 0x00FEC8 0x043110 0x046273 0x0896AD 0x1005CA 0x14F0C5 0x188090 0x188B9D |
0x18E728 0x1C6A7A 0x286F7F 0x28AC9E 0x2C27D7 0x2C3311 0x2C44FD 0x2C5A0F 0x2CD02D 0x380E4D 0x3890A5 0x3C08F6 0x3C4A92 0x40017A 0x40CE24 0x4403A7 0x4C776D 0x500F80 0x502FA8 0x5061BF 0x508789 0x54A274 0x58971E 0x5897BD 0x58AC78 0x58F39C 0x5C838F 0x641225 0x64A0E7 0x64F69D 0x68BDAB 0x6C9CED 0x6CB2AE 0x700F6A 0x70695A 0x70708B 0x7079B3 0x707DB9 |
0x70DB98 0x70DF2F 0x70E422 0x7426AC 0x74A02F 0x74A2E6 0x780CF0 0x78725D 0x78BAF9 0x78DA6E 0x78E3B5 0x7C0ECE 0x7C69F6 0x80E01D 0x843DC6 0x8478AC 0x84B261 0x84B802 0x881DFC 0x885A92 0x88F031 0x8CB64F 0xA0239F 0xA03D6F 0xA09351 0xA0E0AF 0xA0ECF9 0xA44C11 0xA46C2A 0xA80C0D 0xA89D21 0xA8B1D4 0xB02680 0xB08BCF 0xB0AA77 0xB41489 0xB4DE31 0xB83861 |
0xBADBAD 0xBC26C7 0xC0626B 0xC067AF 0xC08C60 0xCC167E 0xCC46D6 0xCE90D1 0xD072DC 0xD0A5A6 0xD46D50 0xD867D9 0xD8B190 0xE00EDA 0xE4AA5D 0xE4C722 0xE86549 0xE8B748 0xE8BA70 0xEC3091 0xEC4476 0xECBD1D 0xECC882 0xF02572 0xF07F06 0xF40F1B 0xF44E05 0xF45FD4 0xF4ACC1 0xF4CFE2 0xF4DBE6 0xF80BCB 0xF866F2 0xF8C288 0xFC5B39 0xFCFBFB |
NX-OS9.2(4)以降のすべてのバージョン。 |
0x3C13CC 0x4CE176 0xDC774C |
NX-OS10.1(2)以降のすべてのバージョン。 |
表1.4 UCS FI OUIデータベースの追加
OUI |
OUIを含むソフトウェア |
0x0018BA 0x001B54 0x002255 0x0023AC 0x002498 0x0024F7 0x002651 0x002698 0x002A6A 0x00DEFB 0x04C5A4 0x108CCF 0x18EF63 0x1CDF0F 0x405539 0x68BDAB 0x8C604F 0x8CB64F 0xA8B1D4 0xB41489 0xC0626B 0xF02572 0xF866F2 |
2.2(8j)以降のバンドルソフトウェア2.x。 3.1(3b)および3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
0x002651 |
2.2(8j)以降のバンドルソフトウェア2.x。 3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
0x0025B5 0xA44C11 |
3.1(3h)以降のバンドルソフトウェア3.x。 バンドルソフトウェア3.2(3d)以降 |
0x000831 0x003A9C 0xD0A5A6 |
3.2.(3h)以降のバンドルソフトウェア3.x。 4.0(1x)のすべてのバージョンのバンドルソフトウェア。 4.0(2b)以降のバンドルソフトウェア。 |
0x6400F1 |
バンドルソフトウェア3.3(5b)以降 |
0x00EEAB 0x0476B0 0x24169D 0x34ED1B 0x3C510E 0x4CE175 0x4CE176 0x5CA62D 0x6C310E 0x70EA1A 0x7C210E 0x7CAD4F 0x9077EE 0xA0B439 0xA4530E 0xAC3A67 0xAC4A67 0xBC5A56 0xC014FE 0xC4F7D5 0xCC7F76 0xE41F7B |
バンドルソフトウェア4.1(3a)以降 |
0xAC7A56 |
バンドルソフトウェア4.1(2a)以降 |
0x3C13CC 0x4CE176 0xDC774C |
バンドルソフトウェア4.2(1d)以降 |
警告
Cisco Bug ID CSCut41864 - Port process crashes when interface > 64 used for NPV-NPIV connections
Cisco Bug ID CSCuz52695 - UCS FI FC Uplinks Error Disable Immediately Connected NPV to MDS9396S
Cisco Bug ID CSCvp95480 - 6454 FI - UCSMの設定中に許可されるWWxNアドレスを制限する(マルチキャストアドレスを避ける)
スイッチのOUIライブラリにないOUIを文書化するために、複数のバグが報告されています。これには、次のようなルーティング プロトコルが含まれます。
MDS/UCSの不具合
Cisco Bug ID CSCtr01652:N7K OUIをCisco OUIのリストに追加します。MDS.
MDS/N5K/N6Kのバグ
Cisco Bug ID CSCty04686:MAC OUI「002a6a」、「8c604f」、「00defb」を5k/UCS-FIに追加
MDSのバグ
Cisco Bug ID CSCta97375 - GLDN:SABER:Saber ouiはcisco oui 547FEEとして認識されません。
Cisco Bug ID CSCur44218 - MiniUCS FI OUIをCisco OUIのリストに追加
Cisco Bug ID CSCuz11494 - FCポートチャネルがピアUCS OUI 00:c8:8bで起動しない
Cisco Bug ID CSCuu03717 - OUI 00:3a:9c, 00:08:31, d0:a5:a6をデフォルトのOUIリストに追加します
Cisco Bug ID CSCuu26045 - MiniUCS FI OUI 0x74a02fを認識されたCisco OUIのMDSリストに追加
Cisco Bug ID CSCvx67383:スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル
Cisco Bug ID CSCvx49403 - CiscoスイッチOUI 0xDC774Cのポートチャネルが起動またはトランクしない。
Cisco Bug ID CSCvr60193 - OUI C4:F7:D5をデフォルトのOUIリストに追加します
Cisco Bug ID CSCvp19788- MDS 9000OUI 70:EA:1AをOUIライブラリに追加
Cisco Bug ID CSCvt28351:デフォルトのOUIリストに6つのOUIを追加します
Cisco Bug ID CSCvw14504 - OUI 0x4CE176をOUIデータベースに追加する – Port-channels and trunking not working with OUI 0x4CE176
Cisco Bug ID CSCvx67383:スイッチOUI 0x3C13CC(3C:13:CC)がアップまたはトランクにならないACIリーフN9KへのMDSポートチャネル
N5K/N6Kのバグ
Cisco Bug ID CSCvx72821 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.
Cisco Bug ID CSCvp54881 - UCSとNexus 56128pの間にSANポートチャネルを作成できない
N9Kのバグ
Cisco Bug ID CSCvp21786 - Nexus 9000:::Unable to bring F mode san-port-channel or trunking between MDS and N9K
Cisco Bug ID CSCvx68507 - Port-Channel with Cisco switch OUI 0xDC774C or 0x4CE176 or 0x3C13CC does not come up or trunk.