Nexus 5500 のアダプタ FEX の設定例

概要

このドキュメントでは、Nexus 5500 スイッチのアダプタ ファブリック エクステンダ（FEX）機能を設定、操作、トラブルシューティングする方法について説明します。

前提条件

要件

このドキュメントに特有の要件はありません。

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

• バージョン 5.2(1)N1(4) を実行している Nexus 5548UP
• ファームウェア バージョン 1.4(2) を実行している UCS P81E 仮想インターフェイス カード（VIC）が搭載されたユニファイド コンピューティング システム（UCS）C シリーズ C210 M2 ラック サーバ

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、初期（デフォルト）設定の状態から起動しています。対象のネットワークが実稼働中である場合には、すべてのコマンドやパケット キャプチャ設定による潜在的な影響について確実に理解しておく必要があります。

背景説明

Adapter-FEX の概要

この機能により、Nexus 5500スイッチは、サーバのVIC上の仮想インターフェイス(イーサネット仮想ネットワークインターフェイスコントローラ(vNIC)とファイバチャネル仮想ホストバスアダプタ(FC vHBA)の両方)を管理できます。これは、サーバ上で実行するすべてのハイパーバイザから独立しています。どのような仮想インターフェイスが作成されても、サーバにインストールされているメインのオペレーティング システム（OS）上では表示されます（OS に適切なドライバがあることが前提）。

サポートされるプラットフォームについては、『Cisco Nexus 5000 シリーズ NX-OS アダプタ FEX 操作ガイド、リリース 5.1(3)N1(1)』のこのセクションを参照してください。

アダプタ FEX でサポートされるトポロジについては、『Cisco Nexus 5000 シリーズ NX-OS アダプタ FEX 操作ガイド、リリース 5.1(3)N1(1)』のこのセクションを参照してください。

サポートされるトポロジは、次のとおりです。

• Nexus 5500 スイッチにシングルホーム接続されたサーバ
• Straight-Through FEX にシングルホーム接続されたサーバ
• アクティブ/アクティブ FEX にシングルホーム接続されたサーバ
• アクティブ/スタンバイ アップリンク経由で Nexus 5500 スイッチのペアにデュアルホーム接続されたサーバ
• アクティブ/スタンバイ アップリンク経由でバーチャル ポート チャネル（vPC）のアクティブ/アクティブ FEX ペアにデュアルホーム接続されたサーバ

以降の構成セクションでは、次の図に示す、アクティブ/スタンバイ アップリンク経由で Nexus 5500 スイッチのペアにデュアルホーム接続されたサーバについて説明します。

vNIC に対応する仮想イーサネット インターフェイスが Nexus 5000 上にあります。同様に、各 vHBA に対応する仮想ファイバ チャネル（VFC）インターフェイスが Nexus 5000 上にあります。

設定

注：このセクションで使用されるコマンドの詳細については、Command Lookup Tool（登録ユーザ専用）を使用してください。

イーサネット vNIC の構成

両方の Nexus 5000 スイッチ上で、次の手順を実行します。

1. 通常、vPC は 2 つの Nexus 5000 スイッチ上で定義され運用されます。vPC ドメインが定義され、ピア キープアライブとピア リンクがアップ状態であることを確認します。
2. 仮想化機能セットを有効にするには、次のコマンドを入力します。

   (config)# install feature-set virtualization
   (config)# feature-set virtualization

3. （オプション）対応する vNIC がサーバ上で定義されている場合は、Nexus 5000 が仮想イーサネット インターフェイスを自動作成することを許可します。これは、Nexus 5000 上で手動でのみ定義できる VFC インターフェイスには適用されません。

   (config)# vethernet auto-create

4. 仮想ネットワーク タグ（VNTag）モードのサーバに接続する Nexus 5000 インターフェイスを設定します。

   (config)# interface Eth 1/10
   (config-if)# switchport mode vntag
   (config-if)# no shutdown

5. ポート プロファイルを vNIC に適用するように設定します。

   ポート プロファイルは、スイッチ インターフェイスによって適用（継承）できる設定テンプレートです。アダプタ FEX の観点から見て、ポート プロファイルは、手動で定義されている仮想イーサネット インターフェイスか、vNIC が UCS C シリーズの Cisco Integrated Management Controller（CIMC）の GUI インターフェイス上で設定されるときに自動的に作成される仮想イーサネット インターフェイスのいずれかに適用できます。

   ポート プロファイルは「vethernet」のタイプになります。

   サンプルのポート プロファイル設定を次に示します。

   (config)# port-profile type vethernet VNIC1
   (config-port-prof)# switchport mode access
   (config-port-prof)# switchport access vlan 10
   (config-port-prof)# no shutdown
   (config-port-prof)# state enabled

UCS C シリーズ サーバ上で次の手順を実行します。

1. HTTP 経由で CIMC インターフェイスに接続し、管理者クレデンシャルでログインします。
2. [Inventory] > [Network Adapters] > [Modify Adapter Properties] の順に選択します。
3. [Enable NIV Mode] チェックボックスをオンにします。
4. [Save Changes] をクリックします。
5. サーバの電源をオフにしてからオンに戻します。

   

6. サーバが起動したら、vNIC を追加するために、[Inventory] > [Network Adapters] > [vNICs] > [Add] の順に選択します。定義すべき最も重要なフィールドを次に示します。
   1. 使用する VIC アップリンク ポート（P81E には 0 および 1 として参照される 2 つのアップリンク ポートがあります）。
   2. チャネル番号：アダプタ上の vNIC の一意のチャネル ID です。これは、Nexus 5000 上の仮想イーサネット インターフェイスの bind コマンドで参照されます。チャネル番号の範囲は VNTag 物理リンクに制限されます。チャネルは、スイッチとサーバ アダプタ間の物理リンク上の仮想リンクと見なすことができます。
   3. ポート プロファイル：アップストリーム Nexus 5000 上で定義されたポート プロファイルの一覧を選択できます。Nexus 5000 が vethernet auto-create コマンドで設定される場合は、仮想イーサネット インターフェイスが Nexus 5000 上で自動的に作成されます。仮想イーサネット ポートのプロファイル名（ポート プロファイル設定ではない）のみがサーバに渡されます。この処理は、VNTag リンク接続が確立され、スイッチとサーバ アダプタ間で最初のハンドシェイクとネゴシエーションの手順が実行されてから行われます。

      

7. [Save Changes] をクリックします。
8. サーバの電源をオフにしてから再びオンに戻します。

vHBA の構成

サーバ アダプタ上で vHBA を作成するとき、対応するスイッチ インターフェイスは自動的には作成されません。代わりに、手動で定義する必要があります。ここでは、スイッチとサーバ側の手順を次に示します。

スイッチ側で次の手順を実行します。

1. サーバの vHBA インターフェイスの VNTag インターフェイスのチャネルにバインドされる仮想イーサネットトランク インターフェイスを作成します。Fibre Channel over Ethernet（FCoE）VLAN は、ネイティブ VLAN になることはできません。仮想イーサネット番号は、2 つの Nexus 5000 スイッチ間で一意である必要があります。

   例：

   (config)# interface veth 10
   (config-if)# switchport mode trunk
   (config-if)# switchport trunk allowed vlan 1,100
   (config-if)# bind interface eth1/1 channel 3
   (config-if)# no shutdown

2. 以前に定義された仮想イーサネット インターフェイスにバインドされる VFC インターフェイスを作成します。

   例：

   (config)# interface vfc10
   (config-if)# bind interface veth 10
   (config-if)# no shut

   このインターフェイスの仮想ストレージ エリア ネットワーク（VSAN）のメンバーシップは、次の VSAN データベースの下で定義されます。

   (config)# vsan database
   (config-vsan-db)# vsan 100 interface vfc10
   (config-vsan-db)# vlan 100
   (config-vlan)# fcoe vsan 100
   (config-vlan)# show vlan fcoe

サーバ側で次の手順を実行します。

1. vHBA インターフェイスを作成するために、[Inventory] > [Network Adapters] > [vHBAs] の順に選択します。

   定義すべき主要なフィールドを次に示します。

   • ポート ワールド ワイド ネーム（pWWN）/ノード ワールド ワイド ネーム(nWWN )
   • FCoE VLAN
   • アップリンクID
   • チャネル番号
   • ストレージ エリア ネットワーク（SAN）を使用する場合は、このネットワークから起動します。
2. サーバの電源を再投入します。

確認

ここでは、設定が正常に機能しているかどうかを確認します。

仮想イーサネット インターフェイスの一覧は、次のコマンドで表示することができます。

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

自動的に作成された仮想イーサネット インターフェイスが実行コンフィギュレーションに表示され、copy run start が実行されるとスタートアップ コンフィギュレーションに保存されます。

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

トラブルシュート

ここでは、設定のトラブルシューティングに使用できる情報を示します。

仮想イーサネット インターフェイスが起動しない

スイッチの VNTag インターフェイスに関する Data Center Bridging Capabilities Exchange Protocol（DCBX）の情報を次のコマンドで検証します。

# show system internal dcbx info interface ethernet <>

以下を確認します。

• Data Center Bridging Exchange（DCX）プロトコルは、コンバージド イーサネット（CEE）である
• CEE ネットワーク IO 仮想化（NIV）拡張が有効になっている
• NIV タイプ/長さ/値（TLV）が存在する

次にハイライトされるとおりです。

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

一般的な問題として、次のようなものがあります。

• DCX プロトコルが CIN になっている
  
  • 次のような L1 問題がないかチェックします。ケーブル、SFP、ポートの起動、アダプタ。
  • スイッチの設定をチェックします。機能セット、スイッチポート VNTag、Link Layer Discovery Protocol（LLDP）/DCBX の有効化。
• NIV TLV が存在しない
  • NIV モードがアダプタ設定の下で有効になっていることを確認します。
  • VNIC インターフェイス（VIC）の通信の設定が完了し、ポート プロファイル情報が交換済みであることを確認します。現在の仮想インターフェイス マネージャ（VIM）のイベントの状態が VIM_NIV_PHY_FSM_ST_UP_OPENED_PP であることを確認します。

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

仮想イーサネット インターフェイスが固定仮想イーサネットである場合は、VIC_CREATE がこのコマンドで表示されるかどうかを確認してください。

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

固定仮想イーサネット インターフェイスとは、物理インターフェイス間の移行をサポートしない仮想インターフェイスです。アダプタ FEX は単一の（つまり、仮想化されていない）OS によるネットワーク仮想化の使用を参照するため、アダプタ FEX についての説明範囲は常に固定仮想イーサネットに関することになります。

VIC_CREATE が表示されない場合：

1. アダプタが Cisco NIV アダプタである場合は、アダプタ側で VNIC 設定（チャネル ID、正しいアップリンク UIF ポート、保留中のコミット（いかなる設定の変更もサーバの再起動が必要））を確認します。vHBA は、AA FEX トポロジ内の両方のスイッチ上で仮想イーサネットを起動しません。vHBA 固定仮想イーサネットには、これを起動するための OS ドライバが必要です（OS がドライバをロードし、完全に起動するまで待ちます）。
2. アダプタが Broadcom NIV アダプタである場合は、インターフェイスが OS 側から起動しているかどうかを確認してください（たとえば、Linux では、インターフェイス「ifconfig eth2 up」を起動します）。
3. VIC_CREATE は表示されるものの、スイッチが ERR_INTERNAL で応答する場合：
   • スイッチ側とアダプタ側の両方でポート プロファイルを確認します。ポート プロファイル文字列の不一致がないかどうかを確認します。
   • ダイナミックな固定仮想イーサネットについては、「veth auto-create」設定をチェックします。
4. それでも問題が解決しない場合は、次に示す出力を収集し、Cisco Technical Assistance Center（TAC）にお問い合わせください。
   

   # show system internal vim log
   # attach fex <number>
   # test vic_proxy dump trace

サーバ側からのアダプタに関するテクニカル サポート情報の収集

1. ブラウザから CIMC にログインします。
2. [Admin] タブをクリックします。
3. [Utilities]をクリックします。
4. [Export Technical Support Data to TFTP]または [Generate Technical Support Data for Local Download] をクリックします。