Nexus 5500介面卡 — FEX配置示例

下載選項

  • PDF     (475.8 KB)
    在多種裝置上使用 Adobe Reader 檢視
  • ePub     (176.6 KB)
    在 iPhone、iPad、Android、Sony Reader 或 Windows Phone 上的各種應用程式中檢視
  • Mobi (Kindle)     (180.6 KB)
    在 Kindle 裝置或多部裝置的 Kindle 應用程式上檢視
已更新: 2014 年 9 月 4 日
文件 ID:117691

無偏見用語

本產品的文件集力求使用無偏見用語。針對本文件集的目的，無偏見係定義為未根據年齡、身心障礙、性別、種族身分、民族身分、性別傾向、社會經濟地位及交織性表示歧視的用語。由於本產品軟體使用者介面中硬式編碼的語言、根據 RFP 文件使用的語言，或引用第三方產品的語言，因此本文件中可能會出現例外狀況。深入瞭解思科如何使用包容性用語。

關於此翻譯

思科已使用電腦和人工技術翻譯本文件，讓全世界的使用者能夠以自己的語言理解支援內容。請注意，即使是最佳機器翻譯，也不如專業譯者翻譯的內容準確。Cisco Systems, Inc. 對這些翻譯的準確度概不負責，並建議一律查看原始英文文件（提供連結）。

簡介

本檔案介紹如何在Nexus 5500交換器上設定、運作配接器光纖通路擴充模組(FEX)功能，以及對其進行疑難排解。

必要條件

需求

本文件沒有特定需求。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

  • 執行5.2(1)N1(4)版的Nexus 5548UP
  • 整合運算系統(UCS)C系列C210 M2機架式伺服器，搭載執行韌體版本1.4(2)的UCS P81E虛擬介面卡(VIC)

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您已瞭解任何指令或封包擷取設定可能造成的影響。

背景資訊

Adapter-FEX概述

此功能允許Nexus 5500交換機管理伺服器VIC上的虛擬介面(乙太網虛擬網路介面控制器(vNIC)和光纖通道虛擬主機匯流排介面卡(FC vHBA))。獨立於伺服器上運行的任何虛擬機器監控程式。建立的任何虛擬介面對於伺服器上安裝的主作業系統(OS)都是可見的（前提是作業系統具有相應的驅動程式）。

在Cisco Nexus 5000系列NX-OS介面卡FEX操作指南5.1(3)N1(1)版的此部分可以找到支援的平台。

Cisco Nexus 5000系列NX-OS介面卡FEX操作指南5.1(3)N1(1)版的此部分提供了介面卡FEX支援的拓撲。

支援的拓撲有：

  • 單宿主伺服器連線到Nexus 5500交換機
  • 單宿伺服器到直通FEX
  • 伺服器單宿主到活動/活動FEX
  • 通過一對Nexus 5500交換機的主用/備用上行鏈路雙宿主伺服器
  • 通過主用/備用上行鏈路雙宿主伺服器連線到一對虛擬埠通道(vPC)主用/主用FEX

後續配置部分討論「通過一對Nexus 5500交換機的主用/備用上行鏈路實現雙宿主」，如下所示：

每個vNIC在Nexus 5000上都將具有相應的虛擬乙太網介面。同樣，每個vHBA在Nexus 5000上將有一個對應的虛擬光纖通道(VFC)介面。

設定

附註：使用命令查詢工具(僅供已註冊客戶使用)可獲取本節中使用的命令的更多資訊。

乙太網vNIC配置

在兩台Nexus 5000交換機上完成以下步驟：

  1. 通常，vPC是在兩台Nexus 5000交換機上定義並運行的。驗證vPC域已定義，對等保持連線為UP，對等鏈路為UP。
  2. 輸入以下命令以啟用虛擬化功能集。
    (config)# install feature-set virtualization
    (config)# feature-set virtualization
  3. （可選）在伺服器上定義相應的vNIC時，允許Nexus 5000自動建立其虛擬乙太網介面。請注意，這並不適用於VFC介面，只能在Nexus 5000上手動定義。
    (config)# vethernet auto-create
  4. 在虛擬網路標籤(VNTag)模式下配置連線到伺服器的Nexus 5000介面。
    (config)# interface Eth 1/10
    (config-if)# switchport mode vntag
    (config-if)# no shutdown
  5. 配置要應用於vNIC的埠配置檔案。

    埠配置檔案是交換機介面可以應用（繼承）的配置模板。在Adapter-FEX環境中，埠配置檔案可以應用於手動定義的虛擬乙太網介面，或者應用於UCS C系列思科整合管理控制器(CIMC)GUI介面上配置vNIC時自動建立的虛擬乙太網介面。

    埠配置檔案的型別為「vethernet」。

    埠配置檔案配置示例如下所示：
    (config)# port-profile type vethernet VNIC1
    (config-port-prof)# switchport mode access
    (config-port-prof)# switchport access vlan 10
    (config-port-prof)# no shutdown
    (config-port-prof)# state enabled

在UCS C系列伺服器上完成以下步驟：

  1. 通過HTTP連線到CIMC介面，並使用管理員憑據登入。
  2. 選擇Inventory > Network Adapters > Modify Adapter Properties。
  3. 選中Enable NIV Mode覈取方塊。
  4. 按一下「Save Changes」。
  5. 關閉電源，然後開啟伺服器。

  6. 伺服器啟動後，選擇Inventory > Network Adapters > vNICs > Add以建立vNIC。要定義的最重要欄位包括：
    1. 要使用的VIC上行鏈路埠（P81E有2個稱為0和1的上行鏈路埠）。
    2. 通道號 — 介面卡上vNIC的唯一通道ID。Nexus 5000上的虛擬乙太網介面下的bind命令中會引用此內容。通道號的範圍僅限於VNTag物理鏈路。該通道可視為交換機和伺服器介面卡之間的物理鏈路上的「虛擬鏈路」。
    3. 埠配置檔案 — 可以選擇上游Nexus 5000上定義的埠配置檔案清單。如果使用vethernet auto-create 命令配置Nexus 5000，則會在Nexus 5000上自動建立虛擬乙太網介面。請注意，只有虛擬乙太網埠配置檔名稱（沒有埠配置檔案配置）才會傳遞到伺服器。在VNTag鏈路連線建立並在交換機和伺服器介面卡之間執行初始握手和協商步驟後，會發生這種情況。

  7. 按一下「Save Changes」。
  8. 關閉電源，然後再次開啟伺服器。

vHBA配置

在伺服器介面卡上建立vHBA時，不會自動建立相應的交換機介面。相反，它們應該手動定義。此處顯示交換機和伺服器端的步驟。

在交換器端完成以下步驟：

  1. 建立繫結到伺服器vHBA介面的VNTag介面通道的虛擬乙太網中繼介面。乙太網光纖通道(FCoE)VLAN不應是本徵VLAN。兩台Nexus 5000交換機的虛擬乙太網編號應唯一。

    範例：

    (config)# interface veth 10
    (config-if)# switchport mode trunk
    (config-if)# switchport trunk allowed vlan 1,100
    (config-if)# bind interface eth1/1 channel 3
    (config-if)# no shutdown
  2. 建立繫結到前面定義的虛擬乙太網介面的VFC介面。

    範例：

    (config)# interface vfc10
    (config-if)# bind interface veth 10
    (config-if)# no shut

    此介面的虛擬儲存區域網路(VSAN)成員資格在VSAN資料庫下定義：

    (config)# vsan database
    (config-vsan-db)# vsan 100 interface vfc10
    (config-vsan-db)# vlan 100
    (config-vlan)# fcoe vsan 100
    (config-vlan)# show vlan fcoe

在伺服器端完成以下步驟：

  1. 選擇Inventory > Network Adapters > vHBAs以建立vHBA介面。

    要定義的主要欄位包括：

    • 連線埠全球通用名稱(pWWN)/節點全球通用名稱(nWWN)
    • FCOE VLAN
    • 上行鏈路ID
    • 通道號
    • 從儲存區域網路(SAN)引導（如果使用）
  2. 重新啟動伺服器。

驗證

使用本節內容，確認您的組態是否正常運作。

可以使用以下命令顯示虛擬乙太網介面的清單：

n5k1# show interface virtual summary
Veth       Bound        Channel/  Port        Mac                VM
Interface  Interface    DV-Port   Profile     Address            Name
-------------------------------------------------------------------------
Veth32770  Eth1/2       1         UPLINK
Total 1 Veth Interfaces
n5k1#
n5k1# show interface virtual status
Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag
-------------------------------------------------------------------------
Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2
Total 1 Veth Interfaces

自動建立的虛擬乙太網介面確實顯示在運行配置中，並且在執行複製運行啟動時將儲存到啟動配置中：

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770
!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770
  inherit port-profile UPLINK
  bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------
Vethernet     VLAN   Type Mode   Status  Reason                    Speed
--------------------------------------------------------------------------------
Veth32770     10     virt access up      none                     auto
n5k1#

疑難排解

本節提供的資訊可用於對組態進行疑難排解。

虛擬乙太網介面未啟動

使用以下命令驗證交換機VNTag介面的資料中心橋接功能交換協定(DCBX)資訊：

# show system internal dcbx info interface ethernet <>

驗證：

  • 資料中心橋接交換(DCX)協定是融合乙太網(CEE)
  • 已啟用CEE網路IO虛擬化(NIV)擴展
  • 存在NIV型別長度值(TLV)

如下所述：

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE   <<<<<<<
DCX CEE NIV extension: enabled  <<<<<<<<<
<output omitted>

Feature type NIV (7)   <<<<<<<
feature type 7(DCX CEE-NIV)sub_type 0
Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1
     feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0
     remote_tlv_not_present_notification_sent 0
Feature Register Params: max_version 0, enable 1, willing 0 advertise 1
     disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193
Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

常見問題包括：

  • DCX協定為CIN
    • 檢查L1問題：電纜、SFP、埠開啟、介面卡。
    • 檢查交換器組態：功能集，交換機埠VNTag，啟用鏈路層發現協定(LLDP)/DCBX。
  • NIV TLV不存在
    • 檢查介面卡配置下是否啟用了NIV模式。
    • 檢查VNIC介面控制(VIC)通訊是否完成，以及連線埠設定檔資訊是否已交換。確保當前的虛擬介面管理器(VIM)事件狀態為VIM_NIV_PHY_FSM_ST_UP_OPENED_PP。
n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]
    Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]
    Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]
    Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]
    Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]
    Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]
    Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP]
    Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014
    Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]
    Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]
    Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]


    Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<
n5k1#

如果虛擬乙太網介面是固定虛擬乙太網，請檢查以下命令中是否顯示VIC_CREATE:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1
Eth1/16(Chan: 1) VIF Index: 605
   REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS
   REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<
   REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS
   REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS
   RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

請注意，固定虛擬乙太網介面是不支援跨物理介面遷移的虛擬介面。在討論介面卡FEX時，範圍始終位於固定虛擬乙太網上，因為介面卡FEX是指由單個（即非虛擬化）作業系統使用網路虛擬化。

如果VIC_CREATE未顯示：

  1. 如果介面卡是Cisco NIV介面卡，請檢查介面卡端的VNIC配置(通道ID、正確的上行UIF埠、任何掛起的提交（任何配置更改都需要重新啟動伺服器）)。在FEX拓撲中，vHBA不會在兩個交換機上啟動虛擬乙太網。vHBA固定虛擬乙太網需要作業系統驅動程式才能啟動此功能（請等待作業系統載入驅動程式並完全啟動）。
  2. 如果介面卡是Broadcom NIV介面卡，請檢查介面是否從作業系統端開啟（例如，在Linux中，開啟介面「ifconfig eth2 up」）。
  3. 如果VIC_CREATE顯示，但交換機以ERR_INTERNAL響應：
    • 檢查交換機和介面卡兩端的埠配置檔案。檢視是否有任何埠配置檔案字串不匹配。
    • 對於動態固定虛擬乙太網，請檢查「veth auto-create」配置。
  4. 如果問題仍然存在，請收集下列輸出並聯絡思科技術支援中心(TAC)。
    # show system internal vim log
    # attach fex <number>
    # test vic_proxy dump trace

從伺服器端收集介面卡技術支援資訊

  1. 從瀏覽器登入到CIMC。
  2. 按一下Admin頁籤。
  3. 按一下Utilities。
  4. 按一下「Export Technical Support Data to TFTP」或「Generate Technical Support Data for Local Download」。

修訂記錄

修訂 發佈日期 意見
1.0
04-Sep-2014
初始版本
TAC Authored

由思科工程師貢獻

  • Charles Youssef
    Cisco TAC Engineer.

這份文件是否有所幫助？

Feedback意見

讓思科協助您

本文件適用於這些產品