目錄

簡介

必要條件

需求

採用元件

VM-FEX概述

定義

設定

網路圖表

驗證和疑難排解

簡介

本文說明如何在Cisco Nexus 5500交換機上配置、運行虛擬機器交換矩陣擴展器(VM-FEX)功能和對其進行故障排除。

必要條件

需求

思科建議您瞭解這些主題的基本知識。

- Nexus虛擬連線埠通道(VPC)

- VMware vSphere

採用元件

本檔案中的資訊是根據以下硬體和軟體版本：

- 執行5.2(1)N1(4)版的Nexus 5548UP

- 整合運算系統(UCS)-C C210 M2機架式伺服器，搭載執行韌體版本1.4(2)的UCS P81E虛擬介面卡

- vSphere 5.0版（ESXi和vCenter）

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路運作中，請確保您已瞭解任何指令或封包擷取設定可能造成的影響。

VM-FEX概述

VM-FEX將虛擬和物理網路結合到單個基礎架構中。它允許您在統一基礎設施中調配、配置和管理虛擬機器網路流量和裸機網路流量。

VM-FEX軟體通過以下功能將思科交換矩陣擴展器技術擴展到虛擬機器：

- 每個虛擬機器在父交換機上都有一個專用介面。

- 所有虛擬機器流量都直接傳送到交換機上的專用介面。

- 虛擬機器監控程式中的標準vSwitch將被淘汰。

VM-FEX是一種分散式虛擬交換機（DVS或VDS）。 DVS抽象化了多個ESX伺服器之間的單個交換機，這些伺服器是vCenter中同一資料中心容器的一部分。虛擬機器(VM)虛擬網路介面控制器(VNIC)配置從集中位置（VM-FEX中的Nexus 5000或UCS，本文檔說明了基於Nexus 5000的VM-FEX）進行維護。

VM-FEX可以在兩種模式下運行：

- 直通：這是預設模式，其中VEM參與VM流量的資料路徑。

- 高效能：VM流量不由VEM處理，而是直接傳遞到網路IO虛擬化(NIV)介面卡。

為了使用高效能模式，埠配置檔案配置應請求該模式，VM作業系統及其虛擬介面卡應支援該模式。本文檔稍後將提供有關此操作的詳細資訊。

定義

- 虛擬乙太網路模組(VEM)。 在ESX虛擬機器監控程式內運行並在單個軟體包中提供VNLink實施的思科軟體模組

- 網路IO虛擬化(NIV)使用VNtagging透過同一個實體乙太網路通道部署多個虛擬網路連結(VN-Link)

- 資料中心橋接功能交換(DCBX)

- VNIC介面控制(VIC)

- 虛擬NIC(VNIC)，表示主機端點。它可以與活動VIF或備用VIF關聯

- 分散式虛擬連線埠(DVPort)。VNIC連線到VEM中的DVPort

- NIV虛擬介面(VIF)，在網路端點指示

- 虛擬乙太網路(vEth)介面表示交換器上的VIF

- 直通交換機(PTS)。安裝在虛擬機器監控程式中的VEM模組

附註：VM-FEX中使用的VEM與用於Nexus 1000v的VEM類似。不同之處在於，在VM-FEX中，VEM以直通模式運行，不會在同一ESX上的VM之間執行本地交換。

設定

該拓撲是UCS-C伺服器，帶有雙宿主P81E VIC到兩台Nexus 5548 VPC交換機。

附註：使用命令查詢工具(僅供已註冊客戶使用)可獲取本節中使用的命令的更多資訊。

網路圖表

這些必需元件必須已經到位：

- VPC在兩個Nexus 5000交換機之間正確配置和初始化。

- VMWare vCenter已安裝並通過vSphere客戶端連線到。

- ESXi安裝在UCS-C伺服器上並新增到vCenter。

配置步驟概述如下：

1. 在伺服器介面卡上啟用NIV模式：

1. 通過HTTP連線到思科整合管理控制器(CIMC)介面，並使用管理員憑據登入。

2. 選擇Inventory > Network Adapters > Modify Adapter Properties。

3. 啟用NIV模式，設定VM FEX介面數量，並儲存更改。

4. 關閉電源，然後開啟伺服器。

伺服器重新聯機後，驗證是否已啟用NIV:

2. 在伺服器上建立兩個靜態路徑。

要建立兩個VNIC，請選擇Inventory > Network Adapters > VNICs > Add。

以下是需要定義的最重要欄位：

- 要使用的VIC上行鏈路埠（P81E有兩個稱為0和1的上行鏈路埠）。

- 通道號：這是介面卡上VNIC的唯一通道ID。在Nexus 5000上的vEth介面下的bind命令中會引用此內容。通道號的範圍僅限於VNTag物理鏈路。該通道可視為交換機與伺服器介面卡之間的物理鏈路上的「虛擬鏈路」。

- Port-profile:可以選擇上游Nexus 5000上定義的埠配置檔案清單。如果使用vEthernet auto-create命令配置Nexus 5000，則在Nexus 5000上自動建立vEth介面。請注意，僅將vEthernet埠配置檔名稱傳遞給伺服器（埠配置檔案配置不是）。 在VNTag鏈路連線建立並在交換機和伺服器介面卡之間執行初始握手和協商步驟後，會發生這種情況。

- 啟用上行鏈路故障切換：如果配置的上行鏈路埠離線，VNIC將故障切換到另一個P81E上行鏈路埠。

3. 重新啟動伺服器。

4. 在ESXi主機上安裝VEM。

有關在ESXi主機上安裝VEM的示例，請參閱Cisco UCS Manager VM-FEX for VMware GUI配置指南2.1版中的在ESX或ESXi主機上安裝或升級Cisco VEM軟體捆綁包。

附註：下面顯示的所有交換機配置都應配置在兩台Nexus 5500 VPC對等裝置上，但軟體虛擬交換機(SVS)連線命令和XML擴展金鑰除外，它們只應在VPC主交換機上完成。

5. 啟用虛擬化功能集以及VM-FEX和HTTP功能：

(config)# install feature-set virtualization

(config)# feature-set virtualization

(config)# feature vmfex

(config)# feature http-server

(Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the

corresponding vNICs are defined on the server:

(config)# vethernet auto-create

6. 在主機介面上啟用VNTag。

Configure the N5k interface that connects to the servers in VNTAG mode:

(config)# interface Eth 1/1

(config-if)# switchport mode vntag

(config-if)# no shutdown

7. 調出靜態路徑。

在兩台Nexus 5500交換機上，啟用應連線到伺服器VIC上啟用的兩個靜態VNIC的靜態vEth虛擬介面。

在Nexus 5548-A上，輸入：

interface vethernet 1

bind interface eth 1/1 channel 10

no shutdown
在Nexus 5548-B上，輸入：

interface vethernet 2

bind interface eth 1/1 channel 11

no shutdown
或者，也可以使用vethernet auto-create命令自動建立這些vEth介面。

附註：在涉及雙宿主伺服器到主用/主用FEX模組的拓撲中，伺服器VNIC應啟用上行鏈路故障切換，並且交換機vEthernet介面具有兩個bind介面命令(每台伺服器所連線的FEX主機介面(HIF)埠一次)。 每個Nexus 5000交換機上的vEthernet介面為活動或備用介面。
以下提供範例。

在兩台Nexus 5000上，分別配置：

interface Vethernet1

description server_uplink1

bind interface Ethernet101/1/1 channel 11

bind interface Ethernet102/1/1 channel 11

interface Vethernet2

description server_uplink2

bind interface Ethernet101/1/1 channel 12

bind interface Ethernet102/1/1 channel 12

8. 配置與vCenter的SVS連線並連線。

在兩台Nexus 5500交換機上，配置：

svs connection <name>

protocol vmware-vim

remote ip address <vCenter-IP> vrf <vrf>

dvs-name <custom>

vmware dvs datacenter-name <VC_DC_name>
僅在VPC主交換機上，連線到vCenter:

svs connection <name>

connect

Sample configuration on VPC primary:

svs connection MyCon

protocol vmware-vim

remote ip address 10.2.8.131 port 80 vrf management

dvs-name MyVMFEX

vmware dvs datacenter-name MyVC

connect
以下是VPC輔助交換機上的配置示例：

svs connection MyCon

protocol vmware-vim

remote ip address 10.2.8.131 port 80 vrf management

dvs-name MyVMFEX

vmware dvs datacenter-name MyVC

9. 在Nexus 5000上建立埠配置檔案。

在兩台Nexus 5500交換機上，為VM-FEX VNIC配置埠配置檔案。這些埠配置檔案在vCenter中顯示為DVS交換機的埠組。

以下是範例：

vlan 10,20

port-profile type vethernet VM1

dvs-name all

switchport mode access

switchport access vlan 10

no shutdown

state enabled

port-profile type vethernet VM2

dvs-name all

switchport mode access

switchport access vlan 20

no shutdown

state enabled

附註：dvs-name all命令定義此埠配置檔案應匯出為port-group的vCenter中的DVS交換機。使用option all命令可將埠組匯出到資料中心中的所有DVS交換機。

VM高效能模式

為了實施高效能模式(DirectPath IO)並繞過VM流量的虛擬機器監控程式，請使用high-performance host-network命令配置vEthernet port-profile。在VPC拓撲的情況下，應始終在兩個VPC對等交換機上編輯埠配置檔案。例如：

port-profile type vethernet VM2

high-performance host-netio
為了使高效能模式正常運行，您的VM必須具備以下附加先決條件：

- VM虛擬介面卡的型別應為vmxnet3(請簽入vCenter:按一下右鍵右選單上的VM >編輯設定>網路介面卡>介面卡型別)。

- 虛擬機器必須具有完全記憶體保留(在vCenter中：按一下右鍵VM > Edit settings > Resources頁籤> Memory > Slide reservation slider（最右側）。

- 在VM上運行的作業系統應支援此功能。

以下是使用高效能模式(DirectPath IO)時的驗證方式。

在「VM硬體」設定下，當使用VM高效能模式時，右選單中的DirectPath I/O欄位顯示為「活動」，而當使用預設的VM傳遞模式時，該欄位顯示為「非活動」。

10. 在vCenter中註冊VPC主Nexus 5548:

附註：在VPC拓撲中，主VPC交換機將擴展金鑰對以及埠配置檔案推送到vCenter。擴展金鑰由主VPC對等體同步到輔助VPC對等體。稍後將使用show svs connectioncommand驗證這一點，該命令報告兩個對等體上的相同extension-key。如果兩個Nexus 5500不是VPC對等體，則為每個交換機配置的擴展金鑰將不同，並且每台交換機都必須建立與vCenter的獨立SVS連線。
通過HTTP連線到VPC主Nexus 5548並下載擴展XML檔案：

然後，在vCenter中註冊該擴展外掛：選擇Plug-ins > Manage Plug-ins > Right click > New Plug-in。

11. 連線到vCenter。（請參見步驟8。）

12. 驗證Nexus 5000作為vDS註冊到vSphere:

在Nexus 5000上，驗證是否在vCenter下建立名為svs connection下的dvs-name中定義的名稱：選擇Home > Inventory > Networking。

在Nexus 5000 VPC主交換機上，使用以下命令驗證SVS連線是否聯機：

n5k1# show svs connections

Local Info:

-----------

connection MyCon:

ip address: 10.2.8.131

remote port: 80

vrf: management

protocol: vmware-vim https

certificate: default

datacenter name: MyVC

extension key: Cisco_Nexus_1000V_126705946

dvs name: MyVMFEX

DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70

config status: Enabled

operational status: Connected

sync status: in progress

version: VMware vCenter Server 5.0.0 build-455964

Peer Info:

----------

connection MyCon:

ip address: 10.2.8.131

remote port: 80

vrf: management

protocol: vmware-vim https

extension key: Cisco_Nexus_1000V_126705946

certificate: default

certificate match: TRUE

datacenter name: MyVC

dvs name: MyVMFEX

DVS uuid: -

config status: Disabled

operational status: Disconnected

n5k1#

13. 確保VM埠組在vCenter中可用。

在Nexus 5000上定義的vEthernet埠配置檔案應作為埠組出現在網路檢視的DVS下：

14. 將ESXi主機遷移到DVS。

在VSphere中，選擇Home > Inventory > Networking，按一下右鍵DVS名稱，然後按一下Add Host以將ESXi主機新增到DVS。

Adapter-FEX虛擬介面是ESXi主機上行鏈路。為這些上行鏈路埠選擇預設上行鏈路埠組(unused_or_quarantine_uplink)。

15. 調配VM。

為VM的網路介面卡選擇VM-FEX埠組(在右選單中按一下右鍵VM >編輯設定>網路介面卡>網路標籤)。

16. 已調配VM VNIC。

17. 介面卡向交換機啟動VIC介面建立。

當VM網路介面卡對映到VM-FEX埠組時，會在Nexus 5000上動態建立vEthernet介面。動態建立的vEth介面範圍從32769開始。

可通過以下命令檢查這些介面：

# show interface virtual status

# show interface virtual summary

驗證和疑難排解

使用本節內容，驗證您的組態是否正常運作，並對您遇到的任何問題進行疑難排解。

- 要驗證UCS-C伺服器的兩個靜態VNIC是否已通過VN-Link連線到Nexus 5500上的靜態固定vEth介面，請輸入以下命令：

n5k1# show system internal dcbx info interface e1/1

Interface info for if_index: 0x1a001000(Eth1/1)

tx_enabled: TRUE

rx_enabled: TRUE

dcbx_enabled: TRUE

DCX Protocol: CEE

DCX CEE NIV extension: enabled

<output omitted>

- 如果有兩個雙宿主FEX使用主用/備用拓撲，請確保兩個Nexus 5000 VPC交換機上的vEth介面顯示為主用或備用模式。

在此模式顯示為unknown:

n5k1# show int virtual status

Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag

-------------------------------------------------------------------------

Veth1     VIF-16      Eth101/1/1      11     1  Up         Active       2

Veth1     None        Eth102/1/1      11     0  Init       Unknown      0

Veth2     None        Eth101/1/1      12     0  Init       Unknown      0

Veth2     None        Eth102/1/1      12     0  Init       Unknown      0

Veth3     VIF-18      Eth101/1/2      11     1  Up         Active       2

Veth3     None        Eth102/1/2      11     0  Init       Unknown      0

Veth4     None        Eth101/1/2      12     0  Init       Unknown      0

Veth4     VIF-19      Eth102/1/2      12     1  Up         Active       3
如果遇到未知模式，請確保在VNIC上啟用上行鏈路故障切換模式。此外，請確保您在CIMC中指定的通道號與在vEthernet配置中指定的通道號匹配。

正確的輸出應如下所示：

n5k1# show int virtual status

Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag

-------------------------------------------------------------------------

Veth1     VIF-27      Eth101/1/1      11     1  Up         Active       2

Veth1     VIF-35      Eth102/1/1      11     1  Up         Standby      2

Veth2     VIF-36      Eth101/1/1      12     1  Up         Standby      3

Veth2     VIF-33      Eth102/1/1      12     1  Up         Active       3

Veth3     VIF-30      Eth101/1/2      11     1  Up         Active       2

Veth3     VIF-21      Eth102/1/2      11     1  Up         Standby      2

Veth4     VIF-24      Eth101/1/2      12     1  Up         Standby      3

Veth4     VIF-31      Eth102/1/2      12     1  Up         Active       3

- 交換機上未顯示vEth介面。

在UCS-C伺服器CIMC HTTP選單中，驗證：

- 介面卡上啟用NIV。

- 介面卡上配置的VM-FEX介面數量非零。

- 在VNIC上啟用介面卡故障切換。

- 進行上述配置後，UCS-C伺服器重新啟動。

- 乙太網介面無法聯機。

檢查VIF_CREATE是否出現在此命令中：

# show system internal vim info logs interface veth 1

03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32  <<<<<<<

03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889

to completion code SUCCESS

03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953

VIF_ID: 0, state_valid: n, active

03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to

completion code SUCCESS

03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,

enabled, active, cos 0VIF_ID: 50 vlan:

1 rate 0xf4240, burst_size 0xf

03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,

up, enabled,active, cos 0, completion

code: 100
如果未出現VIF_CREATE或交換機未正確響應，請完成以下步驟：

- 在vCenter中，檢查DVS交換機是否已正確配置了ESX主機的兩個物理上行鏈路(按一下右鍵DVS switch >管理主機>選擇物理適配器)。

- 在vCenter中，檢查VMNIC是否選擇了正確的網路標籤/埠配置檔案(按一下右鍵VM >編輯設定>按一下網路介面卡>檢查網路標簽)。

- 與vCenter的SVS連線無法聯機。

如上一節的步驟12所示，使用此過程驗證Nexus 5000是否已連線到vCenter:

- 在vCenter上，驗證DVS是否出現在網路檢視下。

- 在Nexus 5000 VPC主交換機上，驗證SVS是否已連線(使用show svs connection命令)。

如果沒有建立連線，請驗證：

- 兩個VPC對等體上的SVS配置相同。

- VPC已初始化，角色已正確建立。

- VPC主交換機XML證書安裝在vCenter中。

- VPC主交換機在「svs連線」配置模式下配置了「連線」。

- 資料中心名稱與vCenter上使用的名稱匹配。

- 在SVS remote命令中配置了正確的虛擬路由和轉發(VRF)，並且交換機與vCenter IP地址具有IP連線。

如果滿足所有這些條件，但SVS連線仍不成功，請收集此輸出並聯絡思科技術支援中心(TAC):

show msp port-profile vc sync-status

show msp internal errors

show msp internal event-history msgs

show vms internal errors

show vms internal event-history msgs

- 無法通過HTTP訪問Nexus 5500交換機。

確認http-server功能已啟用：

n5k1# show feature | i http

http-server           1         disabled

n5k1# conf t

Enter configuration commands, one per line.  End with CNTL/Z.

n5k1(config)# feature http-server

n5k1(config)#