目錄

簡介

必要條件

需求

採用元件

概觀

第1步：配置新設定

所需功能配置

基本vPC配置

VSAN配置

第2步：配置UCS伺服器和VIC介面卡

步驟3:為不同拓撲配置Nexus 5K交換機

拓撲1:CNA埠直接連線到Nexus 5K交換機

概觀

Nexus 5K交換機一端的示例配置

驗證

拓撲2:FEX以直通模式連線到Nexus 5K交換機，CNA連線到FEX埠

概觀

示例配置

主機vPC配置

驗證

拓撲3:在增強型vPC模式下連線到Nexus 5K交換機的FEX以及連線到FEX埠的CNA

概觀

活動 — 活動FEX配置

Nexus 5K交換機B側FEX 102上的FCoE關鍵字

主機vPC配置

VFC配置

驗證

驗證

疑難排解

相關資訊

簡介

本文描述如何在安裝在Cisco Unified Computing System(UCS)機架式伺服器上的Virtual Interface Card(VIC)介面卡和Cisco Nexus 5500(Nexus 5K)系列交換機之間配置乙太網光纖通道(FCoE)連線。兩個示例拓撲包含思科交換矩陣擴展器(FEX)裝置，而一個示例拓撲不包含。

必要條件

需求

思科建議您瞭解以下主題：

- Cisco Nexus 5500 系列交換器

- Cisco UCS機架式伺服器 — 思科整合式管理控制器(CIMC)組態

- 對FCoE的基本瞭解

此配置存在於環境中：

- 儲存區域網路(SAN)陣列配置為提供對Cisco VIC卡上虛擬主機匯流排介面卡(vHBA)的邏輯單元號(LUN)的訪問。

- Cisco Nexus 5.1(3)N1(1a)或更高版本安裝在Cisco Nexus 5K交換機上。

- Nexus 5K交換機上安裝了必要的許可證。

有關限制和相容性資訊，請參閱每個特定硬體裝置的配置指南。

採用元件

本文中的資訊係根據以下軟體和硬體版本：

- 採用VIC 1225的Cisco UCS C220 M3伺服器

- CIMC 1.5.4韌體套件

- Nexus 5548UP版本6.0(2)N2(1)

- FEX型號 — Nexus 2232PP

本文中的資訊是根據特定實驗室環境內的裝置所建立。文中使用到的所有裝置皆從已清除（預設）的組態來啟動。如果您的網路正在作用，請確保您已瞭解任何指令可能造成的影響。

概觀

以下是組態程式的概觀：

1. 對於新設定，請在Nexus 5K交換機上執行基本配置。如果要將伺服器新增到現有網路，可以跳過此步驟。

2. 在UCS伺服器上配置VIC介面卡。

3. 根據您的拓撲配置Nexus 5K交換機。

伺服器可以部署在以下三種拓撲中：

- 拓撲1 — 在Nexus 5K交換機上配置的虛擬埠通道(vPC)，以及直接連線到Nexus 5K交換機的融合網路介面卡(CNA)埠

- 拓撲2 — 以直通模式連線到Nexus 5K交換機的FEX，以及連線到FEX埠的CNA

- 拓撲3 — 在增強型vPC模式下連線到Nexus 5K交換機的FEX，以及連線到FEX埠的CNA

本文檔提供了每個拓撲的FCoE連線配置示例。

附註：

使用命令查詢工具(僅供已註冊客戶使用)可獲取本節中使用的命令的更多資訊。

輸出直譯器工具(僅供已註冊客戶使用)支援某些show命令。使用輸出直譯器工具來檢視show命令輸出的分析。

第1步：配置新設定

儘管本文檔重點介紹VIC介面卡和Nexus 5K交換機上的FCoE配置，但它還包括vPC上所需的基本配置以及FCoE功能以實現完整性。

本示例中的拓撲將虛擬儲存區域網路(VSAN)100和VSAN 200用作兩個SAN結構。這些VSAN在Nexus 5K交換機的A端和B端建立，並分別對映到FCoE VLAN 100和200。

對於新設定，以下過程介紹如何在Nexus 5K交換機上執行基本配置：

1. 在Nexus 5K交換機上啟用所需功能（鏈路層發現協定[LLDP]、鏈路聚合控制協定[LACP]、FCoE、FEX、vPC）。有關此步驟的示例，請參閱所需功能配置。

2. 完成基本vPC配置：

1. 建立vPC域。

2. 建立vPC對等保持連線鏈路。

3. 配置vPC對等鏈路。有關如何執行步驟1-3以及如何在Nexus 5K交換機上啟用vPC的示例，請參閱基本vPC配置。

4. 建立vPC或重新使用埠通道。

5. 檢驗vPC。

3. 配置VSAN。有關此步驟的示例，請參見VSAN配置。

附註：如果要將伺服器新增到現有網路，可以跳過這些步驟；請繼續步驟2:配置UCS伺服器和VIC介面卡。

所需功能配置

5548-switch# configure terminal

5548-switch(config)# feature lldp

5548-switch(config)# feature lacp

5548-switch(config)# feature fcoe

5548-switch(config)# feature fex

5548-switch(config)# feature vpc

5548-switch(config)# end

基本vPC配置

5548-switch# configure terminal

5548-switch(config)# vpc domain 150

5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip>

source <source-ip> vrf management

5548-switch(config-vpc-domain)# interface port-channel 150

5548-switch(config-if)# switchport mode trunk

5548-switch(config-if)# vpc peer-link

5548-switch(config-if)# no shut

VSAN配置

5548-switch-A # configure terminal

5548-switch-A(config)# vsan database

5548-switch-A(config-vsan-db)#vsan 100

5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100

5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal

5548-switch-B(config)#vsan database

5548-switch-B(config-vsan-db)#vsan 200

5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200

5548-switch-B(config-vlan)#fcoe vsan 200

第2步：配置UCS伺服器和VIC介面卡

在UCS伺服器上配置VIC介面卡。以下過程介紹了如何將此配置應用到所有Cisco VIC（P81E或VIC 1225或VIC 1225T）介面卡：

1. 使用Host Update Utility將伺服器硬體元件的韌體更新為最新版本。請務必更新VIC韌體。

2. 預設情況下，VIC介面卡在經典乙太網(CE)模式下運行，配置有兩個虛擬網路介面控制器(vNIC)和兩個vHBA。這些vNIC和vHBA中的每個vNIC都固定到上行鏈路DCE物理介面；即，fc0固定至上行DCE埠0,fc1固定至介面卡的上行DCE埠1:

3. 開啟伺服器電源，注意VIC介面卡詳細資訊已填寫在「清單」部分。

4. 按一下vHBAs頁籤，然後選擇一個vHBA介面（fc0或fc1）。

5. 按一下「屬性」，然後在VIC介面卡上配置FCoE屬性。確保在Default VLAN（預設VLAN）文本字段中定義FCoE VLAN ID:

如果計畫從SAN啟動，請選中FC SAN Boot覈取方塊，並將目標WWPN新增到啟動表中：

6. 重新啟動伺服器以使配置更改生效。

步驟3:為不同拓撲配置Nexus 5K交換機

伺服器可以部署為三種拓撲中的一種。本節介紹如何根據您的拓撲配置Nexus 5K交換機。

所有三種拓撲的通用配置准則如下：

1. 虛擬光纖通道(VFC)介面繫結到埠通道的成員埠（物理乙太網介面）。

2. 交換機埠處於中繼模式，FCoE VLAN配置為非本地VLAN。

3. 交換機埠的生成樹型別被配置為作為邊緣中繼連線到伺服器。

本文檔提供交換矩陣A的配置示例；您應在交換矩陣B的另一台交換機上執行類似的配置。

拓撲1:CNA埠直接連線到Nexus 5K交換機

概觀

在此場景中，Nexus 5K交換機位於vPC中，伺服器CNA埠直接連線到兩台Nexus 5K交換機。以下過程介紹了此拓撲的配置：

1. 將乙太網介面與新的埠通道介面關聯。

2. 將埠通道配置為帶有FCoE VLAN標籤的中繼，並將埠通道與vPC ID相關聯。

3. 建立VFC介面，並將其繫結到埠通道成員（乙太網介面）。

4. 將VFC介面與相應的VSAN ID關聯。有關步驟1-4的示例，請參閱Nexus 5K交換機一端的配置示例。

5. 重複步驟1-4以配置Nexus 5K交換機的B端。

6. 驗證設定.

Nexus 5K交換機一端的示例配置

N5548UP-A(config)# int eth 1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A# configure terminal

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)# switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# vpc 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

vpc 1

interface Ethernet1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

channel-group 1

N5548UP-A# show run int vfc 1

interface vfc1

bind interface Ethernet1/1

switchport trunk allowed vsan 100

no shutdown

拓撲2:FEX以直通模式連線到Nexus 5K交換機，CNA連線到FEX埠

概觀

在此場景中，FEX以直通模式連線到Nexus 5K交換機，CNA連線到FEX埠。以下過程介紹了此拓撲的配置：

直通FEX配置:

1. 分配FEX ID。

2. 將乙太網介面與新的埠通道介面ID關聯，並使用FEX交換矩陣引數配置新的埠通道。有關步驟1-2的示例，請參閱示例配置。

主機vPC配置:

3. 將FEX主機介面(HIF)與新的埠通道介面ID關聯，並配置埠通道引數。

4. 將HIF埠通道關聯到vPC介面。

5. 建立VFC介面，並將其繫結到主機埠通道的成員（乙太網）埠。有關步驟3-5的示例，請參閱主機vPC配置。

6. 驗證設定.

在Nexus 5K交換機的B端重複步驟1-4，並在HIF埠通道下使用相同的vPC介面號。

示例配置

N5548UP-A# configure terminal

N5548UP-A(config)# fex 101

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6

N5548UP-A(config-if-range)# channel-group 210

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 101

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

主機vPC配置

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)#switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# vpc 10

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 101/1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show run int port-channel 210 membership

interface port-channel210

switchport mode fex-fabric

fex associate 101

interface Ethernet1/5

switchport mode fex-fabric

fex associate 101

channel-group 210

interface Ethernet1/6

switchport mode fex-fabric

fex associate 101

channel-group 210

N5548UP-A# show int fex

Fabric Fabric Fex FEX

Fex Port Port State Uplink Model Serial

---------------------------------------------------------------

101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN

101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

vpc 10

interface Ethernet101/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

channel-group 1

N5548UP-A# show run int vfc 1

interface vfc1

bind interface Ethernet101/1/1

switchport trunk allowed vsan 100

no shutdown

拓撲3:在增強型vPC模式下連線到Nexus 5K交換機的FEX以及連線到FEX埠的CNA

概觀

在此場景中，FEX以增強型vPC模式連線到Nexus 5K交換機，CNA連線到FEX埠。

SAN交換矩陣A流量(FCoE VLAN 100)與Nexus 5K交換機的FEX 101/A端相關聯。SAN交換矩陣B流量(FCoE VLAN 200)與Nexus 5K交換機的FEX 102 / B端相關聯。

對於雙成員主機埠通道，必須在兩台Nexus 5K交換機上的兩台FEX裝置上配置HIF埠；也就是說，總共需要四個HIF埠配置。

以下過程介紹了此拓撲的配置：

活動 — 活動FEX配置:

1. 分配FEX ID。

2. 在每個Nexus 5K交換機上的單個FEX下新增「fcoe」關鍵字，以啟用SAN交換矩陣隔離。

3. 建立FEX交換矩陣埠通道。

4. 對同一Nexus 5K交換機上的其他FEX重複步驟1和3。

5. 在Nexus 5K交換機的B端重複步驟1-4。如需範例，請參閱Nexus 5K交換器B側FEX 102上的Active - Active FEX Configuration和FCoE Keyword。

主機vPC配置:

6. 建立埠通道介面，並配置必要的VLAN。

7. 在兩個FEX上配置HIF埠（連線到CNA的FEX介面），並允許FCoE VLAN和乙太網VLAN，然後將HIF埠與步驟6中建立的主機埠通道ID相關聯。

8. 建立VFC介面，並將其繫結到主機埠通道的成員（乙太網）埠。

9. 在Nexus 5K交換機的B端重複步驟6-8，並使用相同的主機埠通道介面ID。有關示例，請參見主機vPC配置。

VFC介面配置:

10. 建立VC介面，並將其繫結到埠通道成員(HIF)埠。

11. 將VFC介面分配給適當的VSAN。

12. 在Nexus 5K交換機的B端重複步驟10-11。有關示例，請參見VFC Configuration。

13. 驗證設定.

活動 — 活動FEX配置

N5548UP-A# configure terminal

N5548UP-A(config)# fex 101

N5548UP-A(config-fex)# fcoe

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4

N5548UP-A(config-if-range)# channel-group 201

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 201

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 101

N5548UP-A(config-if)# vpc 201

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

N5548UP-A# configure terminal

N5548UP-A(config)# fex 102

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6

N5548UP-A(config-if-range)# channel-group 202

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 102

N5548UP-A(config-if)# vpc 202

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

Nexus 5K交換機B側FEX 102上的FCoE關鍵字

N5548UP-B# configure terminal

N5548UP-B(config)# fex 102

N5548UP-B(config-fex)# fcoe

N5548UP-B(config-fex)# exit

主機vPC配置

N5548UP-A(config-if)# interface ethernet 101/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)#switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

VFC配置

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 101/1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

驗證

N5548UP-A# show fex

FEX FEX FEX FEX

Number Description State Model Serial

------------------------------------------------------------------------

101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN

102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex

Fabric Fabric Fex FEX

Fex Port Port State Uplink Model Serial

---------------------------------------------------------------

101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN

102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail

FEX: 101 Description: FEX0101 state: Online

FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]

FEX Interim version: 6.0(2)N2(1)

Switch Interim version: 6.0(2)N2(1)

Extender Serial: SSI142602QN

FCoE Admin: true

FCoE Oper: true

FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

interface Ethernet102/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

channel-group 1

interface Ethernet101/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

channel-group 1

N5548UP-A# show int vfc 1

vfc1 is trunking

Bound interface is Ethernet101/1/1

Port WWN is 20:00:54:7f:ee:e1:6a:bf

Admin port mode is F, trunk mode is on

Port mode is TF

Port vsan is 100

Trunk vsans (admin allowed and active) (100)

Trunk vsans (up) (100)

Trunk vsans (isolated) ()

Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201

switchport mode fex-fabric

fex associate 101

vpc 201

interface Ethernet1/3

switchport mode fex-fabric

fex associate 101

channel-group 201

interface Ethernet1/4

switchport mode fex-fabric

fex associate 101

channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202

switchport mode fex-fabric

fex associate 102

vpc 202

interface Ethernet1/5

switchport mode fex-fabric

fex associate 102

channel-group 202

interface Ethernet1/6

switchport mode fex-fabric

fex associate 102

channel-group 202

當VIC韌體成功檢測LUN並更新啟動表時，從伺服器啟動序列中拍攝的此螢幕將驗證交換機配置：

驗證

驗證程式包括在配置示例中。

疑難排解

本節提供的資訊可用於對組態進行疑難排解。

執行以下檢查以確定VFC是否啟動：

1. 驗證對映到vHBA的介面卡埠之間的電纜連線是否正確，以及Nexus 5K交換機埠是否具有必要的VSAN。

2. 確保介面未被管理性關閉。

3. 驗證在受VFC限制的乙太網介面上配置了FCoE VLAN。

使用以下命令驗證設定：

- show run fcoe

- show vsan

- show vlan fcoe

- show interface vfc ID

- show vpc

- show flogi database

相關資訊

- Cisco UCS C系列服務器集成管理控制器GUI配置指南1.5版中的管理網路介面卡部分

- Cisco Nexus 5500系列NX-OS第2層交換配置指南6.x版的「配置增強型虛擬埠通道」部分

- Cisco Nexus 5500系列NX-OS第2層交換配置指南6.x版中的配置交換矩陣擴展器部分

- Cisco Nexus 5500系列NX-OS乙太網光纖通道配置指南6.x版

- 技術支援與文件 - Cisco Systems