目录

简介

先决条件

要求

使用的组件

概述

步骤 1：配置新设置

所需功能配置

基本vPC配置

VSAN配置

步骤 2：配置UCS服务器和VIC适配器

步骤 3：为不同拓扑配置Nexus 5K交换机

拓扑 1:直接连接到Nexus 5K交换机的CNA端口

概述

Nexus 5K交换机一端的配置示例

确认

拓扑 2:FEX以直通模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

配置示例

主机vPC配置

确认

拓扑 3:FEX以增强型vPC模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

活动 — 活动FEX配置

Nexus 5K交换机B侧FEX 102上的FCoE关键字

主机vPC配置

VFC配置

确认

验证

故障排除

相关信息

简介

本文档介绍如何在安装在思科统一计算系统(UCS)机架式服务器上的虚拟接口卡(VIC)适配器与Cisco Nexus 5500(Nexus 5K)系列交换机之间配置以太网光纤通道(FCoE)连接。两个示例拓扑包括思科交换矩阵扩展器(FEX)设备，而一个示例拓扑不包括。

先决条件

要求

Cisco 建议您了解以下主题：

- 思科 Nexus 5500 系列交换机

- Cisco UCS机架式服务器 — 思科集成管理控制器(CIMC)配置

- 对FCoE的基本了解

此配置存在于环境中：

- 配置存储区域网络(SAN)阵列，以便为Cisco VIC卡上的虚拟主机总线适配器(vHBA)提供对逻辑单元号(LUN)的访问。

- Cisco Nexus 5K交换机上安装了Cisco Nexus 5.1(3)N1(1a)或更高版本。

- Nexus 5K交换机上安装了必要的许可证。

有关限制和兼容性信息，请参阅每个特定硬件设备的配置指南。

使用的组件

本文档中的信息基于以下软件和硬件版本：

- 带VIC 1225的Cisco UCS C220 M3服务器

- CIMC 1.5.4固件套件

- 带6.0(2)N2(1)版的Nexus 5548UP

- FEX型号 — Nexus 2232PP

本文档中的信息都是基于特定实验室环境中的设备编写的。本文档中使用的所有设备最初均采用原始（默认）配置。如果您使用的是真实网络，请确保您已经了解所有命令的潜在影响。

概述

以下是配置过程的概述：

1. 对于新设置，请在Nexus 5K交换机上执行基本配置。如果要向现有网络添加服务器，可以跳过此步骤。

2. 在UCS服务器上配置VIC适配器。

3. 根据拓扑配置Nexus 5K交换机。

服务器可以部署在以下三种拓扑之一：

- 拓扑1 — 在Nexus 5K交换机上配置的虚拟端口通道(vPC)，以及直接连接到Nexus 5K交换机的融合网络适配器(CNA)端口

- 拓扑2 — 以直通模式连接到Nexus 5K交换机的FEX，以及连接到FEX端口的CNA

- 拓扑3 — 以增强的vPC模式连接到Nexus 5K交换机的FEX，以及连接到FEX端口的CNA

本文档提供每个拓扑的FCoE连接配置示例。

注意：

使用命令查找工具（仅限注册用户）可获取有关本部分所使用命令的详细信息。

命令输出解释程序工具（仅限注册用户）支持某些 show 命令。使用输出解释器工具来查看 show 命令输出的分析。

步骤 1：配置新设置

尽管本文档重点介绍VIC适配器和Nexus 5K交换机上的FCoE配置，但为了完整起见，它还包括vPC上所需的基本配置和FCoE功能。

本示例中的拓扑将虚拟存储区域网络(VSAN)100和VSAN 200用作两个SAN交换矩阵。这些VSAN在Nexus 5K交换机的A侧和B侧创建，并分别映射到FCoE VLAN 100和200。

对于新设置，此步骤介绍如何在Nexus 5K交换机上执行基本配置：

1. 在Nexus 5K交换机上启用所需功能（链路层发现协议[LLDP]、链路聚合控制协议[LACP]、FCoE、FEX、vPC）。有关此步骤的示例，请参阅所需功能配置。

2. 完成基本vPC配置：

1. 创建vPC域。

2. 创建vPC对等保持连接链路。

3. 配置vPC对等链路。有关如何执行步骤1-3以及如何在两台Nexus 5K交换机上启用vPC的示例，请参阅基本vPC配置。

4. 创建vPC或重新使用端口通道。

5. 检验vPC。

3. 配置VSAN。有关此步骤的示例，请参阅VSAN配置。

注意：如果要向现有网络添加服务器，可跳过这些步骤；继续执行步骤2:配置UCS服务器和VIC适配器。

所需功能配置

5548-switch# configure terminal

5548-switch(config)# feature lldp

5548-switch(config)# feature lacp

5548-switch(config)# feature fcoe

5548-switch(config)# feature fex

5548-switch(config)# feature vpc

5548-switch(config)# end

基本vPC配置

5548-switch# configure terminal

5548-switch(config)# vpc domain 150

5548-switch (config-vpc-domain)# peer-keepalive destination <peer-switch-ip>

source <source-ip> vrf management

5548-switch(config-vpc-domain)# interface port-channel 150

5548-switch(config-if)# switchport mode trunk

5548-switch(config-if)# vpc peer-link

5548-switch(config-if)# no shut

VSAN配置

5548-switch-A # configure terminal

5548-switch-A(config)# vsan database

5548-switch-A(config-vsan-db)#vsan 100

5548-switch-A(config)#exit

5548-switch-A(config)#vlan 100

5548-switch-A(config-vlan)#fcoe vsan 100

5548-switch-B # configure terminal

5548-switch-B(config)#vsan database

5548-switch-B(config-vsan-db)#vsan 200

5548-switch-B(config)#exit

5548-switch-B(config)#vlan 200

5548-switch-B(config-vlan)#fcoe vsan 200

步骤 2：配置UCS服务器和VIC适配器

在UCS服务器上配置VIC适配器。此程序描述如何将此配置应用到所有Cisco VIC（P81E或VIC 1225或VIC 1225T）适配器：

1. 使用主机更新实用程序将服务器硬件组件的固件更新为最新版本。请务必更新VIC固件。

2. 默认情况下，VIC适配器在经典以太网(CE)模式下运行，并配置了两个虚拟网络接口控制器(vNIC)和两个vHBA。每个vNIC和vHBA都固定到上行链路DCE物理接口；即，fc0被固定到上行链路DCE端口0，而fc1被固定到适配器的上行链路DCE端口1:

3. 打开服务器电源，请注意VIC适配器详细信息填入资产部分。

4. 单击vHBAs选项卡，然后选择vHBA接口（fc0或fc1）。

5. 单击属性，然后在VIC适配器上配置FCoE属性。请务必在“默认VLAN”文本字段中定义FCoE VLAN ID:

如果计划从SAN启动，请选中FC SAN启动复选框，并将目标WWPN添加到启动表：

6. 重新启动服务器以使配置更改生效。

步骤 3：为不同拓扑配置Nexus 5K交换机

服务器可部署在三个拓扑之一。本节介绍如何根据拓扑配置Nexus 5K交换机。

所有三种拓扑的常见配置指南为：

1. 虚拟光纤通道(VFC)接口绑定到端口通道的成员端口（物理以太网接口）。

2. 交换机端口处于中继模式，并且FCoE VLAN配置为非本征VLAN。

3. 交换机端口的生成树类型已配置，因此它们作为边缘中继连接到服务器。

本文档提供交换矩阵A的示例配置；您应在交换矩阵B的另一台交换机上执行类似配置。

拓扑 1:直接连接到Nexus 5K交换机的CNA端口

概述

在此场景中，Nexus 5K交换机位于vPC中，服务器CNA端口直接连接到两台Nexus 5K交换机。本步骤介绍此拓扑的配置：

1. 将以太网接口关联到新的端口通道接口。

2. 将端口通道配置为带有FCoE VLAN标记的中继，并将端口通道与vPC ID关联。

3. 创建VFC接口，并将其绑定到端口通道成员（以太网接口）。

4. 将VFC接口关联到相应的VSAN ID。有关步骤1-4的示例，请参阅Nexus 5K交换机一侧的配置示例。

5. 重复步骤1-4以配置Nexus 5K交换机的B侧。

6. 验证配置。

Nexus 5K交换机一端的配置示例

N5548UP-A(config)# int eth 1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A# configure terminal

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)# switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# vpc 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exitN5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

vpc 1

interface Ethernet1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

channel-group 1

N5548UP-A# show run int vfc 1

interface vfc1

bind interface Ethernet1/1

switchport trunk allowed vsan 100

no shutdown

拓扑 2:FEX以直通模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

在此场景中，FEX以直通模式连接到Nexus 5K交换机，CNA连接到FEX端口。本步骤介绍此拓扑的配置：

直通FEX配置:

1. 分配FEX ID。

2. 将以太网接口与新的端口通道接口ID关联，并使用FEX交换矩阵参数配置新的端口通道。有关步骤1-2的示例，请参阅配置示例。

主机vPC配置:

3. 将FEX主机接口(HIF)与新的端口通道接口ID关联，并配置端口通道参数。

4. 将HIF端口通道关联到vPC接口。

5. 创建VFC接口，并将其绑定到主机端口通道的成员（以太网）端口。有关步骤3-5的示例，请参阅主机vPC配置。

6. 验证配置。

在Nexus 5K交换机的B侧重复步骤1-4，并在HIF端口通道下使用相同的vPC接口编号。

配置示例

N5548UP-A# configure terminal

N5548UP-A(config)# fex 101

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6

N5548UP-A(config-if-range)# channel-group 210

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 210

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 101

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

主机vPC配置

<---Create HIF port-channel-->

N5548UP-A(config-if)# interface ethernet 101/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Configure port-channel parameters-->

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)#switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# vpc 10

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Create vfc interfvace and bind to port-channel (Ethernet interface)-->

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 101/1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show run int port-channel 210 membership

interface port-channel210

switchport mode fex-fabric

fex associate 101

interface Ethernet1/5

switchport mode fex-fabric

fex associate 101

channel-group 210

interface Ethernet1/6

switchport mode fex-fabric

fex associate 101

channel-group 210

N5548UP-A# show int fex

Fabric Fabric Fex FEX

Fex Port Port State Uplink Model Serial

---------------------------------------------------------------

101 Eth1/5 Active 1 N2K-C2232PP-10GE SSI142602QN

101 Eth1/6 Active 2 N2K-C2232PP-10GE SSI142602QN

N5548UP-A# show run int port-channel 1 membership

interface port-channel 1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

vpc 10

interface Ethernet101/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

channel-group 1

N5548UP-A# show run int vfc 1

interface vfc1

bind interface Ethernet101/1/1

switchport trunk allowed vsan 100

no shutdown

拓扑 3:FEX以增强型vPC模式连接到Nexus 5K交换机，CNA连接到FEX端口

概述

在此场景中，FEX以增强的vPC模式连接到Nexus 5K交换机，CNA连接到FEX端口。

SAN交换矩阵A流量(FCoE VLAN 100)与Nexus 5K交换机的FEX 101/A侧关联。SAN交换矩阵B流量(FCoE VLAN 200)与Nexus 5K交换机的FEX 102/B端关联。

对于两个成员的主机端口通道，必须在两台Nexus 5K交换机上的两台FEX设备上配置HIF端口；即总共需要四个HIF端口配置。

本步骤介绍此拓扑的配置：

活动 — 活动FEX配置:

1. 分配FEX ID。

2. 在每台Nexus 5K交换机的单个FEX下添加“fcoe”关键字，以启用SAN交换矩阵隔离。

3. 创建FEX交换矩阵端口通道。

4. 对同一Nexus 5K交换机上的其他FEX重复步骤1和3。

5. 在Nexus 5K交换机的B侧重复步骤1-4。例如，请参阅Nexus 5K交换机B端FEX 102上的Active - Active FEX Configuration和FCoE关键字。

主机vPC配置:

6. 创建端口通道接口并配置必要的VLAN。

7. 在两个FEX上配置HIF端口（连接到CNA的FEX接口），并允许FCoE VLAN和以太网VLAN，然后将HIF端口与步骤6中创建的主机端口通道ID关联。

8. 创建VFC接口，并将其绑定到主机端口通道的成员（以太网）端口。

9. 在Nexus 5K交换机的B侧重复步骤6-8，并使用相同的主机端口通道接口ID。有关示例，请参阅主机vPC配置。

VFC接口配置:

10. 创建VC接口，并将其绑定到端口通道成员(HIF)端口。

11. 将VFC接口分配给相应的VSAN。

12. 在Nexus 5K交换机的B侧重复步骤10-11。有关示例，请参阅VFC配置。

13. 验证配置。

活动 — 活动FEX配置

N5548UP-A# configure terminal

N5548UP-A(config)# fex 101

N5548UP-A(config-fex)# fcoe

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/3 - 4

N5548UP-A(config-if-range)# channel-group 201

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 201

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 101

N5548UP-A(config-if)# vpc 201

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

N5548UP-A# configure terminal

N5548UP-A(config)# fex 102

N5548UP-A(config-fex)# exit

N5548UP-A(config)# interface ethernet 1/5 - 6

N5548UP-A(config-if-range)# channel-group 202

N5548UP-A(config-if-range)#no shut

N5548UP-A(config-if-range)# exit

N5548UP-A(config)# interface port-channel 202

N5548UP-A(config-if)# switchport mode fex-fabric

N5548UP-A(config-if)# fex associate 102

N5548UP-A(config-if)# vpc 202

N5548UP-A(config-if)#no shut

N5548UP-A(config-if)# exit

Nexus 5K交换机B侧FEX 102上的FCoE关键字

N5548UP-B# configure terminal

N5548UP-B(config)# fex 102

N5548UP-B(config-fex)# fcoe

N5548UP-B(config-fex)# exit

主机vPC配置

N5548UP-A(config-if)# interface ethernet 101/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# interface ethernet 102/1/1

N5548UP-A(config-if)# channel-group 1

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

N5548UP-A(config)# interface port-channel 1

N5548UP-A(config-if)#switchport mode trunk

N5548UP-A(config-if)# switchport trunk native vlan 10

N5548UP-A(config-if)# switchport trunk allowed vlan 10,100

N5548UP-A(config-if)# spanning-tree port type edge trunk

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

VFC配置

<---Create vfc interface and bind to port-channel member (ethernet interface)-->

N5548UP-A(config)# int vfc 1

N5548UP-A(config-if)# bind interface ethernet 101/1/1

N5548UP-A(config-if)# switchport trunk allowed vsan 100

N5548UP-A(config-if)# no shut

N5548UP-A(config-if)# exit

<---Associate vfc interface to corresponding VSAN ID-->

N5548UP-A(config)# vsan database

N5548UP-A(config-vsan-db)# vsan 100 interface vfc 1

N5548UP-A(config-vsan-db)# end

确认

N5548UP-A# show fex

FEX FEX FEX FEX

Number Description State Model Serial

------------------------------------------------------------------------

101 FEX0101 Online N2K-C2232PP-10GE SSI142602QN

102 FEX0102 Online N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show interface fex

Fabric Fabric Fex FEX

Fex Port Port State Uplink Model Serial

---------------------------------------------------------------

101 Eth1/3 Active 2 N2K-C2232PP-10GE SSI142602QN

102 Eth1/4 Active 1 N2K-C2232PP-10GE SSI14260EVV

N5548UP-A# show fex 101 detail

FEX: 101 Description: FEX0101 state: Online

FEX version: 6.0(2)N2(1) [Switch version: 6.0(2)N2(1)]

FEX Interim version: 6.0(2)N2(1)

Switch Interim version: 6.0(2)N2(1)

Extender Serial: SSI142602QN

FCoE Admin: true

FCoE Oper: true

FCoE FEX AA Configured: true

N5548UP-A# show run interface port-channel 1 membership

interface port-channel1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

speed 10000

interface Ethernet102/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

channel-group 1

interface Ethernet101/1/1

switchport mode trunk

switchport trunk native vlan 10

switchport trunk allowed vlan 10,100

spanning-tree port type edge trunk

channel-group 1

N5548UP-A# show int vfc 1

vfc1 is trunking

Bound interface is Ethernet101/1/1

Port WWN is 20:00:54:7f:ee:e1:6a:bf

Admin port mode is F, trunk mode is on

Port mode is TF

Port vsan is 100

Trunk vsans (admin allowed and active) (100)

Trunk vsans (up) (100)

Trunk vsans (isolated) ()

Trunk vsans (initializing) ()

N5548UP-A# show run int port-channel 201 membership

interface port-channel201

switchport mode fex-fabric

fex associate 101

vpc 201

interface Ethernet1/3

switchport mode fex-fabric

fex associate 101

channel-group 201

interface Ethernet1/4

switchport mode fex-fabric

fex associate 101

channel-group 201

N5548UP-A# show run int port-channel 202 membership

interface port-channel202

switchport mode fex-fabric

fex associate 102

vpc 202

interface Ethernet1/5

switchport mode fex-fabric

fex associate 102

channel-group 202

interface Ethernet1/6

switchport mode fex-fabric

fex associate 102

channel-group 202

服务器启动序列的此屏幕截图验证交换机配置，因为VIC固件成功检测到LUN并更新启动表：

验证

配置示例中包含验证过程。

故障排除

本部分提供了可用于对配置进行故障排除的信息。

执行以下检查以确定VFC是否启动：

1. 验证映射到vHBA的适配器端口之间的电缆连接是否正确，以及Nexus 5K交换机端口是否具有必要的VSAN。

2. 确保接口未管理性关闭。

3. 验证FCoE VLAN是否配置在受VFC限定的以太网接口上。

使用以下命令验证配置：

- show run fcoe

- show vsan

- show vlan fcoe

- show interface vfc ID

- show vpc

- show flogi database

相关信息

- Cisco UCS C系列服务器集成管理控制器GUI配置指南，版本1.5的“管理网络适配器”部分

- Cisco Nexus 5500系列NX-OS第2层交换配置指南，版本6.x的“配置增强型虚拟端口通道”部分

- Cisco Nexus 5500系列NX-OS第2层交换配置指南6.x版中的“配置交换矩阵扩展器”部分

- Cisco Nexus 5500系列NX-OS以太网光纤通道配置指南，版本6.x

- 技术支持和文档 - Cisco Systems