Contenido

Introducción

Prerequisites

Requirements

Componentes Utilizados

Antecedentes

Descripción general de Adapter-FEX

Configurar

Configuración de vNIC Ethernet

Configuración de vHBA

Verificación

Troubleshoot

La interfaz Ethernet virtual no aparece

Recopile la información de soporte técnico del adaptador desde el lado del servidor

Introducción

Este documento describe cómo configurar, utilizar y resolver problemas de la función Adapter-Fabric Extender (FEX) en los switches Nexus 5500.

Prerequisites

Requirements

No hay requisitos específicos para este documento.

Componentes Utilizados

La información que contiene este documento se basa en las siguientes versiones de software y hardware.

- Nexus 5548UP que ejecuta la versión 5.2(1)N1(4)

- Servidor en rack de la serie C210 M2 de Unified Computing System (UCS) con tarjeta de interfaz virtual (VIC) UCS P81E que ejecuta la versión de firmware 1.4(2)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si su red está activa, asegúrese de comprender el impacto potencial de cualquier comando o configuración de captura de paquetes.

Antecedentes

Descripción general de Adapter-FEX

Esta función permite que un switch Nexus 5500 administre interfaces virtuales (tanto controladores de interfaz de red virtual (vNIC) Ethernet como adaptadores de bus host virtual de canal de fibra (vHBA de FC)) en la VIC del servidor. Esto es independiente de cualquier hipervisor que se ejecute en el servidor. Las interfaces virtuales que se creen serán visibles para el sistema operativo principal (OS) instalado en el servidor (siempre que el sistema operativo tenga los controladores adecuados).

Las plataformas compatibles se pueden encontrar en esta sección de la Guía de Operaciones de FEX del Adaptador NX-OS Cisco Nexus serie 5000, versión 5.1(3)N1(1).

Las topologías compatibles con Adapter-FEX se pueden encontrar en esta sección de la Guía de Operaciones de FEX del Adaptador NX-OS Cisco Nexus serie 5000, versión 5.1(3)N1(1).

Las topologías admitidas son:

- Servidor de enlace único a un switch Nexus 5500

- Servidor de enlace único a FEX directo

- Servidor unificado a un FEX Activo/Activo

- Servidor de doble conexión mediante enlaces ascendentes Activo/En espera a un par de switches Nexus 5500

- Servidor de doble conexión mediante enlaces ascendentes Activo/En espera a un par de FEX activos/activos de canal de puerto virtual (vPC)

La siguiente sección de configuración trata de 'Server dual-homed via Active/Standby uplinks to a un par de switches Nexus 5500' que se describe aquí:

Cada vNIC tendrá una interfaz Ethernet virtual correspondiente en el Nexus 5000. Asimismo, cada vHBA tendrá una interfaz de canal de fibra virtual (VFC) correspondiente en el Nexus 5000.

Configurar

Nota: Use la Command Lookup Tool (clientes registrados solamente) para obtener más información sobre los comandos usados en esta sección.

Configuración de vNIC Ethernet

Complete estos pasos en ambos switches Nexus 5000:

1. Normalmente, el vPC se define y funciona en los dos switches Nexus 5000. Verifique que el dominio vPC esté definido, que la señal de mantenimiento del par esté ACTIVA y que el link del par esté ACTIVO.

2. Ingrese estos comandos para habilitar el conjunto de funciones de virtualización.
(config)# install feature-set virtualization

(config)# feature-set virtualization

3. (Opcional) Permita que el Nexus 5000 cree automáticamente sus interfaces Ethernet virtuales cuando los vNIC correspondientes se definan en el servidor. Tenga en cuenta que esto no se aplica a las interfaces VFC que sólo se pueden definir manualmente en el Nexus 5000.
(config)# vethernet auto-create

4. Configure la interfaz Nexus 5000 que se conecta a los servidores en modo Virtual Network Tag (VNTag).
(config)# interface Eth 1/10

(config-if)# switchport mode vntag

(config-if)# no shutdown

5. Configure los perfiles de puerto que se aplicarán a los vNIC.
Los perfiles de puerto son plantillas de configuración que las interfaces del switch pueden aplicar (heredar). En el contexto de Adapter-FEX, los perfiles de puerto se pueden aplicar a las interfaces Ethernet virtuales que se definen manualmente o a las que se crean automáticamente cuando los vNIC se configuran en la interfaz gráfica de usuario de Cisco Integrated Management Controller (CIMC) de UCS C-Series.

El perfil de puerto es del tipo 'vethernet'.
Aquí se muestra un ejemplo de configuración de perfil de puerto:
(config)# port-profile type vethernet VNIC1

(config-port-prof)# switchport mode access

(config-port-prof)# switchport access vlan 10

(config-port-prof)# no shutdown

(config-port-prof)# state enabled

Complete estos pasos en el servidor UCS C-Series:

1. Conéctese a la interfaz CIMC mediante HTTP e inicie sesión con las credenciales del administrador.

2. Elija Inventory > Network Adapters > Modify Adapter Properties.

3. Marque la casilla de verificación Enable NIV Mode .

4. Haga clic en Guardar cambios.

5. Apague y, a continuación, encienda el servidor.

6. Después de que el servidor aparezca, elija Inventory > Network Adapters > vNICs > Add para crear vNICs. Los campos más importantes que se deben definir son:

1. Puerto de enlace ascendente VIC que se utilizará (P81E tiene 2 puertos de enlace ascendente a los que se hace referencia como 0 y 1).

2. Channel Number (Número de canal): ID de canal único del vNIC en el adaptador. Esto se hace referencia en el comando bind bajo la interfaz Ethernet virtual en el Nexus 5000. El alcance del número de canal se limita al link físico VNTag. El canal se puede considerar como un "link virtual" en el link físico entre el switch y el adaptador del servidor.

3. Perfil de puerto: se puede seleccionar la lista de perfiles de puerto definidos en el Nexus 5000 ascendente. Se creará automáticamente una interfaz Ethernet virtual en el Nexus 5000 si el Nexus 5000 se configura con el comando vethernet auto-create. Tenga en cuenta que sólo se pasan al servidor los nombres de perfil de puerto Ethernet virtual (la configuración de perfil de puerto no lo es). Esto ocurre después de que se establece la conectividad del link VNTag y se realizan los pasos iniciales de entrada en contacto y negociación entre el switch y el adaptador del servidor.

7. Haga clic en Guardar cambios.

8. Apague y vuelva a encender el servidor.

Configuración de vHBA

Cuando crea vHBA en el adaptador del servidor, las interfaces de switch correspondientes no se crean automáticamente. En su lugar, deben definirse manualmente. Aquí se muestran los pasos para el lado del switch y del servidor.

Complete estos pasos en el lado del switch:

1. Cree una interfaz troncal Ethernet virtual que esté enlazada al canal de la interfaz VNTag de la interfaz vHBA del servidor. La VLAN de canal de fibra sobre Ethernet (FCoE) no debe ser la VLAN nativa. Los números Ethernet virtuales deben ser únicos en los dos switches Nexus 5000.
Ejemplo:

(config)# interface veth 10

(config-if)# switchport mode trunk

(config-if)# switchport trunk allowed vlan 1,100

(config-if)# bind interface eth1/1 channel 3

(config-if)# no shutdown

2. Cree una interfaz VFC enlazada a la interfaz Ethernet virtual definida anteriormente.
Ejemplo:

(config)# interface vfc10

(config-if)# bind interface veth 10

(config-if)# no shut

La pertenencia a la red de área de almacenamiento virtual (VSAN) para esta interfaz se define en la base de datos VSAN:

(config)# vsan database

(config-vsan-db)# vsan 100 interface vfc10

(config-vsan-db)# vlan 100

(config-vlan)# fcoe vsan 100

(config-vlan)# show vlan fcoe

Complete estos pasos en el lado del servidor:

1. Elija Inventory > Network Adapters > vHBAs para crear una interfaz vHBA.
Los principales campos que se definirán son:

- Nombre del mundo del puerto (pWWN)/Nombre del mundo del nodo (nWWN)

- VLAN FCOE

- ID del link ascendente

- Número de canal

- Arranque desde la red de área de almacenamiento (SAN) si se utiliza

2. Encienda el servidor.

Verificación

Use esta sección para confirmar que su configuración funciona correctamente.

La lista de interfaces Ethernet virtuales se puede mostrar con estos comandos:

n5k1# show interface virtual summary

Veth       Bound        Channel/  Port        Mac                VM

Interface  Interface    DV-Port   Profile     Address            Name

-------------------------------------------------------------------------

Veth32770  Eth1/2       1         UPLINK

Total 1 Veth Interfaces

n5k1#

n5k1# show interface virtual status

Interface VIF-index   Bound If      Chan  Vlan  Status     Mode     Vntag

-------------------------------------------------------------------------

Veth32770 VIF-17      Eth1/2           1    10  Up         Active   2

Total 1 Veth Interfaces

Las interfaces Ethernet virtuales creadas automáticamente aparecen en la configuración en ejecución y se guardarán en la configuración de inicio cuando se realice el inicio de la ejecución de copia:

n5k1# show run int ve32770

!Command: show running-config interface Vethernet32770

!Time: Thu Apr 10 12:56:23 2014

version 5.2(1)N1(4)

interface Vethernet32770

inherit port-profile UPLINK

bind interface Ethernet1/2 channel 1

n5k1# show int ve32770 brief

--------------------------------------------------------------------------------

Vethernet     VLAN   Type Mode   Status  Reason                    Speed

--------------------------------------------------------------------------------

Veth32770     10     virt access up      none                     auto

n5k1#

Troubleshoot

En esta sección encontrará información que puede utilizar para solucionar problemas de configuración.

La interfaz Ethernet virtual no aparece

Verifique la información del protocolo de intercambio de capacidades de puente de Data Center (DCBX) para la interfaz VNTag del switch con este comando:

# show system internal dcbx info interface ethernet <>

Compruebe que:

- El protocolo Data Center Bridging Exchange (DCX) es Ethernet convergente (CEE)

- La extensión CEE Network IO Virtualization (NIV) está habilitada

- El valor de longitud de tipo NIV (TLV) está presente

Como se destaca a continuación:

n5k1# show sys int dcbx info interface e1/2

Interface info for if_index: 0x1a001000(Eth1/2)

tx_enabled: TRUE

rx_enabled: TRUE

dcbx_enabled: TRUE

DCX Protocol: CEE   <<<<<<<

DCX CEE NIV extension: enabled  <<<<<<<<<

<output omitted>

Feature type NIV (7)   <<<<<<<

feature type 7(DCX CEE-NIV)sub_type 0

Feature State Variables: oper_version 0 error 0 local error 0 oper_mode 1

feature_seq_no 0 remote_feature_tlv_present 1 remote_tlv_aged_out 0

remote_tlv_not_present_notification_sent 0

Feature Register Params: max_version 0, enable 1, willing 0 advertise 1

disruptive_error 0 mts_addr_node 0x2201 mts_addr_sap 0x193

Other server mts_addr_node 0x2301, mts_addr_sap 0x193

Desired config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Operating config cfg length: 8 data bytes:9f   ff   68   ef   bd   f7   4f   c6

Peer config cfg length: 8 data bytes:10   00   00   22   bd   d6   66   f8

Entre los problemas comunes se incluyen:

- El protocolo DCX es CIN

- Verifique si hay problemas de L1: cables, SFP, activación de puerto, adaptador.

- Verifique la configuración del switch: conjunto de funciones, switchport VNTag, enable Link Layer Discovery Protocol (LLDP)/DCBX.

- El TLV NIV está ausente

- Verifique que el modo NIV esté habilitado en la configuración del adaptador.

- Se ha completado la comunicación de control de interfaz VNIC (VIC) y se ha intercambiado la información de perfiles de puerto. Asegúrese de que el estado actual del evento Virtual Interface Manager (VIM) sea VIM_NIV_PHY_FSM_ST_UP_OPENED_PP.

n5k1# show sys int vim event-history interface e1/2

>>>>FSM: <Ethernet1/2> has 18 logged transitions<<<<<

1) FSM:<Ethernet1/2> Transition at 327178 usecs after Thu Apr 10 12:22:27 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

2) FSM:<Ethernet1/2> Transition at 327331 usecs after Thu Apr 10 12:22:27 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

3) FSM:<Ethernet1/2> Transition at 255216 usecs after Thu Apr 10 12:26:15 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

4) FSM:<Ethernet1/2> Transition at 250133 usecs after Thu Apr 10 12:26:18 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

5) FSM:<Ethernet1/2> Transition at 262008 usecs after Thu Apr 10 12:26:18 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]

Next state: [FSM_ST_NO_CHANGE]

6) FSM:<Ethernet1/2> Transition at 60944 usecs after Thu Apr 10 12:26:19 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]

Next state: [VIM_NIV_PHY_FSM_ST_UP]

7) FSM:<Ethernet1/2> Transition at 62553 usecs after Thu Apr 10 12:26:19 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]

Next state: [FSM_ST_NO_CHANGE]

8) FSM:<Ethernet1/2> Transition at 62605 usecs after Thu Apr 10 12:26:19 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]

Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

9) FSM:<Ethernet1/2> Transition at 62726 usecs after Thu Apr 10 12:26:19 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]

Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

10) FSM:<Ethernet1/2> Transition at 475253 usecs after Thu Apr 10 12:51:45 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

Triggered event: [VIM_NIV_PHY_FSM_EV_PHY_DOWN]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

11) FSM:<Ethernet1/2> Transition at 475328 usecs after Thu Apr 10 12:51:45 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_VETH_DN]

Triggered event: [VIM_NIV_PHY_FSM_EV_DOWN_DONE]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

12) FSM:<Ethernet1/2> Transition at 983154 usecs after Thu Apr 10 12:53:06 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_DCBX]

Triggered event: [VIM_NIV_PHY_FSM_EV_RX_DCBX_CC_NUM]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

13) FSM:<Ethernet1/2> Transition at 992590 usecs after Thu Apr 10 12:53:09 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_3SEC]

Triggered event: [VIM_NIV_PHY_FSM_EV_DCX_3SEC_EXP]

Next state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

14) FSM:<Ethernet1/2> Transition at 802877 usecs after Thu Apr 10 12:53:10 2014

Previous state: [VIM_NIV_PHY_FSM_ST_WAIT_ENCAP]

Triggered event: [VIM_NIV_PHY_FSM_EV_ENCAP_RESP]

Next state: [VIM_NIV_PHY_FSM_ST_UP]

15) FSM:<Ethernet1/2> Transition at 804263 usecs after Thu Apr 10 12:53:10 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_ACKD]

Next state: [FSM_ST_NO_CHANGE]

16) FSM:<Ethernet1/2> Transition at 992390 usecs after Thu Apr 10 12:53:11 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_RECEIVED]

Next state: [FSM_ST_NO_CHANGE]

17) FSM:<Ethernet1/2> Transition at 992450 usecs after Thu Apr 10 12:53:11 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP]

Triggered event: [VIM_NIV_PHY_FSM_EV_VIC_OPEN_DONE]

Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

18) FSM:<Ethernet1/2> Transition at 992676 usecs after Thu Apr 10 12:53:11 2014

Previous state: [VIM_NIV_PHY_FSM_ST_UP_OPENED]

Triggered event: [VIM_NIV_PHY_FSM_EV_PP_SEND]

Next state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]

Curr state: [VIM_NIV_PHY_FSM_ST_UP_OPENED_PP]  <<<<<<<<<<

n5k1#

Si la interfaz Ethernet virtual es una Ethernet virtual fija, verifique si VIC_CREATE aparece en este comando:

# show system internal vim info niv msg logs fixed interface e 1/16 ch 1

Eth1/16(Chan: 1) VIF Index: 605

REQ MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS

RSP MsgId: 56630, Type: VIC ENABLE, CC: SUCCESS

REQ MsgId: 4267, Type: VIC SET, CC: SUCCESS

RSP MsgId: 4267, Type: VIC SET, CC: SUCCESS

REQ MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<

RSP MsgId: 62725, Type: VIC CREATE, CC: SUCCESS  <<<<<<<

REQ MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS

RSP MsgId: 62789, Type: VIC ENABLE, CC: SUCCESS

REQ MsgId: 21735, Type: VIC SET, CC: SUCCESS

RSP MsgId: 21735, Type: VIC SET, CC: SUCCESS

Tenga en cuenta que una interfaz Ethernet virtual fija es una interfaz virtual que no admite la migración entre interfaces físicas. Cuando se habla de Adapter-FEX, el alcance siempre se encuentra en Ethernet virtual fija, ya que Adapter-FEX hace referencia al uso de la virtualización de red por un único sistema operativo (es decir, no virtualizado).

Si VIC_CREATE no aparece:

1. Si el adaptador es un adaptador Cisco NIV, verifique la configuración VNIC en el lado del adaptador (ID de canal, puerto UIF de enlace ascendente correcto, cualquier confirmación pendiente (se necesita reiniciar el servidor para cualquier cambio de configuración). Un vHBA no activará Ethernet virtual en ambos switches en la topología de FEX de AA. Un vHBA virtual Ethernet fijo necesita un controlador del sistema operativo para activarlo (espere hasta que el sistema operativo cargue el controlador y se inicie por completo).

2. Si el adaptador es un adaptador Broadcom NIV, verifique si las interfaces están funcionando desde el lado del sistema operativo (por ejemplo, en Linux, active la interfaz 'ifconfig eth2 up').

3. Si VIC_CREATE aparece, pero el switch responde con ERR_INTERNAL:

- Verifique los perfiles de puerto tanto en los lados del switch como del adaptador. Vea si alguna cadena de perfiles de puerto no coincide.

- Para las Ethernet virtuales fijas dinámicas, verifique la configuración 'veth auto-create'.

4. Si el problema persiste, recopile el resultado que se muestra a continuación y póngase en contacto con el centro de asistencia técnica Cisco Technical Assistance Center (TAC).

# show system internal vim log

# attach fex <number>

# test vic_proxy dump trace

Recopile la información de soporte técnico del adaptador desde el lado del servidor

1. Inicie sesión en CIMC desde un explorador.

2. Haga clic en la pestaña Admin.

3. Haga clic en Utilidades.

4. Haga clic en Exportar datos de soporte técnico a TFTP o Generar datos de soporte técnico para descarga local.