Inleiding
Dit document beschrijft hoe u de virtuele machine fabric extender (VM-FEX) kunt configureren, gebruiken en probleemoplossing in Cisco Nexus 5500-switches.
Voorwaarden
Vereisten
Cisco raadt u aan basiskennis van deze onderwerpen te hebben.
- Nexus Virtual Port Channel (VPC)
- VMware vSphere
Gebruikte componenten
De informatie in dit document is gebaseerd op deze hardware- en softwareversies:
- Nexus 5548UP die draait op versie 5.2(1)N1(4)
- Unified Computing System (UCS)-C210 M2-rackserver met UCS P81E virtuele interfacekaart met firmware versie 1.4(2)
- vSphere versie 5.0 (ESXi en vCenter)
De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk actief is, zorg er dan voor dat u de mogelijke impact van een opdracht of instelling voor pakketvastlegging begrijpt.
VM-FEX - Overzicht
VM-FEX combineert virtuele en fysieke netwerken in één infrastructuur. Hiermee kunt u het netwerkverkeer van virtuele machines en het metalen netwerk binnen een verenigde infrastructuur provisioneren, configureren en beheren.
De VM-FEX-software breidt de Cisco fabric extender-technologie uit naar de virtuele machine met deze functies:
- Elke virtuele machine bevat een specifieke interface in de moederswitch.
- Al het virtuele machineverkeer wordt rechtstreeks naar de speciale interface van de switch gestuurd.
- De standaard vSwitch in de hypersupervisor wordt geëlimineerd.
VM-FEX is één type gedistribueerde virtuele switch (DVS of VDS). De DVS presenteert een abstractie van één enkele switch over meerdere ESX-servers die deel uitmaken van dezelfde Datacentecontainer in vCenter. De configuratie van Virtual Network Interface Controller (VM) wordt onderhouden vanaf een gecentraliseerde locatie (Nexus 5000 of UCS in VM-FEX; dit document illustreert de op Nexus 5000 gebaseerde VM-FEX).
VM-FEX kan in twee modi werken:
- Doorlopen: Dit is de standaardmodus, waarin de VEM betrokken is bij het datapad voor het VM-verkeer.
- Hoge prestaties: VM-verkeer wordt niet door de VEM verwerkt maar wordt rechtstreeks doorgegeven aan de NIV-adapter (Network IO Virtualization).
Om gebruik te kunnen maken van de hoogwaardige modus, moet dit worden gevraagd door de configuratie van het poortprofiel en moet het worden ondersteund door het VM-besturingssysteem en de virtuele adapter. Meer informatie hierover wordt later in dit document verstrekt.
Definities
- Virtual Ethernet-module (VEM). Cisco-softwaremodule die binnen de ESX-hypersupervisor loopt en VNL-implementatie in één pakket biedt
- Network IO Virtualization (NIV) gebruikt labeling om meerdere Virtual Network Links (VN-Link) over hetzelfde fysieke Ethernet-kanaal te implementeren
- Datacenter Bridging Capability Exchange (DCBX)
- VNIC Interface Control (VIC)
- Virtual NIC (VNIC), die een host-eindpunt aangeeft. Het kan worden geassocieerd met een actieve VIF of een stand-by VIF
- Gedistribueerde virtuele poort (DVPort). VNIC is verbonden met de DVP-poort in de VEM
- NIV Virtual Interface (VIF), die wordt aangegeven op een netwerkeindpunt
- Virtual Ethernet (vEth)-interface vertegenwoordigt VIF in de switch
- Pass-Through Switch (PTS). VEM-module geïnstalleerd in de hypersupervisor
Opmerking: De VEM die gebruikt wordt in VM-FEX is vergelijkbaar met de VEM die gebruikt wordt bij de Nexus 1000v. Het verschil is dat de VEM in VM-FEX in de doorvoermodus werkt en geen lokale overschakeling tussen VM's op dezelfde ESX uitvoert.
Configureren
De topologie is een UCS-C server met P81E VIC dual-homed naar twee Nexus 5548 VPC-switches.
Opmerking: Gebruik de Command Lookup Tool (alleen voor geregistreerde gebruikers) voor meer informatie over de opdrachten die in deze sectie worden gebruikt.
Netwerkdiagram
Deze vereiste onderdelen moeten reeds zijn ingevoerd:
- De VPC is tussen de twee Nexus 5000 switches correct geconfigureerd en geformatteerd.
- VMWare vCenter is geïnstalleerd en is verbonden met een vSphere-client.
- ESXi wordt geïnstalleerd op de UCS-C server en toegevoegd aan vCenter.
De configuratiestappen worden hier samengevat:
- NIV-modus op de serveradapter inschakelen:
- Sluit aan op de Cisco Integrated Management Controller (CIMC) interface via HTTP en log in met de admin-referenties.
- Kies inventaris > Netwerkadapters > Adapter-eigenschappen wijzigen.
- Inschakelen in NIV-modus, het aantal VM FEX-interfaces instellen en de wijzigingen opslaan.
- Schakel uit en schakel de machine uit op de server.
Controleer, nadat de server weer online komt, of NIV is ingeschakeld:
- Maak twee statische etsen op de server.
Om twee VNIC's te maken, kiest u Uitvinding > Netwerkadapters > VNIC's > Add.
Dit zijn de belangrijkste gebieden die moeten worden gedefinieerd:
- TE GEBRUIKEN VIC Uplink-poort (P81E heeft twee uplink-poorten die verwijzen naar 0 en 1).
- Kanaalnummer: Dit is een unieke kanaal-ID van de VNIC op de adapter. Dit wordt vermeld in het bindt bevel onder de vEth interface op Nexus 5000. Het bereik van het kanaalnummer is beperkt tot de VNTag fysieke link. Het kanaal kan worden gezien als een "virtuele link" op de fysieke verbinding tussen de switch en de serveradapter.
- Poortprofiel: De lijst met poortprofielen die op de upstream Nexus 5000 zijn gedefinieerd, kan worden geselecteerd. Er wordt automatisch een vEth-interface gemaakt op de Nexus 5000 als de Nexus 5000 is geconfigureerd met de opdracht vEthernet voor automatisch maken. Merk op dat alleen de vEthernet port-profile namen worden doorgegeven naar de server (port-profile configuratie is niet). Dit gebeurt nadat de VPNag verbindingsconnectiviteit is gevestigd en de eerste handdruk en onderhandelingsstappen worden uitgevoerd tussen de schakelaar en de serveradapter.
- Accessoire uplink inschakelen: De VNICs-failover naar de andere P81E uplink-poort als de geconfigureerde uplink-poort offline gaat.
- Start de server opnieuw op.
- Installeer de VEM op de ESXi-host.
Raadpleeg bij een voorbeeld de installatie van de VEM op de ESXi-host voor installatie of upgrades van de Cisco VEM-softwarebundel op een ESX- of ESXi-host in Cisco UCS Manager VM-FEX voor VMware GUI Configuration Guide, release 2.1.
Opmerking: Alle hierna weergegeven switchconfiguraties moeten worden geconfigureerd op beide Nexus 5500 VPC-peers, behalve de opdracht Software Virtual Switch (SVS) verbinden en de XML-extensiesleutel, die alleen op de VPC-primaire switch moet worden gedaan.
- Schakel de virtualisatiefunctie en VM-FEX en HTTP-functies in:
(config)# install feature-set virtualization
(config)# feature-set virtualization
(config)# feature vmfex
(config)# feature http-server
(Optional) Allow the Nexus 5000 to auto-create its Vethernet interfaces when the
corresponding vNICs are defined on the server:
(config)# vethernet auto-create
- VNTag op host interfaces inschakelen.
Configure the N5k interface that connects to the servers in VNTAG mode:
(config)# interface Eth 1/1
(config-if)# switchport mode vntag
(config-if)# no shutdown
- Neem statische dingen op.
Schakel op beide Nexus 5500-switches de statische virtuele interfaces in die moeten worden aangesloten op de twee statische VNIC's die op de server-VIC zijn ingeschakeld.
Ga in de Nexus 5548-A naar:
interface vethernet 1
bind interface eth 1/1 channel 10
no shutdown
Voer in de Nexus 5548-B het volgende in:
interface vethernet 2
bind interface eth 1/1 channel 11
no shutdown
In plaats hiervan kunnen deze interfaces automatisch met de opdracht voor het automatisch maken van de computer worden gemaakt.
Opmerking: In het geval van topologieën die dual-homed servers in Active/Active FEX-modules omvatten, moeten de server-VNIC's zijn ingeschakeld voor uitbellen en de switch-vEthernet-interfaces hebben twee binaire interfaceopdrachten (eenmaal per elke FEX Host Interface (HIF)-poort waarop de server is aangesloten). De vEthernet interface is actief of standby op elke Nexus 5000-switch.
Hierna volgt een voorbeeld.
Ga op elk van de twee Nexus 5000 s te werk:
interface Vethernet1
description server_uplink1
bind interface Ethernet101/1/1 channel 11
bind interface Ethernet102/1/1 channel 11
interface Vethernet2
description server_uplink2
bind interface Ethernet101/1/1 channel 12
bind interface Ethernet102/1/1 channel 12
- Configureer de SVS-verbinding met vCenter en sluit deze aan.
Op beide Nexus 5500 switches, configureren:
svs connection <name>
protocol vmware-vim
remote ip address <vCenter-IP> vrf <vrf>
dvs-name <custom>
vmware dvs datacenter-name <VC_DC_name>
Sluit alleen op de VPC primaire schakelaar aan op vCenter:
svs connection <name>
connect
Sample configuration on VPC primary:
svs connection MyCon
protocol vmware-vim
remote ip address 10.2.8.131 port 80 vrf management
dvs-name MyVMFEX
vmware dvs datacenter-name MyVC
connect
Hier is een voorbeeldconfiguratie op VPC secondair:
svs connection MyCon
protocol vmware-vim
remote ip address 10.2.8.131 port 80 vrf management
dvs-name MyVMFEX
vmware dvs datacenter-name MyVC
- Maak poortprofielen op de Nexus 5000.
Op beide Nexus 5500-switches moet u poortprofielen configureren voor de VM-FEX VNIC’s. Deze poortprofielen verschijnen als poortgroepen van de DVS-schakelaar in vCenter.
Hierna volgt een voorbeeld:
vlan 10,20
port-profile type vethernet VM1
dvs-name all
switchport mode access
switchport access vlan 10
no shutdown
state enabled
port-profile type vethernet VM2
dvs-name all
switchport mode access
switchport access vlan 20
no shutdown
state enabled
Opmerking: De dvs-name all opdracht definieert waaraan DVS-schakelaar in vCenter dit poortprofiel als poortgroep moet worden geëxporteerd. Gebruik de optie all opdracht om de poortgroep te exporteren naar alle DVS-switches in het Datacenter.
VM hoogwaardige modus
Om de High-Performance Mode (DirectPath IO) te implementeren en de hypersupervisor voor het VM-verkeer te omzeilen, moet u het vEthernet-poortprofiel configureren met de hoogwaardige host-netio-opdracht. In het geval van VPC-topologieën moet het poortprofiel altijd op beide VPC-peer-switches worden bewerkt. Bijvoorbeeld:
port-profile type vethernet VM2
high-performance host-netio
Om de hoogwaardige modus operationeel te maken, moet uw VM beschikken over deze aanvullende voorwaarden:
- De virtuele VM-adapter moet van type vmxnet3 zijn (controle in vCenter: Klik met de rechtermuisknop op VM > Instellingen > Netwerkadapter > adaptertype in het rechtermenu).
- De VM moet een volledige geheugenreservering hebben (in vCenter: Klik met de rechtermuisknop op VM > Instellingen > Bronnen > Geheugen > Schuilboekingsschuif naar rechts).
- Het besturingssysteem dat op de VM draait, dient deze functie te ondersteunen.
Hier vindt u hoe u de hoogwaardige modus (DirectPath IO) controleert wanneer deze wordt gebruikt.
Onder de hardware-instellingen van de VM toont het DirectPath I/O-veld in het rechtermenu als actief wanneer de VM High-Performance Mode wordt gebruikt en als inactief wanneer de standaard VM pass-through-modus in gebruik is.
- Registreer de VPC primaire Nexus 5548 in vCenter:
Opmerking: In VPC topologies, drukt de primaire VPC-schakelaar het paar van de extensiesleutel naar vCenter evenals de poortprofielen. De verlengsnoer wordt gesynchroniseerd door de primaire VPC peer naar het secundaire VPC peer. Dit wordt later geverifieerd met de opdracht show svs-connectie, die dezelfde extensie-toets op beide peers meldt. Als de twee Nexus 5500 geen VPC peers waren, dan zou de extensiesleutel anders zijn voor elke switch en zou elke switch afzonderlijke SVS-verbindingen naar het vCenter moeten opzetten.
Connect via HTTP naar het VPC primaire Nexus 5548 en download het extensie XML-bestand:
Registreer dan de verlengstekker in vCenter: Kies Plug-ins > Plug-ins beheren > Rechtsklik > Nieuwe plug-in.
- Connect met vCenter. (Zie Stap 8.)
- Controleer dat Nexus 5000 vSphere als vDS-bestand registreert:
Controleer de creatie van een nieuwe DVS onder vCenter met de naam zoals gedefinieerd in dvs-name onder svs-verbinding op de Nexus 5000: Kies startpunt > inventaris > netwerken.
Controleer in de primaire switch van Nexus 5000 VPC of de SVS-verbinding met deze opdracht online is:
n5k1# show svs connections
Local Info:
-----------
connection MyCon:
ip address: 10.2.8.131
remote port: 80
vrf: management
protocol: vmware-vim https
certificate: default
datacenter name: MyVC
extension key: Cisco_Nexus_1000V_126705946
dvs name: MyVMFEX
DVS uuid: 89 dd 2c 50 b4 81 57 e4-d1 24 f5 28 df e3 d2 70
config status: Enabled
operational status: Connected
sync status: in progress
version: VMware vCenter Server 5.0.0 build-455964
Peer Info:
----------
connection MyCon:
ip address: 10.2.8.131
remote port: 80
vrf: management
protocol: vmware-vim https
extension key: Cisco_Nexus_1000V_126705946
certificate: default
certificate match: TRUE
datacenter name: MyVC
dvs name: MyVMFEX
DVS uuid: -
config status: Disabled
operational status: Disconnected
n5k1#
- Zorg ervoor dat VM-poortgroepen beschikbaar zijn in vCenter.
De vEthernet poortprofielen die op Nexus 5000 zijn gedefinieerd, moeten in vCenter als poortgroepen onder de DVS in de netwerkweergave verschijnen:
- Migreer ESXi-hosts op de DVS.
Kies vanuit VSphere startpunt > inventaris > netwerken, klik met de rechtermuisknop op de DVS-naam en Add Host om de ESXi-hosts aan de DVS toe te voegen.
De adapter-FEX virtuele interfaces zijn de ESXi hosts uplinks. Kies de standaard uplink poort-group (ongebruikt_of_quarantaine_uplink) voor die uplinks poorten.
- Verricht de VM.
Kies een VM-FEX poortgroep voor de netwerkadapter van een VM (klik met de rechtermuisknop VM > Instellingen bewerken > Netwerkadapter > Netwerklabel in het rechtermenu).
- VNIC's bevoorraad.
- Adapter initieert VIC Interface om te schakelen.
Wanneer een VM-netwerkadapter is toegewezen aan een VM-FEX poortgroep, wordt een vEthernet-interface dynamisch gecreëerd op de Nexus 5000. Het bereik van dynamisch gemaakte vEth interfaces begint bij 32769.
Deze interfaces kunnen via deze opdrachten worden gecontroleerd:
# show interface virtual status
# show interface virtual summary
Probleemoplossing controleren
Gebruik dit gedeelte om te controleren of de configuratie goed werkt en om problemen op te lossen waarmee u wordt geconfronteerd.
- Om te verifiëren dat de twee statische VNIC's van de UCS-C server met de VN-Link naar de statische vaste VLAN-interfaces op de Nexus 5500 worden aangesloten, voer deze opdracht in:
n5k1# show system internal dcbx info interface e1/1
Interface info for if_index: 0x1a001000(Eth1/1)
tx_enabled: TRUE
rx_enabled: TRUE
dcbx_enabled: TRUE
DCX Protocol: CEE
DCX CEE NIV extension: enabled
<output omitted>
- In het geval van actieve/standby topologieën op twee tweevoudige gehomeerde FEXs, zorg ervoor dat de vEth interface als actieve of standby modus op de twee Nexus 5000 VPC-switches toont.
In deze modus wordt het onbekende weergegeven:
n5k1# show int virtual status
Interface VIF-index Bound If Chan Vlan Status Mode Vntag
-------------------------------------------------------------------------
Veth1 VIF-16 Eth101/1/1 11 1 Up Active 2
Veth1 None Eth102/1/1 11 0 Init Unknown 0
Veth2 None Eth101/1/1 12 0 Init Unknown 0
Veth2 None Eth102/1/1 12 0 Init Unknown 0
Veth3 VIF-18 Eth101/1/2 11 1 Up Active 2
Veth3 None Eth102/1/2 11 0 Init Unknown 0
Veth4 None Eth101/1/2 12 0 Init Unknown 0
Veth4 VIF-19 Eth102/1/2 12 1 Up Active 3
Als u een onbekende modus tegenkomt, zorg er dan voor dat u de uitklink-failover-modus op de VNIC inschakelen. Zorg er ook voor dat het kanaalnummer dat u in de CIMC hebt opgegeven, overeenkomt met het kanaalnummer dat in de vEthernet-configuratie is gespecificeerd.
Het juiste resultaat moet er zo uitzien:
n5k1# show int virtual status
Interface VIF-index Bound If Chan Vlan Status Mode Vntag
-------------------------------------------------------------------------
Veth1 VIF-27 Eth101/1/1 11 1 Up Active 2
Veth1 VIF-35 Eth102/1/1 11 1 Up Standby 2
Veth2 VIF-36 Eth101/1/1 12 1 Up Standby 3
Veth2 VIF-33 Eth102/1/1 12 1 Up Active 3
Veth3 VIF-30 Eth101/1/2 11 1 Up Active 2
Veth3 VIF-21 Eth102/1/2 11 1 Up Standby 2
Veth4 VIF-24 Eth101/1/2 12 1 Up Standby 3
Veth4 VIF-31 Eth102/1/2 12 1 Up Active 3
- De interfaces verschijnen niet op de schakelaar.
Controleer in het menu CIMC-server van UCS-C of:
- NIV is ingeschakeld op de adapter.
- Een niet-nul aantal VM-FEX interfaces wordt ingesteld op de adapter.
- Adapter-failover is ingeschakeld op de VNIC.
- De UCS-C server werd opnieuw opgestart nadat de bovenstaande configuratie was uitgevoerd.
- De achtste interfaces zijn niet online.
Controleer of VIF_CREATE in deze opdracht verschijnt:
# show system internal vim info logs interface veth 1
03/28/2014 16:31:47.770137: RCVD VIF CREATE request on If Eth1/32 <<<<<<<
03/28/2014 16:31:53.405004: On Eth1/32 - VIC CREATE sending rsp for msg_id 23889
to completion code SUCCESS
03/28/2014 16:32:35.739252: On Eth1/32 - RCVD VIF ENABLE. VIF-index 698 msg id 23953
VIF_ID: 0, state_valid: n, active
03/28/2014 16:32:35.802019: On Eth1/32 - VIC ENABLE sending rsp for msg_id 23953 to
completion code SUCCESS
03/28/2014 16:32:36.375495: On Eth1/32 - Sent VIC SET, INDEX: 698, msg_id 23051, up,
enabled, active, cos 0VIF_ID: 50 vlan:
1 rate 0xf4240, burst_size 0xf
03/28/2014 16:32:36.379441: On Eth1/32 - RCVD VIC SET resp, INDEX: 698, msg_id 23051,
up, enabled,active, cos 0, completion
code: 100
Als VIF_CREATE niet verschijnt of de switch niet goed reageert, dan dient u deze stappen te voltooien:
- Controleer in vCenter of de DVS-schakelaar correct is geconfigureerd met twee fysieke uplinks voor de ESX-host (klik met de rechtermuisknop DVS-schakelaar > Host beheren > Fysieke adapters selecteren).
- Controleer in vCenter of VMNIC het juiste netwerklabel/poortprofiel heeft geselecteerd (klik met de rechtermuisknop VM > Instellingen bewerken > Klik op Netwerkadapter > Netwerklabel controleren).
- SVS-verbinding met vCenter is niet online.
Zoals in Stap 12 in de vorige sectie wordt aangegeven, gebruikt u dit proces om te controleren of de Nexus 5000 is aangesloten op vCenter:
- Controleer op vCenter of de DVS verschijnt onder de netwerkweergave.
- Controleer bij de primaire VPC van Nexus 5000 of de SVS is aangesloten (gebruik de opdracht van de SVS-verbinding).
Controleer, indien de verbinding niet tot stand is gebracht, of:
- De SVS-configuratie is identiek op beide VPC-peers.
- VPC wordt geïnitialiseerd en de rollen worden correct vastgesteld.
- Het VPC primaire schakelaar XML certificaat wordt geïnstalleerd in vCenter.
- De primaire schakelaar van VPC heeft "verbinding" ingesteld onder de configuratie van "Svs-verbinding".
- De naam Datacenter komt overeen met de naam die op vCenter is gebruikt.
- De juiste Virtual Routing and Forwarding (VRF) wordt ingesteld in de afstandsbediening SVS en dat de switch IP-connectiviteit op het vCenter IP-adres heeft.
Als aan al deze voorwaarden is voldaan maar de SVS-verbinding nog niet succesvol is, verzamel deze uitvoer en neem contact op met Cisco Technical Assistance Center (TAC):
show msp port-profile vc sync-status
show msp internal errors
show msp internal event-history msgs
show vms internal errors
show vms internal event-history msgs
- De Nexus 5500 switch is niet bereikbaar via HTTP.
Controleer dat de http-server optie is ingeschakeld:
n5k1# show feature | i http
http-server 1 disabled
n5k1# conf t
Enter configuration commands, one per line. End with CNTL/Z.
n5k1(config)# feature http-server
n5k1(config)#