Introduzione
In questo documento viene descritto come risolvere i problemi di connettività di rete di base nelle macchine virtuali.
Prerequisiti
Requisiti
Cisco raccomanda la conoscenza dei seguenti argomenti:
- Dominio UCSM (Unified Computing System Manager Domain)
- Interfaccia della riga di comando (CLI) di Cisco Unified Computing System Manager (UCSM)
- Cisco UCS serie B e C server
- Nozioni di base sulla rete
- Eseguibile
Componenti usati
Le informazioni fornite in questo documento si basano sulle seguenti versioni software:
- Cisco UCS Manager versione 2.x e successive
- Cisco UCS serie 6200, 6300, 6400 e 6500 Fabric Interconnect
- Cisco UCS serie 2200, 2300 e 2400 Fabric extender I/O Module
Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.
Premesse
Uno scenario comune per gli amministratori dell'infrastruttura che implementano modifiche alla rete o alla configurazione consiste nel perdere la connettività di rete nelle macchine virtuali. Questo documento ha lo scopo di fornire linee guida sul processo di risoluzione dei problemi per identificare i problemi più comuni.
Comprensione del problema
Il problema più comune è quello di perdere il ping tra le macchine virtuali. Per avere un quadro completo, possiamo iniziare a chiedere:
- Le due macchine virtuali sono ospitate in server UCS?
- Entrambe le macchine virtuali si trovano nello stesso dominio UCSM?
- Le macchine virtuali stanno tentando di comunicare sulla stessa VLAN?
- Che tipo di configurazione di rete stiamo utilizzando sul lato dell'hypervisor? (switch distribuito ESXi, raggruppamento NIC e così via).
- Qual è il modello degli switch a monte?
Scenario di test
Sono stati eseguiti il provisioning di due nuove macchine virtuali configurate per l'utilizzo della VLAN 70. Tuttavia, non è possibile eseguire il ping tra loro o sul gateway predefinito.
Macchine virtuali
- IMM-Transition-4.0.1
- Alma Linux 9
Hypervisor
- VMware ESXi, 7.0.3, 20842708
Raccolta di informazioni
Indirizzi MAC e IP di entrambe le macchine virtuali:
- IMM-Transition-4.0.1
- MAC: 00:50:56:ba:28:53
- IP: 192 168 70 23
- IP host: 10.31.123.38
- Alma Linux 9
- MAC: 00:50:56:ba:46:96
- IP: 192 168 70 24
- IP host: 10.31.123.40
Analisi degli indirizzi MAC negli FI
FI-A # connect nxos
FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.4696 dynamic 30 F F Veth725 ------------------------------------------->>> VM Alma Linux 9 is learned on FI-A veth725 and VLAN 70 as expected
FI-B # connect nxos
FI-B(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 10 F F Veth688 ---------------------------------------->>> VM IMM-Transition-4.0.1 is learned on FI-B veth688 and VLAN 70 as expected
Determinazione del server che ospita la macchina virtuale
FI-A(nxos)# show running-config interface vethernet725
!Command: show running-config interface Vethernet725
!Time: Thu Feb 1 11:59:39 2024
version 5.0(3)N2(4.13k)
interface Vethernet725
description server 1/3, VNIC vnic_a1 ---------------------------------------->>> VM Alma Linux 9 is hosted on Server 1/3 and the vnic name is vnic_a1
switchport mode trunk
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
switchport trunk allowed vlan 69-70,72,470
bind interface port-channel1287 channel 725
service-policy type queuing input org-root/ep-qos-BestEffort
no shutdown
FI-B(nxos)# show running-config interface vethernet 688
!Command: show running-config interface Vethernet688
!Time: Thu Feb 1 12:06:44 2024
version 5.0(3)N2(4.13k)
interface Vethernet688
description server 1/5, VNIC vnic_b1 ---------------------------------------->>> VM IMM-Transition-4.0.1 is hosted on Server 1/5 and the vnic name is vnic_b1
switchport mode trunk
switchport trunk allowed vlan 69-70,72,470
no lldp transmit
no lldp receive
no pinning server sticky
pinning server pinning-failure link-down
no cdp enable
service-policy type queuing input org-root/ep-qos-BestEffort
bind interface port-channel1282 channel 688
no shutdown
Raccolta di informazioni sugli switch a monte
FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute
Device-ID Local Intrfce Hldtme Capability Platform Port ID
MGMT-SWITCH
mgmt0 140 R S I WS-C3650-12X4 Gig1/0/35
Nexus-1
Eth1/1 158 R S I s N5K-C5672UP-1 Eth1/3
Nexus-2
Eth1/2 133 R S I s N5K-C5672UP-1 Eth1/3
FI-A(nxos)# show cdp neighbors
Capability Codes: R - Router, T - Trans-Bridge, B - Source-Route-Bridge
S - Switch, H - Host, I - IGMP, r - Repeater,
V - VoIP-Phone, D - Remotely-Managed-Device,
s - Supports-STP-Dispute
Device-ID Local Intrfce Hldtme Capability Platform Port ID
MGMT-SWITCH
mgmt0 139 R S I WS-C3650-12X4 Gig1/0/36
Nexus-1
Eth1/1 167 R S I s N5K-C5672UP-1 Eth1/4
Nexus-2
Eth1/2 132 R S I s N5K-C5672UP-1 Eth1/4
Riepilogo
- Gli indirizzi MAC delle macchine virtuali vengono appresi rispettivamente su FI-A e FI-B e sulla VLAN 70.
- Le macchine virtuali sono ospitate in server UCS diversi ma nello stesso dominio UCSM.
- Gli switch upstream sono N5K-C5672UP-1 e si connettono alle interfacce ethernet1-2 in entrambe le interconnessioni fabric.
Definizione del flusso del traffico
- Se l'origine e la destinazione si trovano sulla stessa subnet o VLAN, il traffico viene inoltrato sullo stesso dominio di broadcast.
- Se l'origine e la destinazione si trovano su una subnet o su una vlan diversa, il traffico viene inoltrato a un altro dominio di broadcast.
- Se l'origine e la destinazione vengono apprese nella stessa interconnessione Fabric, il traffico viene commutato localmente dall'interconnessione Fabric.
- Se l'origine e la destinazione vengono apprese in un'interconnessione fabric diversa, il traffico viene inoltrato a monte.
Per questo particolare scenario:
- L'origine e la destinazione si trovano sullo stesso dominio di broadcast, ma vengono apprese su interconnessioni fabric diverse, in modo che il traffico venga inviato alla rete upstream.
Test solo della rete UCS
Per verificare la commutazione locale dell'interconnessione fabric, pertanto, senza coinvolgere la rete upstream nel flusso del traffico, è possibile forzare un failover per entrambe le macchine virtuali da apprendere nella stessa interconnessione fabric. In questo esempio, VM IMM-Transition-4.0.1 verrà spostato in FI-A.
- Dalla precedente risoluzione dei problemi:
- VM Alma Linux 9 è ospitato sul server 1/3, appreso su FI-A e utilizzando veth725, che è vnic_a1.
- VM IMM-Transition-4.0.1 è ospitato sul server 1/5, appreso su FI-B e utilizzando veth688, che è vnic_b1.
- Su UCSM:
- Il server 1/5 dispone di 2 vNIC su FI-A e 2 su FI-B
- Per forzare l'aggiunta a FI-A, disabilitare le vNIC sul lato B, a partire dalla vNIC utilizzata dalla VM, per questo scenario vnic_b0 e vnic_b1 sono state disabilitate.
- Con tutte le vNIC disattivate su FI-B, VM IMM-Transition-4.0.1 viene ora appreso su FI-A, insieme a VM Alma Linux 9.
FI-A(nxos)# show mac address-table vlan 70
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 70 0050.56ba.2853 dynamic 0 F F Veth686 ------------------------------------->>> VM Alma Linux 9
* 70 0050.56ba.4696 dynamic 10 F F Veth725 ------------------------------------>>> VM IMM-Transition-4.0.1
- Con tutto il resto sul lato UCS configurato come previsto, il ping funziona ora mentre il traffico viene commutato localmente da FI-A. L'indagine deve quindi proseguire sulla rete a monte.
Indirizzi MAC non appresi sulle interconnessioni fabric
- Verificare che la VLAN sia configurata correttamente sulle vNIC.
- Verificare che la VLAN sia configurata correttamente sugli uplink.
FI-A(nxos)# show running-config interface port-channel 1
!Command: show running-config interface port-channel1
!Time: Fri Feb 2 13:05:59 2024
version 5.0(3)N2(4.13k)
interface port-channel1
description U: Uplink
switchport mode trunk
pinning border
switchport trunk allowed vlan 1,69-70,72,470
speed 1000
- Verificare la corretta configurazione della VLAN su ESXi.
- Convalidare la vmnic utilizzata dalla macchina virtuale sull'host ESXi. Utilizzare l'opzione
esxtop
withn
per ottenere l'associazione.
- Le macchine virtuali utilizzano vmnic1 e vmnic2 sull'host 1/3.
- Mappatura degli indirizzi MAC dalle vlan ESXi alle vNIC UCS
[root@esx38:~] esxcfg-nics -l
Name PCI Driver Link Speed Duplex MAC Address MTU Description
vmnic0 0000:06:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic1 0000:07:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:a1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic2 0000:08:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b0 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
vmnic3 0000:09:00.0 nenic Up 20000Mbps Full 00:25:b5:04:38:b1 9000 Cisco Systems Inc Cisco VIC Ethernet NIC
- Il sistema operativo sta inoltrando il frame? Confermare con l'acquisizione di un pacchetto.
- Scheda VIC
- IOM (HIF e NIF)
Informazioni correlate