El conjunto de documentos para este producto aspira al uso de un lenguaje no discriminatorio. A los fines de esta documentación, "no discriminatorio" se refiere al lenguaje que no implica discriminación por motivos de edad, discapacidad, género, identidad de raza, identidad étnica, orientación sexual, nivel socioeconómico e interseccionalidad. Puede haber excepciones en la documentación debido al lenguaje que se encuentra ya en las interfaces de usuario del software del producto, el lenguaje utilizado en función de la documentación de la RFP o el lenguaje utilizado por un producto de terceros al que se hace referencia. Obtenga más información sobre cómo Cisco utiliza el lenguaje inclusivo.
Cisco ha traducido este documento combinando la traducción automática y los recursos humanos a fin de ofrecer a nuestros usuarios en todo el mundo contenido en su propio idioma. Tenga en cuenta que incluso la mejor traducción automática podría no ser tan precisa como la proporcionada por un traductor profesional. Cisco Systems, Inc. no asume ninguna responsabilidad por la precisión de estas traducciones y recomienda remitirse siempre al documento original escrito en inglés (insertar vínculo URL).
Este documento describe cómo las interfaces de administración de Fabric Interconnect (Mgmt) de UCS han experimentado problemas de conectividad intermitentes con comunicaciones hacia y desde un rango de IP específico.
Cisco recomienda que tenga conocimiento sobre estos temas:
La información que contiene este documento se basa en las siguientes versiones de software y hardware.
The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.
Las interfaces de administración de Fabric Interconnect de UCS presentan una pérdida intermitente de conectividad, pero sólo cuando la comunicación se produce a través de un rango de IP específico. El rango de IP 10 de VLAN 10.128.10.0/24 se utiliza para las interfaces de gestión de Fabric Interconnect (FI) e IP virtual (VIP). Cuando la comunicación es hacia o desde el rango de IP de VLAN 1 de 10.128.1.0/24 la conectividad hacia y desde las FI se interrumpe. Por lo tanto, cualquier dispositivo en el rango de IP de VLAN 1 no puede conectarse a UCSM y sólo puede hacer ping a una IP FI. Al menos una IP FI (de tres, FI-A, FI-B, VIP) siempre puede comunicarse.
FI-A: 10.128.10.84 FI-B: 10.128.10.85 VIP: 10.128.10.86 GW: 10.128.10.1
Subnet 10.128.1.0/24 GW: 10.128.1.1
Desde el contexto de gestión local de ambos Fabric Interconnects, puede alcanzar su gateway predeterminado (df) (gw), 10.128.10.1. pero no se puede acceder a ninguna dirección IP en el rango de IP VLAN 1 de 10.128.1.0/24 al contexto de administración local de Fabric Interconnects o desde él.
En un principio, parece que se trata de un problema de routing en el gateway, y no de un problema de UCS, ya que se trata simplemente de una interfaz de gestión en Fabric Interconnects y si puede alcanzar el gateway y cualquier otro rango de IP. Esto se presenta como un problema de ruta de Capa 3 en la red ascendente.
Cuando el traceroute se ejecuta desde Fabric Interconnect a un rango de IP aleatorio (y cualquier otro rango de IP que no esté dentro del rango de VLAN 1) (por ejemplo, una IP de VLAN 20: 10.128.20.1), el primer salto en el traceroute es el gateway de VLAN 10 de 10.128.10.1 y el ping es exitoso.
Cuando el traceroute se ejecuta en el intervalo IP conocido y problemático 10.128.1.x/24, el traceroute falla.
Para investigar más a fondo, ejecutó un etanalyzer para ver qué sucede y cuándo se hace ping al rango de IP de VLAN 1, ARP actúa como curioso:
EWQLOVIUCS02-A(nxos)# ethanalyzer local interface mgmt display-filter arp limit-captured-frames 0 Capturing on eth0 2019-12-17 11:45:50.807837 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:51.807835 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:52.807827 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142 2019-12-17 11:45:55.807829 00:de:fb:a9:37:e1 -> ff:ff:ff:ff:ff:ff ARP Who has 10.128.1.77? Tell 10.128.0.142
El comportamiento esperado era preguntar quién tiene esta IP de VLAN 1, pero luego informar a la gateway de VLAN 10 de administración.
Sin embargo, cuando se hace ping al rango de IP de VLAN 1, ARP pregunta quién tiene esa IP y, para indicar 10.128.0.142, siga estos pasos:
Este es un problema por el cual el FI diría 10.128.0.142, durante la investigación del dominio UCS se encontró que esta dirección IP se aplicó al CIMC del servidor 1/5:
EWQLOVIUCS02-B(local-mgmt)# show mgmt-ip-debug ip-tables <SNIPPED> Chain PREROUTING (policy ACCEPT 5303K packets, 360M bytes) pkts bytes target prot opt in out source destination 188 9776 cimcnat tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:443 0 0 cimcnat tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.10.85 to:127.6.1.1 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.85 tcp dpt:2068 to:127.6.1.1:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.85 udp dpt:623 to:127.6.1.1:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.85 tcp dpt:22 to:127.6.1.1:22 449 26940 DNAT icmp -- * * 0.0.0.0/0 10.128.10.108 to:127.6.1.2 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.108 tcp dpt:2068 to:127.6.1.2:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.108 udp dpt:623 to:127.6.1.2:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.108 tcp dpt:22 to:127.6.1.2:22 931 55860 DNAT icmp -- * * 0.0.0.0/0 10.128.10.107 to:127.6.1.3 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.107 tcp dpt:2068 to:127.6.1.3:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.107 udp dpt:623 to:127.6.1.3:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.107 tcp dpt:22 to:127.6.1.3:22 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.10.104 to:127.6.1.3 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.104 tcp dpt:2068 to:127.6.1.3:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.104 udp dpt:623 to:127.6.1.3:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.104 tcp dpt:22 to:127.6.1.3:22 920 55200 DNAT icmp -- * * 0.0.0.0/0 10.128.10.106 to:127.6.1.4 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.106 tcp dpt:2068 to:127.6.1.4:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.106 udp dpt:623 to:127.6.1.4:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.106 tcp dpt:22 to:127.6.1.4:22 912 54720 DNAT icmp -- * * 0.0.0.0/0 10.128.10.105 to:127.6.1.6 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.105 tcp dpt:2068 to:127.6.1.6:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.105 udp dpt:623 to:127.6.1.6:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.105 tcp dpt:22 to:127.6.1.6:22 0 0 DNAT icmp -- * * 0.0.0.0/0 10.128.0.142 to:127.6.1.5 <<---- Indicates that 10.128.0.142 is the OOB KVM IP address for server 1/5. 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.0.142 tcp dpt:2068 to:127.6.1.5:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.0.142 udp dpt:623 to:127.6.1.5:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.0.142 tcp dpt:22 to:127.6.1.5:22 910 54600 DNAT icmp -- * * 0.0.0.0/0 10.128.10.102 to:127.6.1.7 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.102 tcp dpt:2068 to:127.6.1.7:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.102 udp dpt:623 to:127.6.1.7:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.102 tcp dpt:22 to:127.6.1.7:22 908 54480 DNAT icmp -- * * 0.0.0.0/0 10.128.10.101 to:127.6.1.8 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.101 tcp dpt:2068 to:127.6.1.8:2068 0 0 DNAT udp -- * * 0.0.0.0/0 10.128.10.101 udp dpt:623 to:127.6.1.8:623 0 0 DNAT tcp -- * * 0.0.0.0/0 10.128.10.101 tcp dpt:22 to:127.6.1.8:22 <SNIPPED>
El problema fue una dirección IP CIMC estática mal escrita para el servidor 1/5.
Además, se colocó en una subred 255.255.248.0
Esto creó una entrada no deseada en la tabla de rutas de Fabric Interconnect. Uno que alcanzaría la condición antes de alcanzar la ruta predeterminada para todas las IP en el rango de 10.128.0.1 - 10.128.7.254
Linux(debug)# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 10.128.10.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0 127.15.1.0 0.0.0.0 255.255.255.0 U 0 0 0 vlan4042 127.7.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4043 127.5.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4044 127.14.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4046 127.12.0.0 0.0.0.0 255.255.0.0 U 0 0 0 bond0 127.9.0.0 0.0.0.0 255.255.0.0 U 0 0 0 vlan4047 10.0.0.0 0.0.0.0 255.0.0.0 U 0 0 0 eth0 <<---- Undesired route entry 10.0.0.0 0.0.0.0 255.0.0.0 U 0 0 0 eth0 <<---- Undesired route entry 0.0.0.0 10.128.10.1 0.0.0.0 UG 0 0 0 eth0
La solución para este caso es examinar UCSM desde un rango de IP no afectado y corregir la dirección estática CIMC Out of Band (OOB) del servidor 1/5. Se extrae del conjunto de gestión OOB y ya está configurado. Se debe utilizar como cualquier otro servidor del entorno.
Si se reinicia Fabric Interconnect, a veces funciona. El problema es con la instancia de administración de ese servidor. La entrada de la tabla de ruta no deseada sólo se crea en Fabric Interconnect. Cuando la instancia de administración era la misma Fabric Interconnect que la Fabric Interconnect principal, no pueden alcanzar el VIP ni ese Fabric Interconnect.
La asignación de IP de administración CIMC siempre debe estar dentro del mismo rango de IP que el rango de IP OOB de Fabric Interconnect.