Configurer ELAM sur UCS

Introduction

Ce document décrit l'utilisation de l'outil ELAM (Embedded Logic Analyzer Module) au sein de l'interconnexion de fabric de 4e génération UCS (Unified Computing System) 6454 et explique comment l'utiliser au mieux.

Conditions préalables

Il n'y a aucune condition requise pour ce document.

Conditions requises

Cisco vous recommande de prendre connaissance des rubriques suivantes :

• Interconnexion de fabric UCS 6454

Components Used

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Informations générales

UCS 4th Gen FI peut exécuter des captures ELAM. Une capture ELAM est intégrée à l'ASIC.

L'outil ELAM permet d'afficher en temps réel les paquets transférés au niveau ASIC. Vous pouvez afficher les détails d’un paquet, par exemple : 

• Interface d'entrée et de sortie
• Taille maximale de l'unité de transmission (MTU)
• Étiquette VLAN
• Adresse MAC et IP du périphérique source et de destination
• La suppression de paquets et la cause
• Marquage de qualité de service (QoS)

ELAM fournit des détails sur le transfert de paquets. Il n'entraîne aucune perturbation du plan de données.

Configuration

Connectez-vous à UCS via l'interface de ligne de commande (CLI).

Exécutez ces commandes :

#connect nxos a|b

#attach module 1

#debug platform internal tah elam asic 0

#trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

#set outer ...

#start

#report

Note: La 4e génération FI est une unité de rack unique avec un seul module (module 1) avec un ASIC (base 0) et une tranche (tranche 0). Reportez-vous au résultat ci-dessous.

RCH-SV-FFAIII-A(nx-os)# show hardware internal tah interface ethernet 1/30
#########################################
IfIndex: 436222464
DstIndex: 6028
IfType: 26
Interface name Ethernet1/30
Asic: 0
Asic: 0     <<<<<
AsicPort: 49
SrcId: 98
Slice: 0    <<<<<
PortOnSlice: 49
Table entries for interface Ethernet1/30

Pour les ELAM où le déclencheur est basé sur les attributs de paquet « lu-a2d 1 » est utilisé. Les valeurs 6 et 1 seront utilisées respectivement pour « en sélection » et « hors sélection » pour les intérêts sortants

La commande « set outer » est notre filtre, c'est là que nous définissons et disons au FI quel paquet nous voulons capturer, il y a un tas d'options et nous pouvons être aussi granulaires que nécessaire :

module-1(TAH-elam-insel6)# set outer ?
  arp   ARP Fields
  fcoe  FCoE Fields
  ipv4  IPv4 Fields
  ipv6  IPv6 Fields
  l2    All Layer 2 Fields
  l4    L4 Fields

module-1(TAH-elam-insel6)# set outer l2 ?
  cfi            CFI Setting
  cntag_vld      CNTag Information Valid
  cos            Class of Service
  dst_mac        Destination MAC Address
  qtag_vld       VLAN Tag Information Valid
  snap_vld       SNAP Header Information Valid
  src_mac        Source MAC Address
  vlan           VLAN Id (Present only in case of FEX)
  vntag_dvif     VNTAG Destination vif
  vntag_looped   VNTAG Header Looped Valid
  vntag_pointer  VNTAG Header Pointer Valid
  vntag_svif     VNTAG Source vif
  vntag_vld      VNTAG Information Valid

module-1(TAH-elam-insel6)# set outer ipv4 ?
  checksum       Checksum
  dscp           Diff. Serv. Code Point
  dst_ip         Destination IP Address
  ecn            Explicit Congestion Ntfn
  fragment-off   Fragments Offset
  header-len     Header Length
  more-frags     More Fragments Available
  next-protocol  Next Protocol
  packet-len     Packet Total Length
  pyld-len       Payload Length
  src_ip         Source IP Address
  ttl            Time to Live
  version        Version

Une fois les filtres définis, exécutez la commande start pour exécuter l'outil ELAM. Si rien qui remplit la condition de filtre n'a été capturé, ceci est visible :

module-1(TAH-elam-insel6)# report

ELAM not triggered yet on slot - 1, asic - 0, slice - 0

Note: La commande « set » survivra à travers les ELAM, une bonne pratique est d'exécuter une commande « reset » chaque fois que nous avons l'intention de capturer le trafic avec différents IP, MAC, etc.

Exemple

1. Envoyez une requête ping à partir de la machine virtuelle 172.16.35.31 vers la passerelle 172.16.35.126 :

RCH-SV-FFAIII-A(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.31 dst_ip 172.16.35.126
module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:54:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:149:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000005608118F800000
000000000000000000560811BF00000000000000000000001000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000007FFFFFFF800000
0000000000000000007FFFFFFF80000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report

HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35

Packet Type: IPv4

Dst MAC address: 8C:60:4F:CD:FD:7C
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Dst IPv4 address: 172.16.35.126
Src IPv4 address: 172.16.35.31
Ver     =  4, DSCP    =    0, Don't Fragment = 0
Proto   =  1, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len =   84, Checksum       = 0x5f19

L4 Protocol  : 1
ICMP type    : 8
ICMP code    : 0

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

Vérification

Le paquet avec src_ip 172.16.35.31 et dst_ip 172.16.35.126 se trouve sur le VLAN 35 et est arrivé sur le port 1/33 (interface entrante) et était destiné (interface sortante) à l'interface « dpid4 » ...quoi ? « dpid » est l'identificateur interne du port ASIC et le mappage peut être trouvé avec « show interface hardware-mappings » :

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35

interface Ethernet1/33
  description S: Server, Port-channel 1025
  no pinning server sticky
  switchport mode fex-fabric
  priority-flow-control mode on
  fex associate 1
  channel-group 1025
  no shutdown

Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35


RCH-SV-FFAIII-A(nx-os)# show interface hardware-mappings
Legends:
       SMod  - Source Mod. 0 is N/A
       Unit  - Unit on which port resides. N/A for port channels
       HPort - Hardware Port Number or Hardware Trunk Id:
       HName - Hardware port name. None means N/A
       FPort - Fabric facing port number. 255 means N/A
       NPort - Front panel port number
       VPort - Virtual Port Number. -1 means N/A
       Slice - Slice Number. N/A for BCM systems
       SPort - Port Number wrt Slice. N/A for BCM systems
       SrcId - Source Id Number. N/A for BCM systems

------------------------------------------------------------------------
Name       Ifindex  Smod Unit HPort FPort NPort VPort Slice SPort SrcId
------------------------------------------------------------------------
.
Eth1/13    1a001800 1    0    4     255   48    -1    0     4     8

Ce « dpid 4 » correspond également à ce que le « show hardware internal tah interface ethernet 1/13 » suggère :

RCH-SV-FFAIII-A(nx-os)# show hardware internal tah interface ethernet 1/13
#########################################
IfIndex: 436213760
DstIndex: 6096
IfType: 26
Interface name Ethernet1/13
Asic: 0
Asic: 0
AsicPort: 4     <<<<<
SrcId: 8
Slice: 0
PortOnSlice: 4  <<<<<

Le paquet a été identifié comme protocole ICMP (Internet Control Message Protocol) par le protocole de couche 4 (L4) ELAM. Reportez-vous à la liste des numéros de protocole IANA. Vous pouvez également filtrer avec une taille de MTU spécifique.  ELAM se déclenche uniquement lorsque la MTU exacte est atteinte.

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.31 dst_ip 172.16.35.126 packet-len 1500

Dst IPv4 address: 172.16.35.126
Src IPv4 address: 172.16.35.31
Ver     =  4, DSCP    =    0, Don't Fragment = 1
Proto   =  1, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len = 1500, Checksum       = 0x1758

L4 Protocol  : 1
ICMP type    : 8
ICMP code    : 0

Requête ARP de la machine virtuelle (VM) vers le réseau en amont, avec les adresses MAC définies comme filtre :

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer l2 src_mac 00:25:c5:00:00:1e dst_mac ff:ff:ff:ff:ff:ff
module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:36:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:95:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000015820463E004B8A00003C0000000000000000000002000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
0000001FFFFFFFFFFFFFFFFFFFE0000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report
HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/33
Src Idx : 0x1002, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 4
Dst Idx : 0x604, Dst BD : 35

Packet Type: ARP

Dst MAC address: FF:FF:FF:FF:FF:FF
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Target Hardware address: 00:00:00:00:00:00
Sender Hardware address: 00:25:C5:00:00:1E
Target Protocol address: 172.16.35.110
Sender Protocol address: 172.16.35.31
ARP opcode: 1

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

Le paquet est identifié par le système comme ARP, ce qui est particulièrement utile lorsqu'il y a une entrée ARP incomplète au niveau de la machine virtuelle ou de la passerelle.

Le cas échéant, les ports TCP/UDP sont également répertoriés, et SSH est testé ici :

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer ipv4 src_ip 172.16.35.126 dst_ip 172.16.35.31

module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:36:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:95:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x000000000000000000000000000000000000000000000000000000000000000000000000000000000000000560811BF0000
000000000000000000005608118F80000000000000000000001000000000000000000000000000000000000000000000000000000000001
GBL_C++:  [MSG]   - writing mask=0x0000000000000000000000000000000000000000000000000000000000000000000000000000000000000007FFFFFFF8000
000000000000000000007FFFFFFF80000000000000000000003800000000000000000000000000000000000000000000000000000000001

module-1(TAH-elam-insel6)# report

HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/14
Src Idx : 0x604, Src BD : 35
Outgoing Interface Info: dmod 1, dpid 44
Dst Idx : 0x1002, Dst BD : 35

Packet Type: IPv4

Dst MAC address: 00:25:C5:00:00:1E
Src MAC address: 8C:60:4F:CD:FD:7C
.1q Tag0 VLAN: 35,  cos = 0x0

Dst IPv4 address: 172.16.35.31
Src IPv4 address: 172.16.35.126
Ver     =  4, DSCP    =    0, Don't Fragment = 0
Proto   =  6, TTL     =   64, More Fragments = 0
Hdr len = 20, Pkt len =   60, Checksum       = 0x27f5

L4 Protocol  : 6
TCP Dst Port : 22
TCP Src Port : 15067

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
Final Drops:

Dépannage

Les chutes sont également enregistrées. L’IF abandonne une requête ARP :

RCH-SV-FFAIII-B(nx-os)# attach module 1
module-1# debug platform internal tah elam asic 0
module-1(TAH-elam)# trigger init asic 0 slice 0 lu-a2d 1 in-select 6 out-select 1

param values: start asic 0, start slice 0, lu-a2d 1, in-select 6, out-select 1

module-1(TAH-elam-insel6)# set outer l2 src_mac 00:25:c5:00:00:1e dst_mac ff:ff:ff:ff:ff:ff

module-1(TAH-elam-insel6)# start
GBL_C++:  [MSG] rocky_elam_wrapper_init:54:asic type 8 inst 0 slice 0 a_to_d 1 insel 6 outsel 1
GBL_C++:  [MSG] rocky_elam_wrapper_enable:149:asic type 8 inst 0 slice 0 a_to_d 1
GBL_C++:  [MSG]   - writing data=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
0000000000000000000000000000000000000000000000000000000000000000000000000000000000971400007BFFFFFFFFFFFC00001
GBL_C++:  [MSG]   - writing mask=0x00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000003FFFFFFFFFFFFFFFFFFFFFFFC00001

module-1(TAH-elam-insel6)# report
HOMEWOOD ELAM REPORT SUMMARY
slot - 1, asic - 0, slice - 0
============================

Incoming Interface: Eth1/18
Src Idx : 0x603, Src BD : 35
Outgoing Interface Info: dmod 0, dpid 0
Dst Idx : 0x0, Dst BD : 35

Packet Type: ARP

Dst MAC address: FF:FF:FF:FF:FF:FF
Src MAC address: 00:25:C5:00:00:1E
.1q Tag0 VLAN: 35,  cos = 0x1

Target Hardware address: 00:00:00:00:00:00
Sender Hardware address: 00:25:C5:00:00:1E
Target Protocol address: 172.16.35.99
Sender Protocol address: 172.16.35.31
ARP opcode: 1

Drop Info:
----------

LUA:
LUB:
LUC:
LUD:
  MC_RPF_FAIILURE
  SRC_VLAN_MBR
Final Drops:
  MC_RPF_FAIILURE
  SRC_VLAN_MBR

L'FI reçoit une requête ARP sur le port 1/18 (il s'agit d'un port de liaison ascendante) avec une adresse MAC source de 00:25:c5:00:00:1e qui est apprise localement sur un port Ethernet virtuel (vEth). Cette condition déclenche une perte RPF (Reverse Path Forward). Notez que les informations d'interface sortante rapportent dpid 0, ce qui est une goutte.

Le VLAN 35 n'est pas autorisé sur le port 1/18 et cela a également déclenché la suppression de SRC_VLAN_MBR.

RCH-SV-FFAIII-A(nx-os)# show run interface ethernet 1/18

interface Ethernet1/18
  description U: Uplink
  pinning border
  switchport mode trunk
  switchport trunk allowed vlan 1
  channel-group 105 mode active