Inhoud

Inleiding

Achtergrondinformatie

Fabricdetectieworkflow

Controle01 — Systeemstatus

Check02 — DHCP-status

Check03 — AV-gegevens

Check04 — IP-bereikbaarheid naar APIC

Check05 — Info VLAN

Check06 — LLDP-nabijheid

Check07 — Switch versie

Controle 08 — FPGA/EPLD/BIOS niet synchroon

Check09 — SSL-controle

Check10 — Downloadbeleid

Controle 11 — Tijd

Controle 12 — Module, PSU, ventilatorcontrole

Voorbeeld verbroken scenario's

Scenario 1 - Eerste blad verschijnt niet in Fabric Membership

Scenario 2 - Andere APIC's sluiten zich niet aan bij het cluster

Scenario 3 - Spine verschijnt niet in Fabric-lidmaatschap

Scenario 4 - Na de eerste detectie van de stof valt het cluster tussen volledig fit en gedegradeerd

Inleiding

In dit document worden de stappen beschreven voor het begrijpen en oplossen van het oorspronkelijke proces voor het detecteren van de stof, inclusief voorbeeldscenario's voor problemen.

Achtergrondinformatie

Het materiaal van dit document is Problemen oplossen met Cisco Application Centric Infrastructure, tweede editie het boek, met name het Fabricdetectie - eerste configuratie van de stof hoofdstuk.

Fabricdetectieworkflow

Het ACI-proces voor het detecteren van de stof volgt een specifieke reeks gebeurtenissen. De basisstappen zijn als volgt:

1. Maak verbinding met de KVM-console van de eerste APIC en vervolledig het setup-script door waarden in te voeren zoals fabric name, APIC-clustergrootte en Tunnel-endpoint (TEP) adrespool.

2. Als de APIC1 klaar is, zal hij beginnen met het verzenden van LLDP via zijn fabricpoorten. De LLDP-pakketten bevatten speciale TLV’s met informatie zoals het infra VLAN en zijn rol als APIC (ook wel controller genoemd).

3. Bij ontvangst van deze LLDP-pakketten van APIC1 zal het blad het infra VLAN programmeren op alle poorten waar een APIC wordt gedetecteerd.

4. Het blad begint met het verzenden van DHCP-ontdekkingen op het nu bekende infra VLAN.

5. De gebruiker logt in op de OOB IP van APIC1 via HTTPS en registreert het eerste bladknooppunt in het submenu Fabric Membership.

6. Zodra het blad een knooppunt-ID heeft gekregen, zal APIC1 reageren met een IP-adres uit de geconfigureerde TEP-adrespool en het DHCP-proces is voltooid.

7. Het geregistreerde blad relais DHCP Ontdekt van andere direct verbonden stekels die werden ontdekt via LLDP naar APIC1.

8. De gebruiker zal zien die dynamisch ontdekte stekels verschijnen in het submenu Fabric Membership en kan ze registreren.

9. Zodra de stekels zijn geregistreerd, reageert APIC1 met een IP-adres uit de TEP-pool en DHCP voltooit voor die knooppunten.

10. De spines relay DHCP ontdekt van alle andere knooppunten van pod1. (Dit gaat ervan uit dat er een volledige maaswijdte tussen stekels en bladbladrollen is zoals wordt aanbevolen en de typische switch is).

11. Zodra de met de andere APIC's verbonden bladknooppunten zijn geregistreerd, kan het APIC-cluster via TCP-communicatie tussen elkaar tot stand worden gebracht. Zorg ervoor dat u het setup-dialoogvenster van APIC2 en APIC3 voltooit.

12. Bevestig dat alle APIC's een cluster hebben gevormd en volledig geschikt zijn. Als dit het geval is, is de stofontdekking volledig.

Vanaf 4.2 is er een nieuwe CLI-opdracht beschikbaar op fabricknooppunten om te helpen bij de diagnose van veel voorkomende detectieproblemen. De volgende secties behandelen de uitgevoerde controles en bieden aanvullende validatieopdrachten om te helpen bij fouten bij het oplossen van problemen.

leaf101# show discoveryissues

Checking the platform type................LEAF!

Check01 - System state - in-service [ok]

Check02 - DHCP status [ok]

TEP IP: 10.0.72.67 Node Id: 101 Name: leaf101

Check03 - AV details check [ok]

Check04 - IP rechability to apic [ok]

Ping from switch to 10.0.0.1 passed

Check05 - infra VLAN received [ok]

infra vLAN:3967

Check06 - LLDP Adjacency [ok]

Found adjacency with SPINE

Found adjacency with APIC

Check07 - Switch version [ok]

version: n9000-14.2(1j) and apic version: 4.2(1j)

Check08 - FPGA/BIOS out of sync test [ok]

Check09 - SSL check [check]

SSL certificate details are valid

Check10 - Downloading policies [ok]

Check11 - Checking time [ok]

2019-09-11 07:15:53

Check12 - Checking modules, power and fans [ok]

Controle01 — Systeemstatus

Wanneer het blad is toegewezen aan een knooppunt-ID en geregistreerd bij de stof, zal het beginnen met het downloaden van zijn bootstrap en vervolgens overgang naar een in-service staat.

Check01 - System state - out-of-service [FAIL]

Check01 - System state - downloading-boot-script [FAIL]

Om de huidige status van het blad te valideren, kan de gebruiker moquery -c topSystem uitvoeren

leaf101# moquery -c topSystem

Total Objects shown: 1

# top.System

address                  : 10.0.72.67

bootstrapState           : done

...

serial                   : FDO20160TPS

serverType               : unspecified

siteId                   : 1

state                    : in-service

status                   :

systemUpTime             : 00:18:17:41.000

tepPool                  : 10.0.0.0/16

unicastXrEpLearnDisable  : no

version                  : n9000-14.2(1j)

virtualMode              : no

Check02 — DHCP-status

Check02 - DHCP status [FAIL]

ERROR: node Id not configured

ERROR: Ip not assigned by dhcp server

ERROR: Address assigner's IP not populated

TEP IP: unknown Node Id: unknown Name: unknown

Het blad moet een TEP-adres via DHCP ontvangen van de APIC1 en vervolgens IP-verbinding maken met de andere APIC's. De fysieke TEP (PTEP) van het blad wordt toegewezen aan loopback0. Als geen adres wordt toegewezen, kan de gebruiker bevestigen het blad een DHCP-Discover met het tpcdump-hulpprogramma verzendt. Let op: hiervoor gebruiken we interface kpm_inb waarmee je alle CPU inband control plane netwerkverkeer kunt zien.

(none)# tcpdump -ni kpm_inb port 67 or 68

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on kpm_inb, link-type EN10MB (Ethernet), capture size 65535 bytes

16:40:11.041148 IP 0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from a0:36:9f:c7:a1:0c, length 300

^C

1 packets captured

1 packets received by filter

0 packets dropped by kernel

De gebruiker kan ook bevestigen dat dhcpd wordt uitgevoerd op de APIC en luistert op de obligatie0 subinterface. De obligatie-interface vertegenwoordigt de stof tegenover APIC-poorten. We gebruiken de format bond0.<infra VLAN>.

apic1# ps aux | grep dhcp

root     18929  1.3  0.2 818552 288504 ?       Ssl  Sep26  87:19 /mgmt//bin/dhcpd.bin -f -4 -cf /data//dhcp/dhcpd.conf -lf /data//dhcp/dhcpd.lease -pf /var/run//dhcpd.pid --no-pid bond0.3967

admin   22770  0.0  0.0   9108   868 pts/0    S+   19:42   0:00 grep dhcp

Check03 — AV-gegevens

Check03 - AV details check [ok]

Het blad zal valideren als de geregistreerde APIC een IP in een geldig bereik heeft voor de TEP-pool. Als er nog geen APIC-gegevens zijn geregistreerd, gaat deze controle over. De gebruiker kan de huidige APIC-informatie zien vanuit het perspectief van de bladknooppunt via 'acidiag avread' opdracht. Merk in het onderstaande voorbeeld op dat wanneer de blad / ruggengraat prompt (geen)# toont, dit een indicatie is dat het blad / de ruggengraat nog geen lid van de stof is.

(none)# acidiag avread

Cluster of 0 lm(t):0(zeroTime) appliances (out of targeted 0 lm(t):0(zeroTime)) with FABRIC_DOMAIN name=Undefined Fabric Domain Name set to version= lm(t):0(zeroTime); discoveryMode=PERMISSIVE lm(t):0(zeroTime); drrMode=OFF lm(t):0(zeroTime)

---------------------------------------------

clusterTime=<diff=0 common=2019-10-01T18:51:50.315+00:00 local=2019-10-01T18:51:50.315+00:00 pF=<displForm=1 offsSt=0 offsVlu=0 lm(t):0(zeroTime)>>

---------------------------------------------

leaf101# acidiag avread

Cluster of 3 lm(t):0(2019-09-30T18:45:10.320-04:00) appliances (out of targeted 3 lm(t):0(2019-10-01T14:52:55.217-04:00)) with FABRIC_DOMAIN name=ACIFabric1 set to version=apic-4.2(1j) lm(t):0(2019-10-01T14:52:55.217-04:00); discoveryMode=PERMISSIVE lm(t):0(1969-12-31T20:00:00.003-04:00); drrMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00); kafkaMode=OFF lm(t):0(1969-12-31T20:00:00.003-04:00)

appliance id=1  address=10.0.0.1 lm(t):2(2019-09-27T17:32:08.669-04:00) tep address=10.0.0.0/16 lm(t):1(2019-07-09T19:41:24.672-04:00) routable address=192.168.1.1 lm(t):2(2019-09-30T18:37:48.916-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):1(2019-09-30T18:37:49.011-04:00) chassisId=c67d1076-a2a2-11e9-874e-a390922be712 lm(t):1(2019-09-30T18:37:49.011-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X1 lm(t):1(2019-09-26T09:32:20.747-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1929V153) lm(t):1(2019-10-01T12:46:44.711-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):1(2019-09-26T09:26:49.422-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):3(2019-09-05T11:42:41.371-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

appliance id=2  address=10.0.0.2 lm(t):2(2019-09-26T09:47:34.709-04:00) tep address=10.0.0.0/16 lm(t):2(2019-09-26T09:47:34.709-04:00) routable address=192.168.1.2 lm(t):2(2019-09-05T11:45:36.861-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):2(2019-09-30T18:37:48.913-04:00) chassisId=611febfe-89c1-11e8-96b1-c7a7472413f2 lm(t):2(2019-09-30T18:37:48.913-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X7 lm(t):2(2019-09-26T09:53:07.047-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH2045V1X2) lm(t):2(2019-10-01T12:46:44.710-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=1 lm(t):2(2019-09-26T09:47:34.709-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-26T09:47:34.709-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

appliance id=3  address=10.0.0.3 lm(t):3(2019-09-26T10:12:34.114-04:00) tep address=10.0.0.0/16 lm(t):3(2019-09-05T11:42:27.199-04:00) routable address=192.168.1.3 lm(t):2(2019-10-01T13:19:08.626-04:00) oob address=0.0.0.0 lm(t):0(zeroTime) version=4.2(1j) lm(t):3(2019-09-30T18:37:48.904-04:00) chassisId=99bade8c-cff3-11e9-bba7-5b906a49dc39 lm(t):3(2019-09-30T18:37:48.904-04:00) capabilities=0X3EEFFFFFFFFF--0X2020--0X4 lm(t):3(2019-09-26T10:18:13.149-04:00) rK=(stable,absent,0) lm(t):0(zeroTime) aK=(stable,absent,0) lm(t):0(zeroTime) oobrK=(stable,absent,0) lm(t):0(zeroTime) oobaK=(stable,absent,0) lm(t):0(zeroTime) cntrlSbst=(APPROVED, FCH1824V2VR) lm(t):3(2019-10-01T12:48:03.726-04:00) (targetMbSn= lm(t):0(zeroTime), failoverStatus=0 lm(t):0(zeroTime)) podId=2 lm(t):3(2019-09-26T10:12:34.114-04:00) commissioned=YES lm(t):101(2019-09-30T18:45:10.320-04:00) registered=YES lm(t):2(2019-09-05T11:42:54.935-04:00) standby=NO lm(t):0(zeroTime) DRR=NO lm(t):101(2019-09-30T18:45:10.320-04:00) apicX=NO lm(t):0(zeroTime) virtual=NO lm(t):0(zeroTime) active=YES

---------------------------------------------

clusterTime=<diff=15584 common=2019-10-01T14:53:01.648-04:00 local=2019-10-01T14:52:46.064-04:00 pF=<displForm=0 offsSt=0 offsVlu=-14400 lm(t):21(2019-09-26T10:40:35.412-04:00)>>

---------------------------------------------

Check04 — IP-bereikbaarheid naar APIC

Wanneer het blad een IP-adres heeft ontvangen, zal het proberen om TCP-sessies met de APIC vast te stellen en het proces van het downloaden van zijn configuratie te beginnen. De gebruiker kan IP-verbinding met de APIC valideren met behulp van het 'iping'-hulpprogramma.

leaf101# iping -V overlay-1 10.0.0.1

PING 10.0.0.1 (10.0.0.1) from 10.0.0.30: 56 data bytes

64 bytes from 10.0.0.1: icmp_seq=0 ttl=64 time=0.651 ms

64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.474 ms

64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.477 ms

64 bytes from 10.0.0.1: icmp_seq=3 ttl=64 time=0.54 ms

64 bytes from 10.0.0.1: icmp_seq=4 ttl=64 time=0.5 ms

--- 10.0.0.1 ping statistics ---  5 packets transmitted, 5 packets received, 0.00% packet loss

round-trip min/avg/max = 0.474/0.528/0.651 ms

Check05 — Info VLAN

Check05 - infra VLAN received [ok]

De infra VLAN-controle zal alleen succesvol zijn als de knooppunt is verbonden met een Pod waar een APIC bestaat. Als dit niet het geval is, kan de gebruiker het bericht negeren omdat de controle om wordt verwacht te ontbreken.

Het blad bepaalt het infra VLAN op basis van LLDP-pakketten die van andere ACI-knooppunten worden ontvangen. Het eerste exemplaar dat het ontvangt zal worden geaccepteerd wanneer de switch in ontdekking is.

(none)# moquery -c lldpInst

Total Objects shown: 1

# lldp.Inst

adminSt        : enabled

childAction    :

ctrl           :

dn             : sys/lldp/inst

holdTime       : 120

infraVlan      : 3967

initDelayTime  : 2

lcOwn          : local

modTs          : 2019-09-12T07:25:33.194+00:00

monPolDn       : uni/fabric/monfab-default

name           :

operErr        :

optTlvSel      : mgmt-addr,port-desc,port-vlan,sys-cap,sys-desc,sys-name

rn             : inst

status         :

sysDesc        : topology/pod-1/node-101

txFreq         : 30

(none)# show vlan encap-id 3967

VLAN Name                             Status    Ports

---- -------------------------------- --------- -------------------------------

8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode

---- ----- ----------

8    enet  CE

Als het informatie VLAN niet is geprogrammeerd op de switchport interfaces die met APICs zijn verbonden, controleer bedradingskwesties die door het blad worden ontdekt.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'

Total Objects shown: 1

# lldp.If

id           : eth1/1

adminRxSt    : enabled

adminSt      : enabled

adminTxSt    : enabled

childAction  :

descr        :

dn           : sys/lldp/inst/if-[eth1/1]

lcOwn        : local

mac          : E0:0E:DA:A2:F2:83

modTs        : 2019-09-30T18:45:22.323+00:00

monPolDn     : uni/fabric/monfab-default

name         :

operRxSt     : enabled

operTxSt     : enabled

portDesc     :

portMode     : normal

portVlan     : unspecified

rn           : if-[eth1/1]

status       :

sysDesc      :

wiringIssues : infra-vlan-mismatch

Check06 — LLDP-nabijheid

Check06 - LLDP Adjacency [FAIL]

Error: leaf not connected to any spine

Om te bepalen welke poorten verbinding maken met andere ACI-apparaten, moet het blad LLDP ontvangen van de andere fabric-knooppunten. Om te valideren dat LLDP is ontvangen, kan de gebruiker controleren 'lldp buren tonen'.

(none)# show lldp neighbors

Capability codes:

(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device

(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other

Device ID            Local Intf      Hold-time  Capability  Port ID

apic1                 Eth1/1          120                    eth2-1

apic2                 Eth1/2          120                    eth2-1

switch                Eth1/51         120        BR          Eth2/32

switch                Eth1/54         120        BR          Eth1/25

Total entries displayed: 4

Check07 — Switch versie

Check07 - Switch version [ok]

version: n9000-14.2(1j) and apic version: 4.2(1j)

Als de APIC- en bladversies niet hetzelfde zijn, kan de stofontdekking mislukken. Om de versie te valideren die op het blad loopt, gebruik 'show version' of 'vsh -c 'show version'.

(none)# show version

Cisco Nexus Operating System (NX-OS) Software

TAC support: http://www.cisco.com/tac

Documents: http://www.cisco.com/en/US/products/ps9372/tsd_products_support_series_home.htmlCopyright (c) 2002-2014, Cisco Systems, Inc. All rights reserved.

The copyrights to certain works contained in this software are

owned by other third parties and used and distributed under

license. Certain components of this software are licensed under

the GNU General Public License (GPL) version 2.0 or the GNU

Lesser General Public License (LGPL) Version 2.1. A copy of each

such license is available at

http://www.opensource.org/licenses/gpl-2.0.php and

http://www.opensource.org/licenses/lgpl-2.1.php

Software

BIOS:      version 07.66

kickstart: version 14.2(1j) [build 14.2(1j)]

system:    version 14.2(1j) [build 14.2(1j)]

PE:        version 4.2(1j)

BIOS compile time:       06/11/2019

kickstart image file is: /bootflash/aci-n9000-dk9.14.2.1j.bin

kickstart compile time:  09/19/2019 07:57:41 [09/19/2019 07:57:41]

system image file is:    /bootflash/auto-s

system compile time:     09/19/2019 07:57:41 [09/19/2019 07:57:41]

...

Dezelfde opdracht werkt ook op de APIC's.

apic1# show version

Role        Pod         Node        Name                      Version

----------  ----------  ----------  ------------------------  --------------------

controller  1           1           apic1                     4.2(1j)

controller  1           2           apic2                     4.2(1j)

controller  2           3           apic3                     4.2(1j)

leaf        1           101         leaf101                   n9000-14.2(1j)

leaf        1           102         leaf102                   n9000-14.2(1j)

leaf        1           103         leaf103                   n9000-14.2(1j)

spine       1           1001        spine1                    n9000-14.2(1j)

spine       1           1002        spine2                    n9000-14.2(1j)

Controle 08 — FPGA/EPLD/BIOS niet synchroon

De FPGA-, EPLD- en BIOS-versies kunnen het vermogen van de bladknoop om de modules naar verwachting op te tillen, beïnvloeden. Als deze te ver verouderd zijn, zouden de interfaces van de switch wel eens niet kunnen komen. De gebruiker kan de actieve en verwachte versies van FPGA, EPLD en BIOS valideren met de volgende moquery-opdrachten.

(none)# moquery -c firmwareCardRunning

Total Objects shown: 2

# firmware.CardRunning

biosVer        : v07.66(06/11/2019)

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/running

expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : switch

version        : 14.2(1j)

# firmware.CardRunning

biosVer        : v07.66(06/11/2019)

childAction    :

descr          :

dn             : sys/ch/lcslot-1/lc/running

expectedVer    : v07.65(09/04/2018)  interimVer     : 14.2(1j)

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : switch

version        : 14.2(1j)

(none)# moquery -c firmwareCompRunning

Total Objects shown: 2

# firmware.CompRunning

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/fpga-1/running

expectedVer    : 0x14  internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : controller

version        : 0x14

# firmware.CompRunning

childAction    :

descr          :

dn             : sys/ch/supslot-1/sup/fpga-2/runnin

expectedVer    : 0x4

internalLabel  :

modTs          : never

mode           : normal

monPolDn       : uni/fabric/monfab-default

operSt         : ok

rn             : running

status         :

ts             : 1970-01-01T00:00:00.000+00:00

type           : controller

version        : 0x4

Als de actieve FPGA-versie niet overeenkomt met de verwachte FPGA-versie, kan deze worden bijgewerkt met de stappen in het hoofdstuk "Fabric discovery", sectie "Apparaatvervanging" onder scenario "Leaf/Spine EPLD/FPGA niet correct, F1582".

Check09 — SSL-controle

Check09 - SSL check [check]

SSL certificate details are valid

SSL-communicatie wordt gebruikt tussen alle fabric-knooppunten om versleuteling van control plane verkeer te garanderen. Het SSL-certificaat wordt tijdens de productie geïnstalleerd en wordt gegenereerd op basis van het serienummer van het chassis. De opmaak van het onderwerp moet als volgt zijn:

onderwerp= /serienummer=PID:N9K-C93xxxxx SN:FDOxxxxxxx/CN=FDOxxxxxxx

Gebruik de volgende opdracht om SSL-certificaten te valideren tijdens het detecteren van een switch.

(none)# cd /securedata/ssl && openssl x509 -noout -subject -in server.crt

subject= /serialNumber=PID:N9K-C93180YC-EX SN:FDO20432LH1/CN=FDO20432LH1

Merk op dat het bovenstaande alleen werkt als niet-rootgebruiker als het switch knooppunt nog niet ontdekt is.

Het serienummer van het chassis vindt u bij de volgende opdracht.

(none)# show inventory

NAME: "Chassis",  DESCR: "Nexus C93180YC-EX Chassis"

PID: N9K-C93180YC-EX     ,  VID: V00  ,  SN: FDO20160TPS

...

Bovendien moet het certificaat op de huidige tijd geldig zijn. Om de geldige datums van het certificaat te bekijken, gebruikt u de vlag '-dates' in de opdracht openssl.

(none)# cd /securedata/ssl && openssl x509 -noout -dates -in server.crt

notBefore=Nov 28 17:17:05 2016 GMT

notAfter=Nov 28 17:27:05 2026 GMT

Check10 — Downloadbeleid

Check10 - Downloading policies [FAIL]

Registration to all PM shards is not complete

Policy download is not complete

Zodra het blad IP bereikbaarheid aan APIC heeft, zal het zijn configuratie van APIC downloaden en APIC zal erkennen dat de download volledig is. De status van dit proces kan met de volgende opdracht worden bekeken.

(none)# moquery -c pconsBootStrap

Total Objects shown: 1

# pcons.BootStrap

allLeaderAcked         : no

allPortsInService      : yes

allResponsesFromLeader : yes

canBringPortInService  : no

childAction            :

completedPolRes        : no

dn                     : rescont/bootstrap

lcOwn                  : local

modTs                  : 2019-09-27T22:52:48.729+00:00

rn                     : bootstrap

state                  : completed

status                 :

timerTicks             : 360

try                    : 0

worstCaseTaskTry       : 0

Controle 11 — Tijd

Check11 - Checking time [ok]

2019-10-01 17:02:34

Deze controle toont de gebruiker de huidige tijd. Als er te veel verschil is tussen de APIC-tijd en de switch, kan de ontdekking mislukken. In de APIC kan de tijd worden gecontroleerd met de datumopdracht.

apic1# date

Tue Oct  1 14:35:38 UTC 2019

Controle 12 — Module, PSU, ventilatorcontrole

Om de switch op andere apparaten te kunnen aansluiten, moeten de modules online beschikbaar zijn. Dit kan worden gevalideerd via 'show module' en 'toon omgeving' commando's.

(none)# show module

Mod  Ports  Module-Type                         Model              Status

---  -----  ----------------------------------- ------------------ ----------

1    54     48x10/25G+6x40/100G Switch          N9K-C93180YC-EX    ok

Mod  Sw              Hw

---  --------------  ------

1    14.2(1j)        0.3050

Mod  MAC-Address(es)                         Serial-Num

---  --------------------------------------  ----------

1    e0-0e-da-a2-f2-83 to e0-0e-da-a2-f2-cb  FDO20160TPS

Mod  Online Diag Status

---  ------------------

1    pass

(none)# show environment

Power Supply:

Voltage: 12.0 Volts

Power                              Actual        Total

Supply    Model                    Output     Capacity    Status

(Watts )     (Watts )

-------  -------------------  -----------  -----------  --------------

1        NXA-PAC-650W-PI              0 W        650 W       shut

2        NXA-PAC-650W-PI            171 W        650 W        ok

Actual        Power

Module     Model                     Draw    Allocated    Status

(Watts )     (Watts )

--------  -------------------  -----------  -----------  --------------

1         N9K-C93180YC-EX            171 W        492 W    Powered-Up

fan1      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan2      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan3      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

fan4      NXA-FAN-30CFM-B              N/A          N/A    Powered-Up

N/A - Per module power not available

Power Usage Summary:

--------------------

Power Supply redundancy mode (configured)                Non-Redundant(combined)

Power Supply redundancy mode (operational)               Non-Redundant(combined)

Total Power Capacity (based on configured mode)               650  W

Total Power of all Inputs (cumulative)                        650  W

Total Power Output (actual draw)                              171  W

Total Power Allocated (budget)                                N/A

Total Power Available for additional modules                  N/A

Fan:

------------------------------------------------------

Fan             Model                Hw         Status

------------------------------------------------------

Fan1(sys_fan1)  NXA-FAN-30CFM-B      --         ok

Fan2(sys_fan2)  NXA-FAN-30CFM-B      --         ok

Fan3(sys_fan3)  NXA-FAN-30CFM-B      --         ok

Fan4(sys_fan4)  NXA-FAN-30CFM-B      --         ok

Fan_in_PS1      --                   --         unknown

Fan_in_PS2      --                   --         ok

Fan Speed: Zone 1:  0x7f

Fan Air Filter : Absent

Temperature:

-----------------------------------------------------------------------------------

Module   Sensor                       MajorThresh   MinorThres   CurTemp     Status

(Celsius)     (Celsius)    (Celsius)

-----------------------------------------------------------------------------------

1        Inlet(1)                      70            42           35         normal

1        outlet(2)                     80            70           37         normal

1        x86 processor(3)              90            80           38         normal

1        Sugarbowl(4)                  110           90           60         normal

1        Sugarbowl vrm(5)              120           110          50         normal

Als een module niet online komt, herhaal dan de module en controleer of er FPGA, EPLD of BIOS mismatches zijn.

Voorbeeld verbroken scenario's

Scenario 1 - Eerste blad verschijnt niet in Fabric Membership

In dit geval logt de gebruiker in op APIC1 nadat het setup-script is voltooid en zijn er geen switches verschenen in Fabric Membership. Voor de ontdekking van het eerste blad om met succes voor te komen, zou APIC een DHCP-Discover van het blad in ontdekkingsfase moeten ontvangen.

Controleer of APIC1 LDP-TLV's verzendt die overeenkomen met de parameters in het setup-script.

apic1# acidiag run lldptool out eth2-1

Chassis ID TLV

MAC: e8:65:49:54:88:a1

Port ID TLV

MAC: e8:65:49:54:88:a1

Time to Live TLV

120

Port Description TLV

eth2-1

System Name TLV

apic1

System Description TLV

topology/pod-1/node-1

Management Address TLV

IPv4: 10.0.0.1

Ifindex: 4

Cisco Port State TLV

1

Cisco Node Role TLV

0

Cisco Node ID TLV

1

Cisco POD ID TLV

1

Cisco Fabric Name TLV

ACIFabric1

Cisco Appliance Vector TLV

Id: 1

IPv4: 10.0.0.1

UUID: c67d1076-a2a2-11e9-874e-a390922be712

Cisco Node IP TLV

IPv4:10.0.0.1

Cisco Port Role TLV

2

Cisco Infra VLAN TLV

3967

Cisco Serial Number TLV

FCH1929V153

Cisco Authentication Cookie TLV

1372058352

Cisco Standby APIC TLV

0

End of LLDPDU TLV

Controleer ook of APIC1 LLDP ontvangt van de direct aangesloten bladknooppunt.

apic1# acidiag run lldptool in eth2-1

Chassis ID TLV

MAC: e0:0e:da:a2:f2:83

Port ID TLV

Local: Eth1/1

Time to Live TLV

120

Port Description TLV

Ethernet1/1

System Name TLV

switch

System Description TLV

Cisco Nexus Operating System (NX-OS) Software 14.2(1j)

TAC support: http://www.cisco.com/tacCopyright (c) 2002-2020, Cisco Systems, Inc. All rights reserved.

System Capabilities TLV

System capabilities:  Bridge, Router

Enabled capabilities: Bridge, Router

Management Address TLV

MAC: e0:0e:da:a2:f2:83

Ifindex: 83886080

Cisco 4-wire Power-via-MDI TLV

4-Pair PoE supported

Spare pair Detection/Classification not required

PD Spare pair Desired State: Disabled

PSE Spare pair Operational State: Disabled

Cisco Port Mode TLV

0

Cisco Port State TLV

1

Cisco Serial Number TLV

FDO20160TPS

Cisco Model TLV

N9K-C93180YC-EX

Cisco Firmware Version TLV

n9000-14.2(1j)

Cisco Node Role TLV

1

Cisco Infra VLAN TLV

3967

Cisco Node ID TLV

0

End of LLDPDU TLV

Als APIC1 LLDP ontvangt van de direct aangesloten bladknooppunt, moet het blad het infra VLAN programmeren op de poorten die zijn aangesloten op de APIC. Deze VLAN-programmering kan worden gevalideerd via de opdracht 'show VLAN encap-id <x>', waarbij 'x' het geconfigureerde infra-VLAN is.

(none)# show vlan encap-id 3967

VLAN Name                             Status    Ports

---- -------------------------------- --------- -------------------------------

8    infra:default                    active    Eth1/1

VLAN Type  Vlan-mode

---- ----- ----------

8    enet  CE

Als het informatie-VLAN niet is geprogrammeerd, controleert u op bedradingsproblemen die door de bladknooppunt zijn gedetecteerd.

(none)# moquery -c lldpIf -f 'lldp.If.wiringIssues!=""'

Total Objects shown: 1

# lldp.If

id           : eth1/1

adminRxSt    : enabled

adminSt      : enabled

adminTxSt    : enabled

childAction  :

descr        :

dn           : sys/lldp/inst/if-[eth1/1]

lcOwn        : local

mac          : E0:0E:DA:A2:F2:83

modTs        : 2019-09-30T18:45:22.323+00:00

monPolDn     : uni/fabric/monfab-default

name         :

operRxSt     : enabled

operTxSt     : enabled

portDesc     :

portMode     : normal

portVlan     : unspecified

rn           : if-[eth1/1]

status       :

sysDesc      :

wiringIssues : infra-vlan-mismatch

Wanneer het kenmerk bedradingsproblemen is ingesteld op 'infra-VLAN-mismatch', is de indicatie dat het blad heeft geleerd van een andere infra-VLAN dan de waarde die de APIC verzendt (de door APIC verzonden waarde kan worden geverifieerd met de opdracht 'moquery -c lldpInst'). Dit scenario kan voorkomen als het blad LLDP ontvangt van een knooppunt dat ooit deel uitmaakte van een andere stof. In essentie zal een knooppunt in ontdekking de eerste infra VLAN ontvangen via LLDP accepteren. Om dit op te lossen, verwijder de verbindingen tussen dit blad en de andere ACI knooppunten, behalve APIC, dan schoon herlaad de switch met "acidiag touch clean" en "reload" opdrachten. Controleer na het opstarten van de switch of het juiste infra VLAN is geprogrammeerd. Als dit waar is, kunnen de verbindingen worden hersteld naar de andere knooppunten en kan de gebruiker verder gaan met de ACI-fabric-instelling.

Scenario 2 - Andere APIC's sluiten zich niet aan bij het cluster

In dit scenario zijn alle stoffen knooppunten ontdekt, maar APIC2 en 3 hebben zich nog niet aangesloten bij het APIC-cluster.

Waarden van setup-scripts via APIC's valideren. Waarden die moeten overeenkomen zijn:

- Fabricdomein

- Fabric-id

- TEP-zwembad

- Infra VLAN

- GIPo

- Clustergrootte

- Firmware versie

apic1# cat /data/data_admin/sam_exported.config

Setup for Active and Standby APIC

fabricDomain = ACIFabric1

fabricID = 1

systemName =apic1

controllerID = 1

tepPool = 10.0.0.0/16

infraVlan = 3967

GIPo = 225.0.0.0/15

clusterSize = 3

standbyApic = NO

enableIPv4 = Y

enableIPv6 = N

firmwareVersion = 4.2(1j)

ifcIpAddr = 10.0.0.1

apicX = NO

podId = 1

oobIpAddr = 10.48.22.69/24

Controleer veelvoorkomende problemen met de opdracht ‘acidiag cluster’ op alle 3 APIC’s.

apic1# acidiag cluster

Admin password:

Product-name = APIC-SERVER-M1

Serial-number = FCH1906V1XV

Running...

Checking Core Generation: OK

Checking Wiring and UUID: OK

Checking AD Processes: Running

Checking All Apics in Commission State: OK

Checking All Apics in Active State: OK

Checking Fabric Nodes: OK

Checking Apic Fully-Fit: OK

Checking Shard Convergence: OK

Checking Leadership Degration: Optimal leader for all shards

Ping OOB IPs:

APIC-1: 10.48.22.69 - OK

APIC-2: 10.48.22.70 - OK

APIC-3: 10.48.22.71 - OK

Ping Infra IPs:

APIC-1: 10.0.0.1 - OK

APIC-2: 10.0.0.2 - OK

APIC-3: 10.0.0.3 - OK

Checking APIC Versions: Same (4.2(1j))

Checking SSL: OK

Done!

Gebruik tot slot 'avread' om te valideren of deze instellingen overeenkomen met alle APIC's. Merk op dat dit een andere opdracht is dan de typische 'acidiag avread' die een vergelijkbare output laat zien, maar het wordt geparseerd voor een makkelijker gebruik.

apic1# avread

Cluster:

-------------------------------------------------------------------------

fabricDomainName        ACIFabric1

discoveryMode           PERMISSIVE

clusterSize             3

version                 4.2(1j)

drrMode                 OFF

operSize                3

APICs:

-------------------------------------------------------------------------

APIC 1                  APIC 2                  APIC 3

version           4.2(1j)                 4.2(1j)                 4.2(1j)

address           10.0.0.1                10.0.0.2                10.0.0.3

oobAddress        10.48.22.69/24          10.48.22.70/24          10.48.22.71/24

routableAddress   0.0.0.0                 0.0.0.0                 0.0.0.0

tepAddress        10.0.0.0/16             10.0.0.0/16             10.0.0.0/16

podId             1                       1                       1

chassisId         3c9e5024-.-5a78727f     573e12c0-.-6b8da0e5     44c4bf18-.-20b4f52&    cntrlSbst_serial  (APPROVED,FCH1906V1XV)  (APPROVED,FCH1921V1Q9)  (APPROVED,FCH1906V1PW)

active            YES                     YES                     YES

flags             cra-                    cra-                    cra-

health            255                     255                     255

apic1#

Scenario 3 - Spine verschijnt niet in Fabric-lidmaatschap

In dit scenario is het eerste blad ontdekt in de stof, maar er zijn geen stekels verschenen voor ontdekking onder het submenu Fabric Membership.

Bevestig de fysieke connectiviteit van blad tot rug. In het onderstaande voorbeeld is de switch aangesloten op een wervelkolom via de interface e1/49.

leaf101# show int eth1/49

Ethernet1/49 is up

admin state is up, Dedicated Interface

Hardware: 1000/10000/100000/40000 Ethernet, address: 0000.0000.0000 (bia e00e.daa2.f3f3)

MTU 9366 bytes, BW 100000000 Kbit, DLY 1 usec

reliability 255/255, txload 1/255, rxload 1/255

Encapsulation ARPA, medium is broadcast

Port mode is routed

full-duplex, 100 Gb/s

...

Als de poort een out-of-service status heeft, controleert u op de ruggengraat of LLDP is ontvangen van het direct aangesloten blad.

(none)# show lldp neighbors

Capability codes:

(R) Router, (B) Bridge, (T) Telephone, (C) DOCSIS Cable Device

(W) WLAN Access Point, (P) Repeater, (S) Station, (O) Other

Device ID            Local Intf      Hold-time  Capability  Port ID

leaf102               Eth2/27         120        BR          Eth1/53

leaf103               Eth2/29         120        BR          Eth1/49

leaf101               Eth2/32         120        BR          Eth1/51

Total entries displayed: 3

Een andere validatie is om te verifiëren dat er geen versieverschil is tussen blad en wervelkolom. Als er sprake is, herstel de situatie door de nieuwere versie naar /bootflash van de wervelkolom te kopiëren. Configureer vervolgens de switch om op te starten naar de software met de volgende opdrachten:

(none)# ls -alh /bootflash

total 3.0G

drwxrwxr-x  3 root admin 4.0K Oct  1 20:21 .

drwxr-xr-x 50 root root  1.3K Oct  1 00:22 ..

-rw-r--r--  1 root root  3.5M Sep 30 21:24 CpuUsage.Log

-rw-rw-rw-  1 root root  1.7G Sep 27 14:50 aci-n9000-dk9.14.2.1j.bin

-rw-r--r--  1 root root  1.4G Sep 27 21:20 auto-s

-rw-rw-rw-  1 root root     2 Sep 27 21:25 diag_bootup

-rw-r--r--  1 root root    54 Oct  1 20:20 disk_log.txt

-rw-rw-rw-  1 root root   693 Sep 27 21:23 libmon.logs

drwxr-xr-x  4 root root  4.0K Sep 26 15:24 lxc

-rw-r--r--  1 root root  384K Oct  1 20:20 mem_log.txt

-rw-r--r--  1 root root  915K Sep 27 21:10 mem_log.txt.old.gz

-rw-rw-rw-  1 root root   12K Sep 27 21:17 urib_api_log.txt

(none)# setup-bootvars.sh aci-n9000-dk9.14.2.1j.bin

In progress

In progress

In progress

In progress

Done

Als de nieuwe afbeelding continu uit bootflash wordt verwijderd, zorg er dan voor dat de map minder dan half vol is door oudere afbeeldingen of auto-s-bestand te verwijderen; controleer het ruimtegebruik met 'df -h' op de switch.

Nadat u de opstartvariabele hebt ingesteld, laadt u de switch opnieuw en start u opnieuw op met de nieuwe versie.

Mogelijk moeten FPGA-, EPLD- en BIOS-validatie worden uitgevoerd na het opnieuw laden. Raadpleeg het gedeelte "Leaf/Spine EPLD/FPGA niet correct, F1582" voor meer informatie over de oplossing van dit probleem.

Scenario 4 - Na de eerste detectie van de stof valt het cluster tussen volledig fit en gedegradeerd

Als dit gebeurt na een nieuwe configuratie van de stof, kan dit worden veroorzaakt door een onjuiste bekabeling van de APIC-M3 of APIC-L3 die verbinding maakt met de stof. U kunt dergelijke onjuiste bekabeling bevestigen door "Toon lldp-buren" op beide switches op het APIC aangesloten. Na het uitvoeren van deze meerdere keren zult u merken dat beide switches dezelfde APIC-interface zien.

De achterkant van een APIC-M3/L3 server ziet er als volgt uit:

Achteraanzicht van de APIC-M3/L3-server

Merk op dat voor een APIC-M3/L3, de VIC kaart 4 poorten heeft: ETH2-1, ETH2-2, ETH2-3 en ETH2-4, zoals hieronder aangegeven:

Uitzicht op APIC VIC 1455 met labels

Switch De voorschriften voor het aansluiten van de APIC-server op bladservers zijn als volgt:

- Alle poorten moeten dezelfde snelheid hebben, 10 Gigabit of 25 Gigabit.

- ETH2-1 en ETH2-2 zijn één poort-kanaal paar, wat overeenkomt met eth2-1 ('ifconfig'-uitvoer) van het APIC OS.

- ETH2-3 en ETH2-4 zijn het andere poortkanaalpaar dat overeenkomt met eth2-2 ('ifconfig'-uitvoer) op APIC OS.

- Per poort-kanaalpaar is slechts één verbinding toegestaan. Sluit bijvoorbeeld één kabel aan op ETH2-1 of ETH2-2 en sluit een andere kabel aan op ETH2-3 of ETH2-4 (Sluit nooit beide ETH's aan op een poortkanaalpaar. Dit leidt tot problemen met de detectie van stoffen.).

Voor meer begrip, het volgende is een vertegenwoordiging van de VIC havenafbeelding aan band APIC.

VIC 1455 poorten — APIC redundant fabric-poort