Voer de UCS M Health en Pre-Upgrade Check Tool uit

Inleiding

In dit document wordt beschreven hoe de Unified Computing System Manager (UCSM) Health and Pre-Upgrade check Tool wordt uitgevoerd. 

Voorwaarden

Vereisten

Cisco raadt aan om Python 3.6 of hoger op het systeem te hebben geïnstalleerd. 

Opmerking: als u Windows OS draait, kunt u Python laten installeren en configureren op het pad Omgeving.

Opmerking: Open geen TAC-case voor Python issues/Script is mislukt. Verwijs de CLI-opdrachten naar sectie om het probleem handmatig te identificeren en TAC-case per geïdentificeerd probleem te openen.

Gebruikte componenten

Dit document is niet beperkt tot specifieke software- en hardware-versies.

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk live is, moet u zorgen dat u de potentiële impact van elke opdracht begrijpt.

Achtergrondinformatie

De UCSM Check Tool is een hulpprogramma om proactieve zelfcontroles op UCSM uit te voeren om de stabiliteit en veerkracht ervan te verzekeren. Het helpt bij het automatiseren van een lijst met gezondheids- en pre-upgrade-controles op UCS-systemen om tijd te besparen wanneer de UCS-infrastructuur upgrade- en onderhoudsbewerkingen plaatsvinden.

Opmerking: download en gebruik altijd de nieuwste versie van de tool. Aangezien het hulpmiddel vaak wordt verbeterd, wanneer u een oudere versie gebruikt, kan het belangrijke controles missen.

Opmerking: dit script is een best-performance, free-to-use script. Het kan echter niet alle problemen aan het licht brengen.

Wanneer te gebruiken

• Voordat UCS-infrastructuurupgrades plaatsvinden

• UCS Health Check voor en na onderhoudsactiviteit
• Wanneer u met Cisco TAC werkt
• Proactieve gezondheidscontrole op elk moment

Hoe te gebruiken

Windows-besturingssysteem

Stap 1. Download de nieuwste versie van Python van Python Downloads

Stap 2. Gebruik het normale installatieproces en klik op Install Now (de aanbevolen procedure) om de setup te downloaden. 

Opmerking: controleer of Python aan PAD wordt toegevoegd.

Stap 3. Navigeer naar de map waarin Python op het systeem was geïnstalleerd.

Stap 4. Open de opdrachtprompt en typ de opdracht Python om de installatie van Python te verifiëren.

Stap 5. Download hier de nieuwste versie van het gezondheidscontrolescript en sla het op in een map. Haal nu het gecomprimeerde bestand uit de afbeelding.

Stap 6. Download en sla de nieuwste UCSM-logbestanden voor technische ondersteuning op in de gemaakte map, zoals in de afbeelding. Klik op deze link om de stappen te vinden om UCSM-logbundel te downloaden: technische ondersteuning genereren.

Stap 7. Open CMD en cd in de map waarin UCSMTool.py staat en voer UCSMTool.py uit zoals in de afbeelding.

Stap 8. Voer het bestandspad in waar het bestand voor technische ondersteuning van UCSM zich bevindt en kies de gewenste optie.

1. UCS M-gezondheidscontrole

2. Controle vooraf

MacOS

Stap 1. MacOS wordt geleverd met standaard geïnstalleerde Python, verifieer de geïnstalleerde Python versie zoals getoond:

Opmerking: Als de Python-versie lager is dan 3.6, upgrade dan naar 3.6 en latere releases.

Opmerking: Als de Python-versie 3.6 of hoger is, ga dan over naar Stap 5 en ga naar Stap 2.

Stap 2. Download de nieuwste versie van Python van https://www.python.org/downloads/macos/.

Stap 3. Gebruik het normale installatieproces om de Python-installatie te voltooien of te upgraden.

Stap 4. Download hier de nieuwste versie van het gezondheidscontrolescript en sla het op in een map. Haal nu het gecomprimeerde bestand uit de afbeelding:

Stap 5. Download en sla de nieuwste UCSM-logbestanden voor technische ondersteuning op in de gemaakte map, zoals in deze afbeelding. Klik op de link om de stappen te vinden om UCSM-logbundel te downloaden: technische ondersteuning genereren.

Stap 6. Open de terminal, blader naar de directory waar u het gezondheidscontrolescript hebt gedownload, voer python UCSMTool.py of python3UCSMTool.py uit zoals getoond:.

Stap 7. Voer het bestandspad in waar het bestand met technische ondersteuning van UCSM zich bevindt en kies de gewenste optie om het script uit te voeren.

1. UCS M-gezondheidscontrole

2. Controle vooraf

Uitvoer/controles begrijpen

Controles uitgevoerd door de UCSM HealthCheck

Deze controles worden uitgevoerd door de UCSM-Healthchecktool:

UCSM HA Cluster State: Hier wordt de clusterstatus van verbindingen weergegeven.

PMON-processtatus: hiermee wordt de status van alle processen in Cisco UCS Manager weergegeven. 

File System Mount: toont de bevestigingstabel.  

Controleer op probleem met /var/ sysmgr-grootte: controles /var/sysmgr-gebruik.

Controleer op /var/tmp grootte: controleert op gebruik van /var/tmp.

6296 FI reageert niet na een energiecyclus, HW revisie update: Controleer Fabric interconnect module en het HW revisie nummer.

Fouten met de Ernst Belangrijke of Kritieke Ernst: Rapporteert als u om het even welke Belangrijke of Kritieke Waarschuwing in UCS Manager hebt.

Controleer of back-up beschikbaar is: controleer of back-up beschikbaar is in UCS Manager.

Keyring Cert Check: Controleer of de keyring is verlopen of geldig is.

Safeshut Workaround Needed or Not: Controleer of shafeshut workaround nodig is of niet door het FI-model en de versie te verifiëren.  

Afgeschroefde hardware in Cisco UCS Manager release 4.x: controleer op alle afgekeurde hardware in Cisco UCS Manager 4.x release.

Afgezaagde HW gevonden voor vanaf 3.1.x: controleer op alle afgekeurde hardware in Cisco UCS Manager 3.x release

Controleer of B200M4 opnieuw wordt opgestart vanwege lege MRAID12G-velden: controleer of B200M4-server een lege S/N van MRAID12G RAID-controller heeft.

UCS M 3.1 Verandering in max. van de machtstoewijzing veroorzaakt mislukking van de bladeontdekking: verifieert het machtsbeleid dat in de Manager UCS wordt gevormd.  

Bestaan van bootflash corruptie foutcode F1219: Controleer het bestaan van bootflash corruptie.

Controle op httpd kan niet starten wanneer de standaard keyring is verwijderd: Controleer of de standaard keyring is verwijderd.

3e GEN FI's heeft onreine bestandssysteemstatussen-"Bestandssysteem staat: opruimen met fouten": Controleer op een bestandssysteem fout.

Controleer of de server automatisch is geïnstalleerd op 4.0(4b) Kan de SAS-controller niet activeren: controleer de hostfirmware-versie en de SAS Expander-versie

Controleer of de firmware-upgrade van de C-Series lang in proces blijft "voer een inventaris van de server uit" PNU OS Inventory: Het verifieert het servermodel en de versie ervan om te identificeren als u dit probleem.

Controleer UCSM-verificatiedomein dat een punt of koppelteken gebruikt: Controleer of de verificatiedomein met een punt of koppelteken is geconfigureerd.

Lokale of fall-back verificatiefout: controleer de verificatiemethode die is ingesteld voor een bepaald FI-model en verifieert ook de versie ervan.

Gezondheidscontrole tussen UCSM en UCS Central: Controleer of UCS Manager is geregistreerd bij UCS Central

LAN- en SAN-pingroepen: controleer de LAN/san-pinning-configuratie in uw cluster en markeer deze om uw configuratie te bekijken voor de upgrade/elke MW-activiteit

Controleren van in behandeling zijnde activiteiten die in UCSM aanwezig zijn: controleer of er nog activiteiten in behandeling zijn in uw UCS Manager-domein.

Health Check voor IOM: controleer de algehele status van de IO-modules.  

Core Files beschikbaar in UCSM Check: Controleer of een Core File binnen 60 dagen gevonden wordt.

Ontkoppel L2 potentiële misconfiguratie: Controleer of er een misconfiguratie is in het geval dat Disjoint L2 is geconfigureerd.

VIC 1400 en 6400 Link Flap probleem: Controleer op de omstandigheden aanwezig in dit defect  

Controleer 2304 IOMs en sluit opnieuw aan tijdens firmware-update: controleer het Fabric Interconnect- en IO-modulemodel en controleer of er een mogelijk probleem is.

DME Health Check: Controleer de status van de database Data Management Engine (DME).

Aantal interfaceopties en Flogi-overeenkomsten op FI: aantal interfaces en flogi-sessies controleren

Jumbo- of Standaard MTU-controle: Identificeer de MTU-configuratie.

Voorbeeld van UCSM-uitvoernummer

afrahmad@AFRAHMAD-M-C3RS ucsm_health_check-master $ python UCSMTool.py

		 UCS Health Check Tool 1.1

Enter the UCSM file path: /Users/afrahmad/Desktop/20190328180425_fabric-5410-1k08_UCSM.tar

Press 1 for UCSM Health Check
Press 2 for PreUpgrade Check
Enter your choice (1/2): 2

Enter the UCS Target Version [Ex:4.1(1x)]: 4.2(1i)

Log Extraction:  [########################] COMPLETED

UCSM Version: 3.2(3h)A

Target Version: 4.2(1i)

Upgrade Path: 3.2(3) ==> 4.2(1i)

Summary Result:
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| SlNo | Name                                                              | Status     | Comments                                                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 1    | UCSM HA Cluster State                                             | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 2    | PMON Process State                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 3    | File System Mount                                                 | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 4    | Check for /var/sysmgr size issue                                  | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 5    | Check for /var/tmp size issue                                     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 6    | 6296 FI unresponsive after power cycle, HW revision update        | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 7    | Faults with Severity Major or Severity Critical                   | Found      | Review the faults and Contact TAC, if needed                   |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 8    | Check Backup Available                                            | No Backup  | Please ensure to take backup,                                  |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/UCSBackup                                 |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 9    | Keyring Cert Check                                                | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 10   | Safeshut Workaround Needed or Not                                 | Not Needed |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 11   | Deprecated Hardware in Cisco UCS Manager Release 4.x              | Found      | Review the release notes to verify the hardware compatibility. |
|      |                                                                   |            | Refer this link:                                               |
|      |                                                                   |            | http://go2.cisco.com/RN-4                                      |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 12   | Deprecated HW found for 3.1.x onwards                             | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 13   | Check for B200M4 reboot due to blank MRAID12G fields              | Found      | Contact TAC                                                    |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 14   | UCSM 3.1 Change in max power allocation causes blade discovery    | Not Found  |                                                                |
|      | failure                                                           |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 15   | Existence of bootflash corruption fault code F1219                | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 16   | Check for httpd fail to start when default keyring is deleted     | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 17   | 3rd GEN FIs has unclean file system states-"Filesystem state:     | Not Found  |                                                                |
|      | clean with errors"                                                |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 18   | Check for Server Auto-Install to 4.0(4b) Fails to Activate SAS    | Not Found  |                                                                |
|      | Controller                                                        |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 19   | Check for C-Series firmware upgrade stays long in process         | Not Found  |                                                                |
|      | "perform inventory of server"  PNU OS Inventory                   |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 20   | Check UCSM Authentication Domain using a Period or Hyphen         | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 21   | Local or fallback Authentication failure                          | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 22   | Health check between UCSM and UCS central                         | Not Found  | UCS Manager is Not Registered                                  |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 23   | LAN and SAN Pin Groups                                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 24   | Checking Pending Activities Present in UCSM                       | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 25   | Health Check for IOM                                              | PASS       |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 26   | Core Files available in UCSM Check                                | Not Found  | No core files were found in last 60 days                       |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 27   | Disjoint L2 potential misconfiguration                            | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 28   | VIC 1400 and 6400 Link Flap Issue                                 | Not Found  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 29   | Check 2304 IOMs disconnect and re-connect during firmware update  | Not Found  |                                                                |
|      | step                                                              |            |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 30   | Number of Interface up and Flogi Matching on FI                   | ---        | Primary:                                                       |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
|      |                                                                   |            | Secondary:                                                     |
|      |                                                                   |            |   FC Port Trunking Count: 0,                                   |
|      |                                                                   |            |   Eth up Port: 5,                                              |
|      |                                                                   |            |   Flogi Count: 12                                              |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+
| 31   | Jumbo or Standard MTU Check                                       | NOT_FOUND  |                                                                |
+------+-------------------------------------------------------------------+------------+----------------------------------------------------------------+

Faults with Severity Major:
F0207: Adapter ether host interface 3/3/1/2 link state: down
F0207: Adapter ether host interface 3/3/1/4 link state: down
F0207: Adapter ether host interface 3/3/1/3 link state: down
F0283: ether VIF 1153 on server 3 / 3 of switch B  down, reason: Admin config change
F0479: Virtual interface 1153 link state is down

We would recommend Customers should complete the below prior to an upgrade:
a. Review firmware release notes
b. Review compatibility
c. Upload required images
d. Generate/Review UCSM show tech
e. Determine vulnerable upgrade bugs and complete pro-active workaround
f. Verify FI HA and UCSM PMON status
g. Generate all configuration and full state backups (right before upgrade)
h. Verify data path is ready (right before upgrade)
i. Disable call home (right before upgrade)

NOTE:
a. All reports and logs will be saved in the same location from where the script was executed.
b. Please visit the Summary Report/ Main Report to view all the Major and Critical Fault alerts.

Uitvoer gereedschap analyseren - volgende stappen

• De tool automatiseert het proces van het uitvoeren van handmatige opdrachten op UCS Systems.
• Als het gereedschap OK draait en PASS/NOT geeft gevonden op alle tests. Het UCS-systeem is geschikt voor alle controles die het script heeft uitgevoerd.
• In situaties waarin het gereedschap FAIL/GEVONDEN op een aantal controles of niet succesvol wordt uitgevoerd, kunt u de CLI-opdrachten (hier vermeld) gebruiken om dezelfde controles op UCS System/Fabric interconnect uit te voeren als handmatig wordt gedaan in het script.
• De tool controleert NIET op oude/nieuwe/open/opgeloste voorbehouden en daarom wordt het ten zeerste aanbevolen om UCS Release Notes en upgrade-handleidingen te bekijken voordat een upgrade- of onderhoudsactiviteit plaatsvindt.

Tip: voor een algemene controle van uw UCS-omgeving biedt Cisco TAC deze service niet. Cisco’s CX Customer Delivery Team (voorheen bekend als Advanced Services) beschikt over een bug scrub/risico-analyse. Als u dit type service nodig hebt, neemt u contact op met uw Sales/Account Team.

CLI-opdrachten

SSH naar beide fabric interconnects:

 # show cluster extended-state, verify HA status is ready.

 # connect local-mgmt ; # show pmon state, Verify the services are in running status.

 # connect nxos ; # show system internal flash, Verify free size in  /var/sysmgr and /var/tmp

 # connect nxos ; # show module, verify HW revision number for 6296 fabric interconnects.

 # show fault detail | include F1219, verify this fault code for bootflash corruption

 # show iom health status, displays health of IOM

 # show server status, verify the status of server.

 # scope monitoring; # scope sysdebug; # show cores , verify if there are any core files.

 # scope security; # scope keyring default; #show detail, verify details for default keyring, expiry etc.

 # connect nxos; # show int br | grep -v down | wc –l, verify the number of active Ethernet interfaces.

 # scope security; # show authentication, review the authentication type.

 # connect nxos; # show flogi database, review the flogi database.