Probleemoplossing 5G SMI CEE stelt POD-problemen op

Inleiding

In dit document wordt beschreven hoe de workdown-problemen (POD) (PPP) voor het opnieuw opstarten van Subscriber Microservices Infrastructuur (SMI) Common Executive Environment (CEE) Pool of Devices (POD)) worden uitgevoerd.

Voorwaarden

Vereisten

Cisco raadt kennis van de volgende onderwerpen aan:

• Cisco SMI CEE (Ultra Cloud Core CEE)
• 5G Cloud Native Deployment Platform (CNDP) of SMI Bare Metal (BM)-architectuur
• Dockers en Kubernetes

Gebruikte componenten

De informatie in dit document is gebaseerd op de volgende software- en hardware-versies:

• SMI 2020.02.2.35
• Kubernetes v1.21.0

De informatie in dit document is gebaseerd op de apparaten in een specifieke laboratoriumomgeving. Alle apparaten die in dit document worden beschreven, hadden een opgeschoonde (standaard)configuratie. Als uw netwerk levend is, zorg er dan voor dat u de mogelijke impact van om het even welke opdracht begrijpt.

Achtergrondinformatie

Wat is SMI?

Cisco SMI is een gelaagde stapel cloudtechnologieën en standaarden die microservices-gebaseerde toepassingen mogelijk maken van Cisco Mobility, Cable en Broadband Network Gateway (BNG)-eenheden (allemaal functies voor abonneebeheer en soortgelijke datastore-vereisten.

De eigenschappen zijn:

• Layer Cloud Stack (technologieën en standaarden) om top-to-bottom implementaties te bieden en ook bestaande cloudinfrastructuur van de klant aan te passen.
• De CEE wordt gedeeld door alle toepassingen voor niet-toepassingsfuncties (gegevensopslag, plaatsing, configuratie, telemetrie en alarm). Dit biedt een consistente interactie en ervaring voor alle klanten aanraakpunten en integratiepunten.
• Toepassingen en de CEE worden uitgevoerd in microservicecontainers en aangesloten op een intelligente servicemmesh.
• Gemengde API voor implementatie, configuratie en beheer om automatisering mogelijk te maken.

Wat is SMI CEE?

De CEE is een softwareoplossing die is ontwikkeld om mobiele en kabeltoepassingen te bewaken die op de SMI worden ingezet. CEE vangt informatie (belangrijkste metriek) van de toepassingen op een gecentraliseerde manier op voor ingenieurs om te zuiveren en probleemoplossing.

CEE is de gezamenlijke reeks tools die voor alle toepassingen zijn geïnstalleerd. Deze voorziening is voorzien van een speciaal Ops-centrum, dat de gebruikersinterface (CLI) en API's biedt om de monitortools te beheren. Er is maar één CEE beschikbaar voor elke cluster.

Wat zijn CEE POD's?

Een POD is een proces dat op je Kubernetes cluster draait. De POD kapselt een korreleenheid in die bekend staat als een container. Een POD bevat één of meerdere containers.

Kubernetes implementeert een of meer POD's op één knooppunt, dat een fysieke of virtuele machine kan zijn. Elke POD heeft een aparte identiteit met een intern IP-adres en poortruimte. Maar de containers binnen een POD kunnen de opslag- en netwerkbronnen delen. CEE heeft een aantal POD's die unieke functies hebben. Pgpool en postgress zijn één van meerdere CEE's.

Wat is Pgpool POD?

Pgpool beheert de pools van posters voor verbinding, replicatie, laadbalans, enzovoort. Pgpool is een middleware die werkt tussen PostgreSQL servers en een PostgreSQL database.

Wat is Postgres POD?

Postgres ondersteunt de SQL-database (Structured Query Language) met redundantie om waarschuwingen en Grafana-dashboards op te slaan.

Probleem

De POD's van de pool worden regelmatig opnieuw opgestart, terwijl de POD's van na het begin zonder problemen lopen.

Typ deze opdracht als volgt:

show alerts active summary | include "POD_|k8s-pod-"

Hier wordt een waarschuwing van de CEE getoond.

[pod-name-smf-data/podname] cee# show alerts active summary | include "POD_|k8s-pod-"
k8s-pod-crashing-loop 1d9d2b113073 critical 12-15T21:47:39 pod-name-smf-data-mas
 Pod cee-podname/grafana-65cbdb9846-krgfq (grafana) is restarting 1.03 times / 5 minutes.
POD_Restarted 04d42efb81de major 12-15T21:45:44 pgpool-67f48f6565-vjt Container=
 k8s_pgpool_pgpool-67f48f6565-vjttd_cee-podname_a9f68607-eac4-40a9-86ef-db8176e0a22a_1474 of pod= pgpool-...
POD_Restarted f7657a0505c2 major 12-15T21:45:44 postgres-0 Container=
 k8s_postgres_postgres-0_cee-podname_59e0a768-6870-4550-8db3-32e2ab047ce2_1385 of pod= postgres-0 in name...
POD_Restarted 6e57ae945677 major 12-15T21:45:44 alert-logger-d96644d4 Container=
 k8s_alert-logger_alert-logger-d96644d4-dsc8h_cee-podname_2143c464-068a-418e-b5dd-ce1075b9360e_2421 of po...
k8s-pod-crashing-loop 5b8e6a207aad critical 12-15T21:45:09 pod-name-smf-data-mas Pod
 cee-podname/pgpool-67f48f6565-vjttd (pgpool) is restarting 1.03 times / 5 minutes.
POD_Down 45a6b9bf73dc major 12-15T20:30:44 pgpool-67f48f6565-qbw Pod= pgpool-67f48f6565-qbw52 in namespace=
 cee-podname is DOWN for more than 15min
POD_Down 4857f398a0ca major 12-15T16:40:44 pgpool-67f48f6565-vjt Pod= pgpool-67f48f6565-vjttd in namespace=
 cee-podname is DOWN for more than 15min
k8s-pod-not-ready fc65254c2639 critical 12-11T21:07:29 pgpool-67f48f6565-qbw Pod
 cee-podname/pgpool-67f48f6565-qbw52 has been in a non-ready state for longer than 1 minute.
k8s-pod-not-ready 008b859e7333 critical 12-11T16:35:49 pgpool-67f48f6565-vjt Pod
 cee-podname/pgpool-67f48f6565-vjttd has been in a non-ready state for longer than 1 minute.

Problemen oplossen

Typ deze opdracht vanuit de Kubernetes-master:

kubectl describe pods -n 
     
     
       postgres-0" 
     

De voorbeelduitvoer van de POD-beschrijving wordt hier weergegeven. De output is ingekort.

Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 14m default-scheduler Successfully assigned cee-pod-name-l1/postgres-2
 to pod-name-master-3
Normal Pulling 14m kubelet Pulling image "docker.10.192.x.x.nip.io/cee-2020.02.2.i38/
smi-libraries/postgresql/2020.02.2/postgres:1.3.0-946d87d"
Normal Pulled 13m kubelet Successfully pulled image "docker.10.192.x.x.nip.io/cee-2020.02.2.i38/
smi-libraries/postgresql/2020.02.2/postgres:1.3.0-946d87d" in 29.048094722s
Warning Unhealthy 12m kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:09:48]
 pod is not ready
Warning Unhealthy 10m kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:11:18]
 pod is not ready
Warning Unhealthy 10m kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:11:48]
 pod is not ready
Warning Unhealthy 9m49s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:12:18]
 pod is not ready
Warning Unhealthy 9m19s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:12:48]
 pod is not ready
Warning Unhealthy 8m49s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:13:18]
 pod is not ready
Warning Unhealthy 8m19s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:13:48]
 pod is not ready
Warning Unhealthy 7m49s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:14:18]
 pod is not ready
Warning Unhealthy 7m19s kubelet Readiness probe failed: [bin][h][ir] >>> [2021-10-11 18:14:48]
 pod is not ready
Warning BackOff 6m44s kubelet Back-off restarting failed container

OF

Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 13m default-scheduler 0/5 nodes are available: 2 node(s)
 didn't match Pod's node affinity/selector, 3 node(s) didn't find available persistent
 volumes to bind.
Normal Scheduled 13m default-scheduler Successfully assigned cee-pod-name-l1/postgres-0
 to pod-name-master-1
Warning FailedScheduling 13m default-scheduler 0/5 nodes are available: 2 node(s)
 didn't match Pod's node affinity/selector, 3 node(s) didn't find available
 persistent volumes to bind.
Normal Pulling 13m kubelet Pulling image "docker.10.192.x.x.nip.io/cee-2020.02.2.i38/
smi-libraries/postgresql/2020.02.2/postgres:1.3.0-946d87d"
Normal Pulled 12m kubelet Successfully pulled image "docker.10.192.x.x.nip.io/
cee-2020.02.2.i38/smi-libraries/postgresql/2020.02.2/postgres:1.3.0-946d87d"
 in 43.011763302s
Warning Unhealthy 7m20s kubelet Liveness probe failed: [bin][h][imm] >>>
 [2021-10-11 18:09:16] My name is pg-postgres-0

Werken

Opmerking: Deze procedure veroorzaakt geen inlevertijd in de aanvraag.

Sluit de CEE

Om CEE te sluiten, voer deze opdrachten in van de CEE:

[pod-name-smf-data/podname] cee# 
[pod-name-smf-data/podname] cee# config terminal
Entering configuration mode terminal
[pod-name-smf-data/podname] cee(config)# system mode shutdown
[pod-name-smf-data/podname] cee(config)# commit
Commit complete.

Wacht tot het systeem 100% is

Inhoud uit mappen verwijderen

Van master-vip, SSH naar elk van de master-VM's en verwijder de inhoud van deze mappen: /data/cee-podname/data-postgres-[0-2].

Master 1
cloud-user@pod-name-smf-data-master-1:~$ sudo rm -rf /data/cee-podname/data-postgres-0
Master 2
cloud-user@pod-name-smf-data-master-2:~$ sudo rm -rf /data/cee-podname/data-postgres-1
Master 3
cloud-user@pod-name-smf-data-master-3:~$ sudo rm -rf /data/cee-podname/data-postgres-2

CEE herstellen

Om CEE te herstellen, voer deze opdrachten in van de CEE:

[pod-name-smf-data/podname] cee# 
[pod-name-smf-data/podname] cee# config terminal
Entering configuration mode terminal
[pod-name-smf-data/podname] cee(config)# system mode running
[pod-name-smf-data/podname] cee(config)# commit
Commit complete.

Wacht tot het systeem 100% is.

Controles achteraf

Controleer Kubernetes van de meester.

cloud-user@pod-name-smf-data-master-1:~$ kubectl get pods -A -o wide | egrep 'postgres|pgpool'
All pods should display up and running without any restarts

Controleer of meldingen uit de CEE zijn verwijderd

Om te verifiëren dat signaleringen van de CEE zijn verwijderd, voert u deze opdracht in:

show alerts active summary | include "POD_|k8s-pod-"

U kunt deze opdracht ook invoeren om er zeker van te zijn dat er één master en twee standby DB's zijn:

echo "0----------------------------------";kubectl
 exec -it postgres-0 -n $(kubectl get pods -A | grep postgres | awk '{print $1}' | head -1)
 -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;echo "1--------------------------
--------";kubectl exec -it postgres-1 -n $(kubectl get pods -A | grep postgres | awk '{print $1}'
 | head -1) -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;echo "2---------------
-------------------"; kubectl exec -it postgres-2 -n $(kubectl get pods -A | grep postgres |
 awk '{print $1}' | head -1) -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;

De verwachte steekproefuitvoer is:

cloud-user@pod-name-smf-data-master-1:~$ echo "0----------------------------------";kubectl
 exec -it postgres-0 -n $(kubectl get pods -A | grep postgres | awk '{print $1}' | head -1)
 -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;echo "1--------------------------
--------";kubectl exec -it postgres-1 -n $(kubectl get pods -A | grep postgres | awk '{print $1}'
 | head -1) -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;echo "2---------------
-------------------"; kubectl exec -it postgres-2 -n $(kubectl get pods -A | grep postgres |
 awk '{print $1}' | head -1) -- /usr/local/bin/cluster/healthcheck/is_major_master.sh;
0----------------------------------
[bin][h][imm] >>> [2021-12-15 22:05:18] My name is pg-postgres-0
[bin][h][imm] >>> My state is good.
[bin][h][imm] >>> I'm not a master, nothing else to do!
1----------------------------------
[bin][h][imm] >>> [2021-12-15 22:05:19] My name is pg-postgres-1
[bin][h][imm] >>> My state is good.
[bin][h][imm] >>> I think I'm master. Will ask my neighbors if they agree.
[bin][h][imm] >>> Will ask nodes from PARTNER_NODES list
[bin][h][imm] >>> Checking node pg-postgres-0
[bin][h][imm] >>>>>>>>> Count of references to potential master pg-postgres-1 is 1 now
[bin][h][imm] >>> Checking node pg-postgres-1
[bin][h][imm] >>> Checking node pg-postgres-2
[bin][h][imm] >>>>>>>>> Count of references to potential master pg-postgres-1 is 2 now
[bin][h][imm] >>> Potential masters got references:
[bin][h][imm] >>>>>> Node: pg-postgres-1, references: 2
[bin][h][imm] >>> I have 2/2 incoming reference[s]!
[bin][h][imm] >>>> 2 - Does anyone have more?
[bin][h][imm] >>> Yahoo! I'm real master...so I think!
2----------------------------------
[bin][h][imm] >>> [2021-12-15 22:05:21] My name is pg-postgres-2
[bin][h][imm] >>> My state is good.
[bin][h][imm] >>> I'm not a master, nothing else to do!