Contenu

Introduction

Dépannage

Mise sous tension du Gestionnaire de cluster à partir de l'état SHUTOFF

Récupérer une instance à partir de l'état ERROR

Reconstruire CPS Cluster Manager via Snapshot

Redéployer CPS Cluster Manager via Snapshot

Vérification

Introduction

Ce document décrit les étapes à suivre pour récupérer les instances vPCRF (Virtual Policy and Charging Rules Function) de Cisco déployées sur le déploiement Ultra-M/Openstack.

Dépannage

Mise sous tension du Gestionnaire de cluster à partir de l'état SHUTOFF

Si une instance est dans l'état SHUTOFF en raison d'un arrêt planifié ou d'une autre raison, utilisez cette procédure pour démarrer l'instance et activer sa surveillance dans le contrôleur de services élastiques (ESC).

Étape 1. Vérifiez l'état de l'instance via OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | SHUTOFF|

Étape 2. Vérifiez si le calcul est disponible et assurez-vous que l'état est actif.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Étape 3. Connectez-vous à ESC Master en tant qu'utilisateur admin et vérifiez l'état de l'instance dans opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Étape 4. Mettez l'instance sous tension à partir d'openstack.

source /home/stack/destackovsrc-Pcrf

nova start SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Étape 5. Attendez cinq minutes que l'instance démarre et passe à l'état actif.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE

Étape 6. EActiver le moniteur de VM dans l'ESC après que l'instance est en état actif.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Pour une récupération ultérieure des configurations d'instance, reportez-vous aux procédures spécifiques au type d'instance fournies ici.

Récupérer une instance à partir de l'état ERROR

Cette procédure peut être utilisée si l'état de l'instance CPS dans openstack est ERROR :

Étape 1. Vérifiez l'état de l'instance dans OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | ERROR|

Étape 2. Vérifiez si le calcul est disponible et s'exécute correctement.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Étape 3. Connectez-vous à ESC Master en tant qu'utilisateur admin et vérifiez l'état de l'instance dans opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Étape 4. Réinitialisez l'état de l'instance pour forcer le rétablissement de l'état actif au lieu d'un état d'erreur, une fois terminé, redémarrez votre instance.

source /home/stack/destackovsrc-Pcrf

nova reset-state –active SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

nova reboot –-hard  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Étape 5. Attendez cinq minutes que l'instance démarre et passe à l'état actif.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE |

Étape 6. Si le Gestionnaire de cluster passe à ACTIVE après le redémarrage, activez le Moniteur de VM dans ESC après que l'instance du Gestionnaire de cluster est en état actif.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Après la récupération à l'état actif/en cours, référez-vous à la procédure spécifique au type d'instance pour récupérer la configuration/les données à partir de la sauvegarde.

Reconstruire CPS Cluster Manager via Snapshot

Si Cisco Policy Suite (CPS) est bloqué dans l'état ERROR et ne peut pas s'activer via les procédures déjà décrites et que l'instance est disponible dans openstack. Il est recommandé de reconstruire l'instance à l'aide d'une image de capture instantanée.

Étape 1. Assurez-vous que l'instantané de la configuration de dernier connu est présent en tant que fichier QCOW, utilisez ce fichier précédemment généré pendant la sauvegarde, scp/sftp it to the OpenStack Platform- Director (OSPD). Utilisez cette procédure pour la convertir en image d'un coup d'oeil :

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.raw

Alternatively,

glance image-create --name rebuild_cluman --file /home/stack/cluman_snapshot.raw --disk-format qcow2 --container-format bare

Étape 2. Utilisez une commande nova rebuild sur OSPD pour reconstruire l'instance de la machine virtuelle Cluman avec l'instantané téléchargé comme illustré.

nova rebuild

Étape 3. Attendez cinq minutes que l'instance démarre et passe à l'état actif.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 |cm_0_170d9c14-0221-4609-87e3-d752e636f57f| ACTIVE |

Étape 4. Si le Gestionnaire de cluster passe à ACTIVE après reconstruction, vérifiez l'état de l'instance dans ESC et activez le moniteur de VM dans ESC si nécessaire.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Étape 5. Vérifiez que le volume Cinder associé à l'image ISO d'origine de Cluster Manager est mis à jour avec l'heure actuelle après le redéploiement :

cinder list | grep tmobile-pcrf-13.1.1-1.iso

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

cinder show 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | grep updated_at

| updated_at                     | 2018-06-18T08:54:59.000000

updated_at                     | 2018-06-18T08:54:59.000000

Étape 6. Joindre des disques de sauvegarde ou tout autre volume Cinder précédemment attaché à l'instance de Cluster Manager si ce n'est pas le cas lors des étapes précédentes.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| ID                                   | Status    | Name                      | Size | Volume Type | Bootable | Attached to                          |

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| 0e7ec662-b59e-4e3a-91a9-35c4ed3f51d7 | available | pcrf-atp1-mongo02         | 3    | -           | false    |                                      |

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

| 4c553948-df75-4f0b-bf7b-0e64127dfda3 | available | pcrf-atp1-svn01           | 3    | -           | false    |                                      |

| 594c052e-aaa3-4c82-867d-3b36162244b3 | available | tmobile-pcrf-13.1.1-2.iso | 3    | -           | true     |                                      |

| 64953713-de86-40d5-a0e5-07db22d692f2 | in-use    | tmobile-pcrf-13.1.1.iso   | 3    | -           | true     | 80a93e90-59e2-43bd-b67e-5d766d0a2f11 |

openstack server add volume

--device

Étape 7. Si l'instantané de cluman est ancien et que la sauvegarde config_br.py est disponible à partir de la date à laquelle l'instantané de post-capture a été pris. Importez la configuration à partir de la sauvegarde et, si ce n'est pas le cas, ignorez cette étape.

ssh

config_br.py –a import --svn --etc --grafanadb --auth-htpasswd --haproxy /mnt/backup/

Étape 8. Reconstruisez toutes les images de VM à partir de la sauvegarde via config_br.py sur le gestionnaire de cluster :

/var/qps/install/current/scripts/build/build_all.sh

Redéployer CPS Cluster Manager via Snapshot

Si la machine virtuelle CPS Cluster Manager est perdue (impossible à récupérer) et que le processus de reconstruction (comme décrit dans la section 2.3) a également échoué, vous devez redéployer l'instance via ESC. Cette procédure décrit le processus pour la même :

Étape 1. Assurez-vous que l'instantané de la dernière configuration correcte est présent en tant que fichier QCOW, utilisez ce fichier précédemment généré lors de la sauvegarde, scp/sftp le retour au calcul OSPD.

ls –ltr /var/Pcrf/cluman_snapshot.qcow

-rw-r--r--. 1 root root 328514100 May 18 16:59 cluman_snapshot.qcow

Étape 2. Utilisez cette procédure pour la convertir en image d'un coup d'oeil.

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.qcow

Étape 3. Une fois que l'image est disponible, connectez-vous à l'ESC et vérifiez l'état de l'instance du gestionnaire de cluster dans les opdata de l'ESC.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

Étape 4. Assurez-vous que le fichier /home/admin/PCRF_config.xml est présent comme sauvegardé dans 2.1.1

Étape 5. Récupère le nom du déploiement, du locataire et du groupe vm_group pour le gestionnaire de cluster à récupérer.

Exemple d'extrait :

Étape 6. Déclencher une suppression de la machine virtuelle du gestionnaire de cluster de l'ESC :

Avertissement : La commande permettant de supprimer l'instance d'opdata doit être terminée. Une commande incomplète peut supprimer l'ensemble du déploiement. Soyez prudentes, s'il vous plaît. La commande doit toujours contenir tous les paramètres, à savoir le nom du locataire, le nom du déploiement et le nom du groupe_vm.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# no esc_datamodel tenants tenant Pcrf deployments deployment DEP1 vm_group cm

esc-ha-01(config)# commit

esc-ha-01(config)# exit

L'étape ci-dessus doit supprimer l'instance d'openstack ainsi que les opdata ESC. En d'autres termes, le gestionnaire de cluster ne fait plus partie du déploiement.

Étape 7. Vérifiez que l'instance du Gestionnaire de cluster est supprimée du déploiement de yangesc.log, escmanager.log dans la liste ESC et nova dans le noeud OSPD.

Étape 8.  Modifiez le fichier PCRF_config.xml sauvegardé à l'étape 2.1.1 et modifiez le nom de l'image du gestionnaire de cluster en image nouvellement créée à partir de la capture instantanée dans les étapes ci-dessus :

Avant modification

Après modification

<groupe_vm>

<nom>cm</nom>

<image>pcrf-13.1.1.qcow2</image>

<groupe_vm>

<nom>cm</nom>

<image>CPS_Cluman_13.1.1</image>

Étape 9. Modifiez le fichier PCRF_config.xml et supprimez le fichier de données utilisateur du cloud pour le groupe de machines virtuelles Cluster Manager. L'exemple d'extrait xml à supprimer s'affiche ici :

--user-data

file:///opt/cisco/esc/cisco-cps/config/pcrf-cm_cloud.cfg

CLUSTER_ID

P1

CM_IP_ADDR_PVT

192.168.1.107

PREFIX

vpc

SEQ

01

SITE_ID

DE

Étape 10. Copiez le fichier PCRF_config.xml dans /opt/cisco/esc/cisco-cps/config/dossier où tous les autres fichiers de configuration sont présents.

Étape 11. Charger Fusionner le nouveau fichier de configuration dans les données d'ouverture ESC.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# load merge /opt/cisco/esc/cisco-cps/config/PCRF_config.xml

esc-ha-01(config)# commit

esc-ha-01(config)# exit

Étape 12. Surveillez la liste yangesc.log, escmanager.log sur ESC et nova sur OSPD pour vérifier le déploiement de Cluster Manager.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,status| grep cm

| 96a5647e-9970-4e61-ab5c-5e7285543a09 | cm_0_a11a9068-df37-4974-9bd8-566f825d5e39    | ACTIVE

Étape 13. Si le Gestionnaire de cluster passe à ACTIVE après reconstruction, vérifiez l'état de l'instance dans ESC et activez le moniteur de VM dans ESC si nécessaire.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Étape 14. Connectez des disques de sauvegarde ou tout autre volume Cinder précédemment attaché à l'instance de Cluster Manager et non automatiquement attaché par esc à l'étape précédente.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| ID                                   | Status | Name                   | Size | Volume Type| Bootable| Attached to                            |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| 4c478cce-c746-455a-93f1-3f360acb87ce | in-use | CPS_14.0.0.release.iso | 3    | -           | true   | 96a5647e-9970-4e61-ab5c-5e7285543a09   |

| 7e5573d9-29bc-4ea0-b046-c666bb1f7e06 | in-use | PCRF_backup            | 1024 | -           | false  |                                        |

| d5ab1991-3e09-41f2-89f5-dd1cf8a9e172 | in-use | svn01                  | 2    | -           | false  | 09f4bafa-dfb6-457f-9af5-69196eb31b13   |

| d74988a7-1f59-4241-9777-fc4f2d4f3e78 | in-use | svn02                  | 2    | -           | false  | 86ea448d-09bc-4d2f-81a3-de05884f1e05   |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

openstack server add volume

--device

Étape 15. Si l'instantané de cluman est ancien et que la sauvegarde config_br.py est disponible à partir de la date à laquelle l'instantané de post-capture a été pris. Importez la configuration à partir de la sauvegarde, sinon ignorez cette étape.

ssh

config_br.py –a import --svn --etc --grafanadb --users --auth-htpasswd --haproxy /mnt/backup/

Étape 16. Reconstruisez toutes les images de VM à partir de la sauvegarde via config_br.py sur le gestionnaire de cluster :

/var/qps/install/current/scripts/build/build_all.sh

Vérification

- Envoyez une requête ping à l’adresse IP du gestionnaire de cluster pour vérifier que la connectivité est active.

- SSH au gestionnaire de cluster pour vérifier l'accessibilité.

- Vérifiez les diagnostics du Gestionnaire de cluster pour vous assurer que l'état d'intégrité des autres machines virtuelles de CPS n'est pas affecté.