Contents

Introduction

Troubleshoot

Ligar o Cluster Manager do estado SHUTOFF

Recuperar qualquer instância do estado ERROR

Reconstruir o CPS Cluster Manager por meio de instantâneo

Reimplante o CPS Cluster Manager por meio do Snapshot

Verificar

Introduction

Este documento descreve as etapas para recuperar instâncias do Cisco Virtual Policy and Charging Rules Function (vPCRF) implantadas na implantação do Ultra-M/Openstack.

Troubleshoot

Ligar o Cluster Manager do estado SHUTOFF

Se alguma instância estiver no estado SHUTOFF devido a um desligamento planejado ou algum outro motivo, use este procedimento para iniciar a instância e habilitar sua monitoração no controlador de serviços elásticos (ESC).

Etapa 1. Verifique o estado da instância através do OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | SHUTOFF|

Etapa 2. Verifique se o computador está disponível e se o estado está ativo.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Etapa 3. Faça login no ESC Master como usuário admin e verifique o estado da instância no opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Etapa 4. Ligue a instância do openstack.

source /home/stack/destackovsrc-Pcrf

nova start SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Etapa 5. Aguarde cinco minutos para que a instância seja inicializada e chegue ao estado ativo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE

Etapa 6. EAtive o VM Monitor no ESC depois que a instância estiver no estado ativo.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Para obter mais recuperação das configurações de instância, consulte os procedimentos específicos de tipo de instância fornecidos aqui.

Recuperar qualquer instância do estado ERROR

Este procedimento pode ser usado se o estado da instância do CPS no openstack for ERROR:

Etapa 1. Verifique o estado da instância no OpenStack.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,host,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | destackovs-compute-2  | ERROR|

Etapa 2. Verifique se o computador está disponível e funciona bem.

source /home/stack/destackovsrc

nova hypervisor-show destackovs-compute-2 | egrep ‘status|state’

| state                     | up                                       |

| status                    | enabled                                  |

Etapa 3. Faça login no ESC Master como usuário admin e verifique o estado da instância no opdata.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli get esc_datamodel/opdata | grep cm_0

SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 VM_ERROR_STATE

Etapa 4. Redefina o estado da instância para forçar a instância de volta a um estado ativo em vez de um estado de erro, uma vez concluído, reinicialize a instância.

source /home/stack/destackovsrc-Pcrf

nova reset-state –active SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

nova reboot –-hard  SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Etapa 5. Aguarde cinco minutos para que a instância seja inicializada e chegue ao estado ativo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm_0

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 | SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634 | ACTIVE |

Etapa 6. Se o Gerenciador de clusters mudar o estado para ATIVO após a reinicialização, Habilite o Monitor VM no ESC depois que a instância do Gerenciador de clusters estiver no estado ativo.

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR SVS1-tmo_cm_0_e3ac7841-7f21-45c8-9f86-3524541d6634

Após a recuperação para o estado em execução/ativo, consulte o procedimento específico do tipo de instância para recuperar a configuração/os dados do backup.

Reconstruir o CPS Cluster Manager por meio de instantâneo

Se o Cisco Policy Suite (CPS) estiver preso no estado ERROR e não puder ligar por meio de procedimentos já descritos e a instância estiver disponível no openstack. Sugere-se que você recrie a instância por meio de imagem de snapshot.

Etapa 1. Certifique-se de que o instantâneo da última configuração válida esteja presente como um arquivo QCOW, use esse arquivo gerado anteriormente durante o backup, scp/sftp de volta ao computador OpenStack Platform-Diretor (OSPD). Use este procedimento para convertê-lo em uma imagem de brilho:

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.raw

Alternatively,

glance image-create --name rebuild_cluman --file /home/stack/cluman_snapshot.raw --disk-format qcow2 --container-format bare

Etapa 2. Use um comando nova rebuild no OSPD para reconstruir a instância da VM Cluman com o snapshot carregado, como mostrado.

nova rebuild

Etapa 3. Aguarde cinco minutos para que a instância seja inicializada e chegue ao estado ativo.

source /home/stack/destackovsrc-Pcrf

nova list –fields name,status | grep cm

| c5e4ebd4-803d-45c1-bd96-fd6e459b7ed6 |cm_0_170d9c14-0221-4609-87e3-d752e636f57f| ACTIVE |

Etapa 4. Se o Gerenciador de clusters mudar o estado para ATIVO após a reconstrução, verifique o estado da instância no ESC e Habilite o Monitor VM no ESC, se necessário.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Etapa 5. Verifique se o volume Cinder associado à imagem ISO original do Cluster Manager é atualizado com a hora atual após a reimplantação:

cinder list | grep tmobile-pcrf-13.1.1-1.iso

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

cinder show 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | grep updated_at

| updated_at                     | 2018-06-18T08:54:59.000000

updated_at                     | 2018-06-18T08:54:59.000000

Etapa 6. Anexe discos de backup ou qualquer outro volume Cinder anexado anteriormente à instância do Cluster Manager se não for anexado automaticamente em etapas anteriores.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| ID                                   | Status    | Name                      | Size | Volume Type | Bootable | Attached to                          |

+--------------------------------------+-----------+---------------------------+------+-------------+----------+--------------------------------------+

| 0e7ec662-b59e-4e3a-91a9-35c4ed3f51d7 | available | pcrf-atp1-mongo02         | 3    | -           | false    |                                      |

| 2f6d7deb-60d6-40fa-926f-a88536cf98a3 | in-use    | tmobile-pcrf-13.1.1-1.iso | 3    | -           | true     | a3f3bc62-0195-483a-bbc0-692bccd37307 |

| 4c553948-df75-4f0b-bf7b-0e64127dfda3 | available | pcrf-atp1-svn01           | 3    | -           | false    |                                      |

| 594c052e-aaa3-4c82-867d-3b36162244b3 | available | tmobile-pcrf-13.1.1-2.iso | 3    | -           | true     |                                      |

| 64953713-de86-40d5-a0e5-07db22d692f2 | in-use    | tmobile-pcrf-13.1.1.iso   | 3    | -           | true     | 80a93e90-59e2-43bd-b67e-5d766d0a2f11 |

openstack server add volume

--device

Passo 7. Se o snapshot de cluman for antigo e o backup config_br.py estiver disponível de uma data após a captura do snapshot. Importe a configuração do backup e, caso contrário, ignore essa etapa.

ssh

config_br.py –a import --svn --etc --grafanadb --auth-htpasswd --haproxy /mnt/backup/

Etapa 8. Reconstruir todas as imagens da VM do backup através de config_br.py no gerenciador de cluster:

/var/qps/install/current/scripts/build/build_all.sh

Reimplante o CPS Cluster Manager por meio do Snapshot

Se a VM do CPS Cluster Manager for perdida (incapaz de recuperar) e o processo de reconstrução (como descrito em 2.3) também tiver falhado, será necessário reimplantar a instância por meio do ESC. Este procedimento descreve o processo para o mesmo:

Etapa 1. Certifique-se de que o instantâneo da última configuração válida esteja presente como um arquivo QCOW, use esse arquivo gerado anteriormente durante o backup, scp/sftp de volta ao computador OSPD.

ls –ltr /var/Pcrf/cluman_snapshot.qcow

-rw-r--r--. 1 root root 328514100 May 18 16:59 cluman_snapshot.qcow

Etapa 2. Use este procedimento para convertê-lo em uma imagem de brilho.

source /home/stack/destackovsrc-Pcrf

glance image-create --name CPS_Cluman_13.1.1 --disk-format "qcow2" --container "bare" --file /var/Pcrf/cluman_snapshot.qcow

Etapa 3. Quando a imagem estiver disponível, faça login no ESC e verifique o estado da instância do gerenciador de cluster no ESC opdata.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

Etapa 4. Certifique-se de que o arquivo /home/admin/PCRF_config.xml esteja presente como backup em 2.1.1

Etapa 5. Obtenha o nome da implantação, locatário e vm_group para o gerenciador de cluster a ser recuperado.

Exemplo de trecho:

Etapa 6. Desencadear uma exclusão da vm do Cluster Manager do ESC:

aviso: O comando para remover a instância do opdata deve ser concluído, o comando incompleto pode excluir toda a implantação. Por favor, tenha cuidado. O comando deve sempre conter todo o parâmetro, ou seja, nome do espaço, nome da implantação e nome do vm_group.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# no esc_datamodel tenants tenant Pcrf deployments deployment DEP1 vm_group cm

esc-ha-01(config)# commit

esc-ha-01(config)# exit

A etapa acima deve remover a instância do openstack e do ESC opdata. Em outras palavras, o Gerenciador de clusters não faz parte da implantação.

Passo 7. Verifique se a Instância do Cluster Manager foi removida da implantação do yangesc.log, escmanager.log no ESC e na lista nova no nó OSPD.

Etapa 8.  Modifique o arquivo PCRF_config.xml com backup na etapa 2.1.1 e modifique o nome da imagem do gerenciador de cluster para a imagem recém-criada do snapshot nas etapas acima:

Antes da alteração

Após a alteração

<vm_group>

<name>cm</name>

<image>pcrf-13.1.1.qcou2</image>

<vm_group>

<name>cm</name>

<image>CPS_Cluman_13.1.1</image>

Etapa 9. Modifique o PCRF_config.xml e remova o arquivo usuário-dados da nuvem para o grupo vm do Cluster Manager. O trecho xml de exemplo a ser removido é mostrado aqui:

--user-data

file:///opt/cisco/esc/cisco-cps/config/pcrf-cm_cloud.cfg

CLUSTER_ID

P1

CM_IP_ADDR_PVT

192.168.1.107

PREFIX

vpc

SEQ

01

SITE_ID

DE

Etapa 10. Copie o arquivo PCRF_config.xml para /opt/cisco/esc/cisco-cps/config/ pasta onde todos os outros arquivos de configuração estão presentes.

Etapa 11. Carregar Mesclar o novo arquivo de configuração para ESC opdata.

/opt/cisco/esc/confd/bin/confd_cli -u admin –C

esc-ha-01# config

esc-ha-01(config)# load merge /opt/cisco/esc/cisco-cps/config/PCRF_config.xml

esc-ha-01(config)# commit

esc-ha-01(config)# exit

Etapa 12. Monitore o yangesc.log, escmanager.log na lista ESC e nova no OSPD para verificar a implantação do Cluster Manager.

source /home/stack/destackovsrc-Pcrf

nova list --fields name,status| grep cm

| 96a5647e-9970-4e61-ab5c-5e7285543a09 | cm_0_a11a9068-df37-4974-9bd8-566f825d5e39    | ACTIVE

Etapa 13. Se o Gerenciador de clusters mudar o estado para ATIVO após a reconstrução, verifique o estado da instância no ESC e Habilite o Monitor VM no ESC, se necessário.

echo "show esc_datamodel opdata tenants tenant Pcrf deployments * state_machine | tab" | /opt/cisco/esc/confd/bin/confd_cli -u admin –C | grep cm

cm_0_170d9c14-0221-4609-87e3-d752e636f57f VM_ERROR_STATE

/opt/cisco/esc/esc-confd/esc-cli/esc_nc_cli vm-action ENABLE_MONITOR cm_0_170d9c14-0221-4609-87e3-d752e636f57f

Etapa 14. Anexe discos de backup ou qualquer outro volume Cinder anexado anteriormente à Instância do Cluster Manager e não anexado automaticamente pelo esc na etapa anterior.

source /home/stack/destackovsrc-Pcrf

cinder list

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| ID                                   | Status | Name                   | Size | Volume Type| Bootable| Attached to                            |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

| 4c478cce-c746-455a-93f1-3f360acb87ce | in-use | CPS_14.0.0.release.iso | 3    | -           | true   | 96a5647e-9970-4e61-ab5c-5e7285543a09   |

| 7e5573d9-29bc-4ea0-b046-c666bb1f7e06 | in-use | PCRF_backup            | 1024 | -           | false  |                                        |

| d5ab1991-3e09-41f2-89f5-dd1cf8a9e172 | in-use | svn01                  | 2    | -           | false  | 09f4bafa-dfb6-457f-9af5-69196eb31b13   |

| d74988a7-1f59-4241-9777-fc4f2d4f3e78 | in-use | svn02                  | 2    | -           | false  | 86ea448d-09bc-4d2f-81a3-de05884f1e05   |

+--------------------------------------+--------+------------------------+------+------------+---------+----------------------------------------+

openstack server add volume

--device

Etapa 15. Se o snapshot de cluman for antigo e o backup config_br.py estiver disponível de uma data após a captura do snapshot. Importe a configuração do backup; caso contrário, ignore esta etapa.

ssh

config_br.py –a import --svn --etc --grafanadb --users --auth-htpasswd --haproxy /mnt/backup/

Etapa 16. Reconstruir todas as imagens da VM do backup através de config_br.py no gerenciador de cluster:

/var/qps/install/current/scripts/build/build_all.sh

Verificar

- Faça ping no IP do gerenciador de clusters para garantir que a conectividade esteja ativa.

- Faça SSH do gerenciador de cluster para verificar a acessibilidade.

- Verifique os diagnósticos do Cluster Manager para garantir que o status de integridade de outras VMs do CPS não seja afetado.