Inhoud

Inleiding

Achtergrondinformatie

Afkortingen

Werkstroom van de MoP

Enkelvoudig HDD-defect

Enkelvoudig HDD-falen op een computing server

Enkelvoudig HDD-falen op een controllerserver

Enkelvoudig HDD-falen op een OSD-computing server

Enkelvoudig HDD-defect op een OSPF-server

Inleiding

Dit document beschrijft de stappen die vereist zijn om de defecte HDD-schijf in een server te vervangen in een Ultra-M instelling die Cisco Policy Suite (CPS) virtuele netwerkfunctie (VPN’s) hosts.

Achtergrondinformatie

Ultra-M is een voorverpakte en gevalideerde gevirtualiseerde mobiele pakketoplossing die is ontworpen om de plaatsing van VPN’s te vereenvoudigen. OpenStack is de Gevirtualiseerde Infrastructuur Manager (VIM) voor Ultra-M en bestaat uit deze knooppunten:

- berekenen

- Object Storage Disk - computing (OSD)

- Controller

- OpenStack Platform - Director (OSPF)

De hoge architectuur van Ultra-M en de betrokken onderdelen zijn zoals in deze afbeelding te zien:

UltraM-architectuur

Opmerking: Ultra M 5.1.x release wordt overwogen om de procedures in dit document te definiëren. Dit document is bedoeld voor het Cisco-personeel dat bekend is met het Cisco Ultra-M platform en bevat details over de stappen die moeten worden uitgevoerd op OpenStack niveau op het moment dat de OspD-server wordt vervangen.

Afkortingen

VNF

Virtuele netwerkfunctie

ESC

Elastic Service Controller

MOP

Procedure

OSD

Objectopslaglocaties

HDD

Station vaste schijf

SSD

Solid State Drive

VIM

Virtual-infrastructuurbeheer

VM

Virtuele machine

EM

Element Manager

UAS

Ultra Automation Services

UUID

Universele unieke ID-versterker

Werkstroom van de MoP

Enkelvoudig HDD-defect

1. Elke Baremetal-server wordt voorzien van twee HDD-schijven om in Raid 1-configuratie als oplegschijf te kunnen fungeren. Bij een defect met één HDD, aangezien er sprake is van redundantie met 1 niveau, kan de defecte HDD-schijf Hot Switched worden.

2. Raadpleeg de procedure om een defecte component op UCS C240 M4-server hier te vervangen: De servercomponenten vervangen

3. In het geval van een enkelvoudige HDD-storing wordt alleen de defecte HDD Hot Folder ingesteld en is er daarom geen upgrade vereist nadat u nieuwe disks hebt vervangen.

4. Nadat u de disks hebt vervangen, wacht u op de gegevenssync tussen de disks. Het kan een paar uur duren om af te ronden.

5. In een op OpenStack gebaseerde (Ultra-M) oplossing kan UCS 240M4-bladeserver één van deze rollen vervullen: Bereken, OSD-computing, controller en OSPD.

6. De stappen die vereist zijn om de enkele HDD-storing in elk van deze serverrollen aan te pakken, zijn dezelfde en in dit gedeelte wordt beschreven welke gezondheidscontroles moeten worden uitgevoerd vóór de Hot Folder van de schijf.

Enkelvoudig HDD-falen op een computing server

1. Als de storing van vaste-schijfruimte wordt waargenomen in UCS 240M4, dat als een computing-knooppunt fungeert, voert u deze gezondheidscontroles uit voordat u de Hot-wap-procedure van de defecte schijf start.

2. Identificeer de VM's die op deze server worden uitgevoerd en controleer of de functies goed zijn.

Identificeer de VM's die worden Hosted in het computing-knooppunt

Identificeer de VM's die op de computing-server worden aangeboden en controleer of ze actief en actief zijn.

De computingserver bevat een combinatie van VM's/Elastic Services Controller (ESC):

[stack@director ~]$ nova list --field name,host | grep compute-8

| 507d67c2-1d00-4321-b9d1-da879af524f8 | VNF2-DEPLOYM_XXXX_0_c8d98f0f-d874-45d0-af75-88a2d6fa82ea   | pod1-compute-8.localdomain     | ACTIVE |

| f9c0763a-4a4f-4bbd-af51-bc7545774be2 | VNF2-DEPLOYM_c2_0_df4be88d-b4bf-4456-945a-3812653ee229     | pod1-compute-8.localdomain     | ACTIVE |

| 75528898-ef4b-4d68-b05d-882014708694 | VNF2-ESC-ESC-0                                             | pod1-compute-8.localdomain     | ACTIVE |

Opmerking: In de hier weergegeven output komt de eerste kolom overeen met de universeel-unieke IDentifier (UUID), de tweede kolom is de VM naam en de derde kolom is de hostname waar de VM aanwezig is.

Gezondheidscontroles

1. Meld u aan bij het ESC-bestand dat in het computerknooppunt is opgeslagen, en controleer de status.

[admin@VNF2-esc-esc-0 esc-cli]$ escadm status

0 ESC status=0 ESC Master Healthy

2. Meld u aan bij de UAS die in het computerknooppunt is opgeslagen, en controleer de status.

ubuntu@autovnf2-uas-1:~$ sudo su

root@autovnf2-uas-1:/home/ubuntu# confd_cli -u admin -C

Welcome to the ConfD CLI

admin connected from 127.0.0.1 using console on autovnf2-uas-1

autovnf2-uas-1#show uas ha

uas ha-vip 172.18.181.101

autovnf2-uas-1#

autovnf2-uas-1#

autovnf2-uas-1#show uas

uas version 1.0.1-1

uas state ha-active

uas ha-vip 172.18.181.101

INSTANCE IP   STATE  ROLE

-----------------------------------

172.18.180.4  alive  CONFD-SLAVE

172.18.180.5  alive  CONFD-MASTER

172.18.180.8  alive  NA

autovnf2-uas-1#show errors

% No entries found.

3. Als de controles op de gezondheid geen resultaat hebben, gaat u verder met de foutieve diskprocedure voor Hot Folder en wacht u op de gegevenssync's, aangezien het een paar uur kan duren om te voltooien. Raadpleeg: De servercomponenten vervangen

4. Herhaal deze gezondheidscontroleprocedures om te bevestigen dat de gezondheidsstatus van de VM's die op computerknooppunt worden georganiseerd, wordt hersteld.

Enkelvoudig HDD-falen op een controllerserver

1. Als de storing van de vaste-schijfruimte wordt waargenomen in UCS 240M4, dat als het controllerknooppunt fungeert, voert u deze gezondheidscontroles uit voordat u de Hot-wap-procedure van de defecte schijf start.

2. Controleer de Pacemaker status op de controllers.

3. Meld u aan bij een van de actieve controllers en controleer de status van Pacemaker. Alle diensten moeten worden uitgevoerd op de beschikbare controllers en worden gestopt op de mislukte controller.

[heat-admin@pod1-controller-0 ~]$ sudo pcs status

Cluster name: tripleo_cluster

Stack: corosync

Current DC: pod1-controller-0 (version 1.1.15-11.el7_3.4-e174ec8) - partition with quorum

Last updated: Thu Jun 28 07:53:06 2018          Last change: Wed Jan 17 11:38:00 2018 by root via cibadmin on pod1-controller-0

3 nodes and 22 resources conimaged

Online: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Full list of resources:

ip-10.2.2.2      (ocf::heartbeat:IPaddr2):       Started pod1-controller-0

ip-11.120.0.42 (ocf::heartbeat:IPaddr2):       Started pod1-controller-1

ip-11.119.0.42 (ocf::heartbeat:IPaddr2):       Started pod1-controller-2

ip-11.120.0.50 (ocf::heartbeat:IPaddr2):       Started pod1-controller-0

ip-11.118.0.48 (ocf::heartbeat:IPaddr2):       Started pod1-controller-1

ip-192.200.0.102       (ocf::heartbeat:IPaddr2):       Started pod1-controller-2

Clone Set: haproxy-clone [haproxy]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: galera-master [galera]

Masters: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Clone Set: rabbitmq-clone [rabbitmq]

Started: [ pod1-controller-0 pod1-controller-1 pod1-controller-2 ]

Master/Slave Set: redis-master [redis]

Masters: [ pod1-controller-0 ]

Slaves: [ pod1-controller-1 pod1-controller-2 ]

openstack-cinder-volume        (systemd:openstack-cinder-volume):      Started pod1-controller-0

my-ipmilan-for-controller-0    (stonith:fence_ipmilan):        Started pod1-controller-1

my-ipmilan-for-controller-1    (stonith:fence_ipmilan):        Started pod1-controller-2

my-ipmilan-for-controller-2    (stonith:fence_ipmilan):        Started pod1-controller-0

Daemon Status:

corosync: active/enabled

pacemaker: active/enabled

pcsd: active/enabled

4. Controleer de MariaDB-status in de actieve controllers.

[stack@director] nova list | grep control

| 4361358a-922f-49b5-89d4-247a50722f6d | pod1-controller-0 | ACTIVE | - | Running | ctlplane=192.200.0.102 |

| d0f57f27-93a8-414f-b4d8-957de0d785fc | pod1-controller-1 | ACTIVE | - | Running | ctlplane=192.200.0.110 |

[stack@director ~]$ for i in 192.200.0.102 192.200.0.110 ; do echo "*** $i ***" ; ssh heat-admin@$i "sudo mysql --exec=\"SHOW STATUS LIKE 'wsrep_local_state_comment'\" ; sudo mysql --exec=\"SHOW STATUS LIKE 'wsrep_cluster_size'\""; done

*** 192.200.0.152 ***

Variable_name     Value

wsrep_local_state_comment  Synced

Variable_name     Value

wsrep_cluster_size         2

*** 192.200.0.154 ***

Variable_name     Value

wsrep_local_state_comment  Synced

Variable_name     Value

wsrep_cluster_size         2

Controleer dat deze lijnen aanwezig zijn voor elke actieve controller:

wsrep_local_state_comment: Synced

wsrep_cluster_size: 2

5. Controleer Rabbitmq status bij de actieve controllers.

[heat-admin@pod1-controller-0 ~]$ sudo rabbitmqctl cluster_status

Cluster status of node 'rabbit@pod1-controller-0' ...

[{nodes,[{disc,['rabbit@pod1-controller-0','rabbit@pod1-controller-1',

'rabbit@pod1-controller-2']}]},

{running_nodes,['rabbit@pod1-controller-2',

'rabbit@pod1-controller-1',

'rabbit@pod1-controller-0']},

{cluster_name,<<"rabbit@pod1-controller-0.localdomain">>},

{partitions,[]},

{alarms,[{'rabbit@pod1-controller-2',[]},

{'rabbit@pod1-controller-1',[]},

{'rabbit@pod1-controller-0',[]}]}]

6. Als de controles op de gezondheid geen resultaat hebben, voert u de diskette Hot Folder uit en wacht u op de gegevenssync's, aangezien deze misschien een paar uur nodig heeft om te voltooien. Raadpleeg: De servercomponenten vervangen

7. Herhaal deze procedures voor de gezondheidscontrole om te bevestigen dat de gezondheidsstatus van de controller wordt hersteld.

Enkelvoudig HDD-falen op een OSD-computing server

Als de storing van HDD-harde schijven wordt waargenomen in UCS 240M4, dat fungeert als een OSD-Computknooppunt, voert u deze controles uit voordat u de Hot Folder start.

Identificeer de VM's die worden Hosted in het OSD-computing knooppunt

1. De computing-server bevat ESC VM.

[stack@director ~]$ nova list --field name,host | grep osd-compute-1

| 507d67c2-1d00-4321-b9d1-da879af524f8 | VNF2-DEPLOYM_XXXX_0_c8d98f0f-d874-45d0-af75-88a2d6fa82ea   | pod1-compute-8.localdomain     | ACTIVE |

| f9c0763a-4a4f-4bbd-af51-bc7545774be2 | VNF2-DEPLOYM_c1_0_df4be88d-b4bf-4456-945a-3812653ee229     | pod1-compute-8.localdomain     | ACTIVE |

| 75528898-ef4b-4d68-b05d-882014708694 | VNF2-ESC-ESC-0                                             | pod1-compute-8.localdomain     | ACTIVE |

| f5bd7b9c-476a-4679-83e5-303f0aae9309 | VNF2-UAS-uas-0                                             | pod1-compute-8.localdomain     | ACTIVE |

Opmerking: In de hier weergegeven output komt de eerste kolom overeen met de (UUID), de tweede kolom is de VM naam en de derde kolom is de hostname waar de VM aanwezig is.

2. Ceph-processen zijn actief op de OSD-Computserver.

[root@pod1-osd-compute-1 ~]# systemctl list-units *ceph*

UNIT                              LOAD   ACTIVE SUB     DESCRIPTION

var-lib-ceph-osd-ceph\x2d11.mount loaded active mounted /var/lib/ceph/osd/ceph-11

var-lib-ceph-osd-ceph\x2d2.mount  loaded active mounted /var/lib/ceph/osd/ceph-2

var-lib-ceph-osd-ceph\x2d5.mount  loaded active mounted /var/lib/ceph/osd/ceph-5

var-lib-ceph-osd-ceph\x2d8.mount  loaded active mounted /var/lib/ceph/osd/ceph-8

ceph-osd@11.service               loaded active running Ceph object storage daemon

ceph-osd@2.service                loaded active running Ceph object storage daemon

ceph-osd@5.service                loaded active running Ceph object storage daemon

ceph-osd@8.service                loaded active running Ceph object storage daemon

system-ceph\x2ddisk.slice         loaded active active  system-ceph\x2ddisk.slice

system-ceph\x2dosd.slice          loaded active active  system-ceph\x2dosd.slice

ceph-mon.target                   loaded active active  ceph target allowing to start/stop all ceph-mon@.service instances at once

ceph-osd.target                   loaded active active  ceph target allowing to start/stop all ceph-osd@.service instances at once

ceph-radosgw.target               loaded active active  ceph target allowing to start/stop all ceph-radosgw@.service instances at once

ceph.target                       loaded active active  ceph target allowing to start/stop all ceph*@.service instances at once

3. Controleer of OSD (HDD-schijf) op Journal (SSD) in kaart is gebracht.

[heat-admin@pod1-osd-compute-3 ~]$ sudo ceph-disk list

/dev/sda :

/dev/sda1 other, iso9660

/dev/sda2 other, xfs, mounted on /

/dev/sdb :

/dev/sdb1 ceph journal, for /dev/sdc1

/dev/sdb3 ceph journal, for /dev/sdd1

/dev/sdb2 ceph journal, for /dev/sde1

/dev/sdb4 ceph journal, for /dev/sdf1

/dev/sdc :

/dev/sdc1 ceph data, active, cluster ceph, osd.1, journal /dev/sdb1

/dev/sdd :

/dev/sdd1 ceph data, active, cluster ceph, osd.7, journal /dev/sdb3

/dev/sde :

/dev/sde1 ceph data, active, cluster ceph, osd.4, journal /dev/sdb2

/dev/sdf :

/dev/sdf1 ceph data, active, cluster ceph, osd.10, journal /dev/sdb4

4. Controleer of de gezondheid van de Ceph en de OSD-boommapping goed zijn.

[heat-admin@pod1-osd-compute-3 ~]$ sudo ceph -s

cluster eb2bb192-b1c9-11e6-9205-525400330666

health HEALTH_OK

1 mons down, quorum 0,1 pod1-controller-0,pod1-controller-1

monmap e1: 3 mons at {pod1-controller-0=11.118.0.10:6789/0,pod1-controller-1=11.118.0.11:6789/0,pod1-controller-2=11.118.0.12:6789/0}

election epoch 28, quorum 0,1 pod1-controller-0,pod1-controller-1

osdmap e709: 12 osds: 12 up, 12 in

flags sortbitwise,require_jewel_osds

pgmap v941813: 704 pgs, 6 pools, 490 GB data, 163 kobjects

1470 GB used, 11922 GB / 13393 GB avail

704 active+clean

client io 58580 B/s wr, 0 op/s rd, 7 op/s wr

[heat-admin@pod1-osd-compute-3 ~]$ sudo ceph osd tree

ID WEIGHT   TYPE NAME                   UP/DOWN REWEIGHT PRIMARY-AFFINITY

-1 13.07996 root default

-2  4.35999     host pod1-osd-compute-0

0  1.09000         osd.0                    up  1.00000          1.00000

3  1.09000         osd.3                    up  1.00000          1.00000

6  1.09000         osd.6                    up  1.00000          1.00000

9  1.09000         osd.9                    up  1.00000          1.00000

-4  4.35999     host pod1-osd-compute-2

2  1.09000         osd.2                    up  1.00000          1.00000

5  1.09000         osd.5                    up  1.00000          1.00000

8  1.09000         osd.8                    up  1.00000          1.00000

11  1.09000         osd.11                   up  1.00000          1.00000

-5  4.35999     host pod1-osd-compute-3

1  1.09000         osd.1                    up  1.00000          1.00000

4  1.09000         osd.4                    up  1.00000          1.00000

7  1.09000         osd.7                    up  1.00000          1.00000

10  1.09000         osd.10                   up  1.00000          1.00000

5. Als de controles op de gezondheid geen resultaat hebben, gaat u verder met de foutieve diskprocedure voor Hot Folder en wacht u op de gegevenssync's, aangezien het een paar uur kan duren om te voltooien. Raadpleeg De serveronderdelen vervangen

6. Herhaal deze procedures voor de gezondheidscontrole om te bevestigen dat de gezondheidsstatus van de VM's die op OSD-Computeknop worden georganiseerd, wordt hersteld.

Enkelvoudig HDD-defect op een OSPF-server

1. Als de storing van de HDD-schijf wordt waargenomen in UCS 240M4, dat fungeert als een OSPD-knooppunt, wordt u aangeraden deze controles uit te voeren voordat u de Hot Folder van de defecte schijf start.

2. Controleer de status van de OpenStack en de lijst met knooppunten.

[stack@director ~]$ source stackrc

[stack@director ~]$ openstack stack list --nested

[stack@director ~]$ ironic node-list

[stack@director ~]$ nova list

3. Controleer of alle ondercloudservices zich in geladen, actieve en actieve status bevinden vanaf het OSPD-knooppunt.

[stack@director ~]$ systemctl list-units "openstack*" "neutron*" "openvswitch*"

UNIT                                       LOAD   ACTIVE SUB     DESCRIPTION

neutron-dhcp-agent.service                 loaded active running OpenStack Neutron DHCP Agent

neutron-openvswitch-agent.service          loaded active running OpenStack Neutron Open vSwitch Agent

neutron-ovs-cleanup.service                loaded active exited  OpenStack Neutron Open vSwitch Cleanup Utility

neutron-server.service                     loaded active running OpenStack Neutron Server

openstack-aodh-evaluator.service           loaded active running OpenStack Alarm evaluator service

openstack-aodh-listener.service            loaded active running OpenStack Alarm listener service

openstack-aodh-notifier.service            loaded active running OpenStack Alarm notifier service

openstack-ceilometer-central.service       loaded active running OpenStack ceilometer central agent

openstack-ceilometer-collector.service     loaded active running OpenStack ceilometer collection service

openstack-ceilometer-notification.service  loaded active running OpenStack ceilometer notification agent

openstack-glance-api.service               loaded active running OpenStack Image Service (code-named Glance) API server

openstack-glance-registry.service          loaded active running OpenStack Image Service (code-named Glance) Registry server

openstack-heat-api-cfn.service             loaded active running Openstack Heat CFN-compatible API Service

openstack-heat-api.service                 loaded active running OpenStack Heat API Service

openstack-heat-engine.service              loaded active running Openstack Heat Engine Service

openstack-ironic-api.service               loaded active running OpenStack Ironic API service

openstack-ironic-conductor.service         loaded active running OpenStack Ironic Conductor service

openstack-ironic-inspector-dnsmasq.service loaded active running PXE boot dnsmasq service for Ironic Inspector

openstack-ironic-inspector.service         loaded active running Hardware introspection service for OpenStack Ironic

openstack-mistral-api.service              loaded active running Mistral API Server

openstack-mistral-engine.service           loaded active running Mistral Engine Server

openstack-mistral-executor.service         loaded active running Mistral Executor Server

openstack-nova-api.service                 loaded active running OpenStack Nova API Server

openstack-nova-cert.service                loaded active running OpenStack Nova Cert Server

openstack-nova-compute.service             loaded active running OpenStack Nova Compute Server

openstack-nova-conductor.service           loaded active running OpenStack Nova Conductor Server

openstack-nova-scheduler.service           loaded active running OpenStack Nova Scheduler Server

openstack-swift-account-reaper.service     loaded active running OpenStack Object Storage (swift) - Account Reaper

openstack-swift-account.service            loaded active running OpenStack Object Storage (swift) - Account Server

openstack-swift-container-updater.service  loaded active running OpenStack Object Storage (swift) - Container Updater

openstack-swift-container.service          loaded active running OpenStack Object Storage (swift) - Container Server

openstack-swift-object-updater.service     loaded active running OpenStack Object Storage (swift) - Object Updater

openstack-swift-object.service             loaded active running OpenStack Object Storage (swift) - Object Server

openstack-swift-proxy.service              loaded active running OpenStack Object Storage (swift) - Proxy Server

openstack-zaqar.service                    loaded active running OpenStack Message Queuing Service (code-named Zaqar) Server

openstack-zaqar@1.service                  loaded active running OpenStack Message Queuing Service (code-named Zaqar) Server Instance 1

openvswitch.service                        loaded active exited  Open vSwitch

LOAD   = Reflects whether the unit definition was properly loaded.

ACTIVE = The high-level unit activation state, i.e. generalization of SUB.

SUB    = The low-level unit activation state, values depend on unit type.

37 loaded units listed. Pass --all to see loaded but inactive units, too.

To show all installed unit files use 'systemctl list-unit-files'.

4. Als de controles op de gezondheid geen resultaat hebben, voert u de diskette Hot Folder uit en wacht u op de gegevenssync's, aangezien deze misschien een paar uur nodig heeft om te voltooien. Raadpleeg De serveronderdelen vervangen

5. Herhaal deze procedures voor de gezondheidscontrole om te bevestigen dat de gezondheidsstatus van het OSPD-knooppunt wordt hersteld.