アップグレード障害からの Catalyst 9000 スイッチの復旧

はじめに

このドキュメントでは、Catalyst 9000 シリーズ デバイスのアップグレード時に発生する一般的な障害について説明したうえで復旧手順を示します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

• Catalyst 9000 シリーズ スイッチをアップグレードする方法。

使用するコンポーネント

このドキュメントは、次のハードウェアバージョンに基づいています。

• Catalyst 9000 シリーズ スイッチ.

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

Catalyst 9000 スイッチは、Cisco IOS® XE ソフトウェアを使用し、インストールモードとバンドルモードの 2 つのモードで動作します。

インストールモードは、実行が推奨される新しいモードです。 インストールモードでは、スイッチを起動するために packages.conf という名前のパッケージプロビジョニング ファイルを使用します。さらに、フラッシュドライブには packages.conf ファイルに付随する、いくつかの .pkg ファイルがあります。packages.conf ファイルと .pkg ファイルを変更することは推奨されません。

バンドルモードでは、スイッチを起動するためにモノリシックな Cisco IOS イメージ（.bin ファイル）が使用されます。パッケージがバンドルから抽出され、RAM にコピーされるため、バンドルモードはインストールモードよりも多くのメモリを消費します。 Catalyst 9000 スイッチは、どちらのモードでも実行できます。

次に、動作モードを確認するときに実行するコマンドの出力例の一部を示します。インストールモードでは、次のようになります。

Switch#show version | be Mode 
Switch Ports Model                 SW Version        SW Image        Mode
------ ----- -----                 ----------        ----------      ----
* 2    60    C9500-12Q             16.12.4           CAT9K_IOSXE     INSTALL <-------

Switch#show run | inc boot system 
boot system bootflash:packages.conf <-------

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;    <-------
--snip--

次に、動作モードを確認するときに実行するコマンドの出力例の一部を示します。 バンドルモードでは、次のようになります。

Switch#show version | be Mode 
Switch Ports Model                  SW Version        SW Image          Mode
------ ----- -----                  ----------        ----------        ----
*    2 60    C9500-12Q              16.12.4           CAT9K_IOSXE       BUNDLE  <-------

Switch#show run | inc boot system 
boot system bootflash:cat9k_iosxe.16.12.04.SPA.bin <------- BUNDLE mode .bin image

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = bootflash:cat9k_iosxe.16.12.04.SPA.bin; <------- switch set to boot from .bin image
--snip-- 

障害シナリオ

インストールモードでリロードするとスイッチが以前のバージョンで起動する

これは、switch boot ステートメントが新しいバージョンではなく以前のバージョンを指している場合に発生する可能性があります。これを確認するには、次の手順を実行します。

ステップ 1：  コマンド を使用してブート変数を確認します。show boot

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;

Boot Variables on next reload:
BOOT variable = flash:packages.conf;
Manual Boot = no
Enable Break = yes
Boot Mode = DEVICE
iPXE Timeout = 0

ステップ 2：  コマンド を使用して、現在の .conf ファイルが属しているバージョンを確認します。more flash:packages.conf | include pkg

Switch#more flash:packages.conf | in pkg
boot rp 0 0 rp_boot cat9k-rpboot.17.03.02a.SPA.pkg
iso rp 0 0 rp_base cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_daemons cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_iosd cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_security cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_wlc cat9k-wlc.17.03.02a.SPA.pkg
iso rp 0 0 rp_webui cat9k-webui.17.03.02a.SPA.pkg
iso rp 0 0 srdriver cat9k-srdriver.17.03.02a.SPA.pkg
iso rp 0 0 guestshell cat9k-guestshell.17.03.02a.SPA.pkg
boot rp 1 0 rp_boot cat9k-rpboot.17.03.02a.SPA.pkg
iso rp 1 0 rp_base cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_daemons cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_iosd cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_security cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_wlc cat9k-wlc.17.03.02a.SPA.pkg
iso rp 1 0 rp_webui cat9k-webui.17.03.02a.SPA.pkg
iso rp 1 0 srdriver cat9k-srdriver.17.03.02a.SPA.pkg
iso rp 1 0 guestshell cat9k-guestshell.17.03.02a.SPA.pkg

ステップ 3：  ファイルが以前のバージョンを指している場合は、コマンド と を使用して正しい .conf ファイルのフラッシュを確認します。dir flash: | include confmore flash: .conf | include pkg

Switch#dir flash: | in conf
81132 -rw- 7773 Jan 5 2021 14:59:34 +00:00 packages.conf

ステップ 4：  ブート変数を正しい .conf ファイルに設定し、スイッチを再起動します。

Switch(config)#boot system flash:packages.conf
Switch#copy run start
Switch#reload

インストールモードでアップグレード/リロードした後の ROMMON モードのスイッチ 

ステップ 1： スイッチにコンソール接続します。

ステップ 2：  .conf ファイルのフラッシュを確認します。

Switch:dir flash:

ステップ 3：  正しい .conf ファイルを特定します。

Switch:more flash:packages.conf

ステップ 4：  正しい .conf ファイルを使用してスイッチを起動します。

Switch:boot flash:packages.conf

ヒント：正しいソフトウェアバージョンに対応する .conf ファイルが見つからない場合は、以前のソフトウェアバージョンに対応する .conf ファイルを使用してスイッチを起動します。 

有効なイメージがなく、デバイスが ROMMON になってスタックするシナリオでは、次のように USB を介してファイルをスイッチにコピーするか、TFTP を介してファイルをコピーすることができます。

• 1 つ目のオプション：次のコマンドで USB メモリから直接起動することができます。

boot usbflash0:cat9k_iosxe.16.12.01.SPA.bin

ヒント：USB タイプ A ポートは、FAT ファイルシステムでフォーマットされた容量 128 MB ～ 8 GB の USB フラッシュドライブをサポートします（ポート密度 128 MB、256 MB、1 GB、4 GB、8 GB の USB デバイスがサポートされます）。

• オプション #2：TFTP サーバーからのコピーはより複雑です。ラップトップを TFTP サーバーとしてセットアップし、イーサネットケーブルをデバイスの管理ポートに接続するか、デバイスの管理ポートを稼働中のデバイスのネットワークポートに接続する必要があります。その後、イメージを使用してデバイスを TFTP サーバーとして設定します。

tftp-server flash:cat9k_iosxe.16.12.01.SPA.bin

• Windows のファイアウォールやコンピュータアカウント権限の問題を心配する必要がないため、TFTP サーバーとしてルータ/スイッチを使用することをお勧めします。TFTP サーバーをセットアップしたら、これを ROMMON で設定する必要があります。

DEFAULT_GATEWAY=172.16.0.1
IP_ADDRESS=172.16.0.10
IP_SUBNET_MASK=255.255.255.0
TFTP_SERVER=172.16.0.100

• TFTP サーバーへの ping を実行して設定をテストします。

ping 172.16.0.100

• 接続が確立されたら、TFTP でファイルを直接起動します。

boot tftp://172.16.0.100/cat9k_iosxe.16.12.01.SPA.bin

バンドルモードからインストールモードへの変換

動作モードをバンドルモードからインストールモードに変換するには、次の手順を実行します。

次に、従来の request platform software package expand コマンドの使用方法を示します。 コマンドにより、WLC CLI で明確に示されます。

Switch#request platform software package expand file flash:image_name.bin

注：手動抽出プロセスでは、作成される .conf ファイルの名前が bin image file_name.conf になる可能性があります。正しい .conf ファイルを特定し、ブート変数を設定します。

インストールモードからバンドルモードへの変換

手順	コマンドまたはアクション	目的
手順 1	enable 例： switch#enable	特権 EXEC モードを有効にします。 パスワードを入力します（要求された場合）。
手順 2	show version 例： switch# show version	動作モードを確認します。
手順 3	show boot 例： switch#show boot	BOOT 変数の内容、CONFIG_FILE 変数によって指定されている構成ファイルの名前、BOOTLDR 変数の内容、コンフィギュレーション レジスタを表示します。
手順 4	no boot system 例： switch(config)# no boot system	スタートアップシステムのイメージ指定を削除します。 注：no boot system コマンドを適用する前に、使用する Cisco IOS バージョンの .bin ファイルがロードされていることを確認してください。
手順 5	boot system switch all flash 例： switch(config)#boot system switch all flash:cat9k_iosxe.16.12.04.SPA.bin	スタック内にあるすべてのスイッチのブート変数を更新します。
手順 6	exit 例： switch(config)#exit	コンフィギュレーション モードを終了し、その階層で次に高いレベルのモードを開始します。
ステップ7	write memory 例： switch#write memory	コピー元からコピー先にファイルをコピーします。
手順 8
手順 9	reload 例： switch# reload	デバイスをリロードする前に、リロードするかどうかの確認を求められます。
手順 10	show version 例： switch# show version	動作モードを確認します。

.bin ファイルの破損

これを回避するには、ソフトウェアのインストール操作を実行する前に md5 チェックサム値を確認します。 md5チェックサム値が一致しない場合は、binファイルをフラッシュメモリに再度コピーします。

Switch#verify /md5 flash:
    
    
      .bin 
    

フラッシュの容量の不足

これを回避するには、ソフトウェアをインストールする前にソフトウェアクリーン操作を実行します。ソフトウェアクリーンのコマンドシンタックスは、スイッチが現在稼働しているコードのバージョンによって異なります。

16.6.3 以前の場合：

Switch#request platform software package clean

16.6.4 以降の場合：

Switch#install remove inactive

スタック障害のシナリオ（V-Mismatch）

次のコマンド出力のように V-mismatch と表示される場合は、スイッチにインストールされているソフトウェアがアクティブスイッチと異なることを意味しています。

switch#show switch 
Switch/Stack Mac Address : 08ec.f5e1.8f80 - Local Mac Address
Mac persistency wait time: Indefinite
                                              H/W   Current
Switch#    Role    Mac Address     Priority Version  State 
-------------------------------------------------------------------------------------
*1        Active   08ec.f5e1.8f80     10     V01     Ready 
 2        Member   701f.5300.fa00     15     V01     V-Mismatch   <--- Indicates a version mismatch 

インストールモードの場合は、自動アップグレードコマンドでこれを解決できます。 自動アップグレード機能の目的は、スイッチを互換性のあるソフトウェアイメージにアップグレードしてスイッチスタックに参加できるようにすることにあります。 新しいスイッチがスイッチスタックに参加しようとすると、アクティブスイッチで互換性チェックが実行されます。各スタックメンバーは、アクティブスイッチに互換性チェックの結果を送信し、その結果に基づいてスイッチがスイッチスタックに参加できるかどうかが判断されます。新しいスイッチ上のソフトウェアがスイッチ スタックと互換性がない場合は、新しいスイッチがバージョン不一致（VM）モードに入ります。現在のスイッチスタックで自動アップグレード機能が有効になっている場合は、アクティブスイッチが、互換性のあるスタックメンバーにインストールされているものと同じソフトウェアイメージで新しいスイッチを自動的にアップグレードします。自動アップグレードは、一致しないソフトウェアが検出された数分後に開始されます。

自動アップグレードを有効にするには、新しいスイッチで グローバル コンフィギュレーション コマンドを使用します。software auto-upgrade enable

注：自動アップグレードはデフォルトで無効になっています。自動アップグレード機能は、バンドル モードで使用することはできません。スイッチスタックは、インストールモードで動作させる必要があります。

バンドルモードの場合は、次の手順を実行してください。

ステップ 1：スタックから一致していないスイッチを削除します。 

ステップ 2：  正しいバージョンにアップグレードします。

ステップ 4：  ブート変数を正しい .bin ファイルに設定し、設定を保存します。

ステップ 5：  スイッチの電源をオフにし、スタックケーブルを接続してスイッチの電源をオンにします。

Stack 1+1 変数によってスイッチが ROMMON で起動する

デバイスに次のログが表示される場合、この状態を識別できます。

switch:boot
attempting to boot from [flash:packages.conf]
Located file packages.conf
##########################################################################################################################
Validate packages: SHA-1 hash:
calculated 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
expected 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
Both links down, not waiting for other switches
Switch number is 2
Chassis 2 reloading, reason - Active/standby selection failed in 1+1 Mode                  <<<<<<
Feb 19 20:06:55.572 FP0/0: %PMAN-5-EXITACTION: Process manager is exiting: reload fp action requested 
Feb 19 20:06:57

Initializing Hardware...

復旧：

ステップ 1：Stack 1+1 変数の設定を解除します。 

Switch:unset STACK_1_1

ステップ 2：  Stack 1+1 ブートローダー変数が設定解除されたら、スイッチに設定されたブート変数からスイッチを起動できるように コマンドを発行します。boot  

switch:boot 
##########################################################################################################################
Validate packages: SHA-1 hash:
calculated 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
expected 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA

Both links down, not waiting for other switches
Switch number is 

アップグレード時にメンバースイッチの 1 つに .bin イメージをコピー/抽出できない

イメージがメンバースイッチにコピーされると、次のエラーが発生することがあります。

Preparing install operation ...
[1]: Copying software from active switch 1 to switch 2
[2]: % Failed to copy file flash:cat9k_iosxe.17.03.03.SPA.bin from active switch 1 to switch 2, 
operation aborted 

復旧：

ステップ 1：  コピーが失敗したメンバーのフラッシュを確認します。使用可能な十分なスペースがあるかどうか、またはフラッシュが破損しているかどうかを確認します。

ステップ 2：  十分なスペースがない場合は、ファイルを削除して十分なスペースを確保します。  

ステップ 3：  スペースがあるにもかかわらずコピーされない場合は、メンバースイッチのフラッシュドライブをフォーマットします。     

Switch#format flash-1:       

ステップ 4：  十分なスペースが使用可能になるかフラッシュが復旧されたら、アップグレードを実行します。  

ステップ 5：  フォーマット後も同じスイッチで同じエラーが発生する場合は、スイッチのフラッシュの問題をトラブルシュートします。

注：リリース別の詳細な手順については、アップグレードする予定のバージョンのリリースノートを参照してください。

インストールモードとバンドルモードの制限

インストールモードとバンドルモードの動作には、次の制限があります。

• インストールモードでの USB ドライバまたは TFTP からの起動はサポートされていません。

• パッケージがバンドルから抽出されて RAM にコピーされるため、バンドルモードでのスイッチの起動はインストールモードより多くのメモリを消費します。

• バンドルモードでは、自動アップグレード機能はデフォルトで無効になっており使用できません。

従来の request platform コマンド

ここでは、9500 と 9300 でサポートされている コマンドの使用について説明します。request platform

• この方法は、Cisco Catalyst 9000 スイッチでは推奨されません。前述の方法のいずれかを使用してください。 
• これらのコマンドは 16.10.1 で廃止されたため、install コマンドを使用することをお勧めします。
• 最も重要な3つのコマンドを次に示します(さらに多くのオプションがありますが、これらのコマンドの代わりにinstall コマンドを使用することをお勧めします)。 

拡張

• このコマンドにより、指定された任意の .bin ファイルが取得され、.pkg ファイルが抽出されます。

Switch#request platform software package expand switch all file flash:cat9k_iosxe.16.09.02.SPA.bin

• デバイスがバンドルモードで動作する場合。最初に expand コマンドを実行してから、boot ステートメントを packages.conf に変更し、リロードしてインストールモードにします。

インストール 

• すでにインストールモードになっている場合は、次のコマンドを使用して別のバージョンに移行します。

request platform software package install switch all file flash:test auto-copy new

clean

• 「install remove inactive」と同じ機能です。

request platform software package clean

ROMMON の改善

次に示す 3 つの ROMMON の機能拡張は、Cisco IOS XE バージョン 16.12.X から使用できます。

• show romvar  ：ROMMON 変数をダンプする新しい CLI コマンド（ROMMON 時の「set」コマンドと同等）
• ROMMON モードからファイルを表示する機能
• show bootlog ：ROMMON のアップグレードログがキャプチャされ、Cisco IOS モードと ROMMON モードの両方から使用できるようになります。

注：この機能は、デフォルトで有効になっています。この機能を無効にするには、ROMMON プロンプトで を設定します。ROMMON_BOOT_LOG_DISABLE=1

C9200L#show romvar
----------------------------------
ROMMON variables for Active Switch
----------------------------------
AUTOBOOT_COUNT="0"
AUTOBOOT_STATE="0"
BAUD="9600"
BOOT="tftp://chinmoha/pol.bin;"
BOOT64="flash:quake.itb.ssa.181009"
BOOT_LOADER_UPGRADE_DISABLE="yes"
BOOT_PARAM="ip=172.16.0.230::172.16.0.1:255.255.0.0:vore:eth0:on DEBUG_CONF= REAL_MGMTE_DEV="
CFG_MODEL_NUM="C9200L-48T-4X-E"
CLEI_CODE_NUMBER="INM6H00ARA"
DEFAULT_GATEWAY="172.16.0.1"
DEFAULT_ROUTER="172.16.0.1"
ENABLE_BREAK="yes"
IP_ADDRESS="172.16.0.230"
IP_MASK="255.255.0.0"
IP_SUBNET_MASK="255.255.0.0"
LICENSE_BOOT_LEVEL="network-essentials,all:C9200L-48;"
MAC_ADDR="70:B3:17:2E:1C:80"
MANUAL_BOOT="yes"
MODEL_NUM="C9200L-48T-4X"
MODEL_REVISION_NUM="29"
MOTHERBOARD_ASSEMBLY_NUM="73-19242-03"
MOTHERBOARD_REVISION_NUM="04"
MOTHERBOARD_SERIAL_NUM="JAE22370MLD"
ROMMON_AUTOBOOT_ATTEMPT="3"
ROMMON_BOARDID="0x315"
ROMMON_BOARDREV="0x4"
ROMMON_BOOT_LOG="1"             ---> boot log is enabled (default)
STANDALONE="1"
SWITCH_NUMBER="1"
SYSTEM_SERIAL_NUM="JAE22370MLD"
TAN_NUM="68-101384-01"
TEMPLATE="advanced"
TFTP_SERVER="172.16.0.25"
USB_DB_INFO="73-18785-03A0JAE22410UH0"
VERSION_ID="PPC"
ABNORMAL_RESET_COUNT="0"
BSI="0"
RANDOM_NUM="966540990"

       

C9200L#show bootlog switch active r0
=========================================================

//// ROMMMON Boot up log start ////

System Bootstrap, Version 99.2, DEVELOPMENT SOFTWARE
Compiled Wed 12/12/2018 14:56:53 by chinmoha
Copyright (c) 2018 by Cisco Systems, Inc.

Current ROMMON image : Primary
C9200L-48T-4X platform with 2097152 Kbytes of main memory


switch: boot: attempting to boot from [tftp://chinmoha/pol_try.bin]
Filename     : /chinmoha/pol_try.bin
IpAddress    : 172.16.0.230
TftpServer   : 172.16.0.25
TftpBlkSize  : 1468
*
File Size    : 349275061

//// ROMMMON Boot up log end ////

==========================================================
[    0.000000] Booting Linux on physical CPU 0x0
[    0.000000] Initializing cgroup subsys cpuset
[    0.000000] Initializing cgroup subsys cpu
[    0.000000] Initializing cgroup subsys cpuacct
[    0.000000] Linux version 4.4.155 (xelinux@xe-linux-bld1) (gcc version 5.3.0 (GCC) ) #1 SMP Thu Dec 13 00:46:18 PST 2018
[    0.000000] Boot CPU: AArch64 Processor [410fd034]
[    0.000000] Cisco Package: start=0xa2000000
[    0.000000] Cisco Package: size=0x12b02000
[    0.000000] Cisco Package at 0xffffffc022000000 (313532416 bytes)
[    0.000000] crashkernel reserved: 0x00000000fde00000 - 0x00000000ffe00000 (32 MB)
[    0.000000] cma: Reserved 128 MiB at 0x00000000f0000000
[    0.000000] On node 0 totalpages: 524229
[    0.000000]   DMA zone: 8192 pages used for memmap
[    0.000000]   DMA zone: 0 pages reserved
[    0.000000]   DMA zone: 524229 pages, LIFO batch:31
[    0.000000] PERCPU: Embedded 15 pages/cpu @ffffffc07ffa3000 s24472 r8192 d28776 u61440
[    0.000000] pcpu-alloc: s24472 r8192 d28776 u61440 alloc=15*4096
[    0.000000] pcpu-alloc: [0] 0 [0] 1 [0] 2 [0] 3
[    0.000000] Detected VIPT I-cache on CPU0
[    0.000000] CPU features: enabling workaround for ARM erratum 845719
[    0.000000] Built 1 zonelists in Zone order, mobility grouping on.  Total pages: 516037
--snip--

ROMMON：ROMMON モード中に USB/TFTP との間でのファイル転送を許可する

以下のコマンドは、ROMMON モード中に USB/TFTP との間でファイルを転送するのに役立ちます。 

注：これらのコマンドは、Cisco IOS XE 17.1.1 から使用できます。

switch: copy ?
usage:
	copy 
    
     
      
    
switch: 
switch: dir
usage:
	dir <path-to-directory>
supported filesystem(s):
         flash: ro flash
     bootflash: ro system partition
     usbflash0: rw front-panel USB
     usbflash1: rw back-panel USB
switch: dir flash:

Size       Attributes Name
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
—snip—
616          -rw-     vlan.dat
4096         drw-     tech_support
835079148    -rw-     cat9k_iosxe.17.01.01.SPA.bin
910498192    -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20191212_030414_2.SSA.bin
9307         -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20180819_200912_2.SS.conf
—snip—
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

switch: copy flash:vlan.dat usbflash0:
Using Destination file path: usbflash0:vlan.dat
Reading :        616
Writing :        616
switch: 
switch: dir usbflash0:                               

Size       Attributes Name
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
—snip—
880878448    -rw-     cat9k_iosxe.sh_tech_cts
835079148    -rw-     cat9k_iosxe.17.01.01.SPA.bin
4096         -rw-     ._cat9k_iosxe.17.01.01.SPA.bin
910498192    -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20191212_030414_2.SSA.bin
616          -rw-     vlan.dat
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

関連情報