アップグレード障害からのCatalyst 9000スイッチの復旧

概要

このドキュメントでは、Catalyst 9000シリーズデバイスのアップグレード時に発生する一般的な障害について説明し、回復手順を示します。

前提条件

要件

次の項目に関する知識があることが推奨されます。

• Catalyst 9000シリーズスイッチのアップグレード方法。

使用するコンポーネント

このドキュメントは、次のハードウェアバージョンに基づいています。

• Catalyst 9000 シリーズ スイッチ.

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

Catalyst 9000スイッチはCisco IOS® XEソフトウェアを使用し、インストールモードとバンドルモードの2つのモードで動作します。

インストールモードは、実行が推奨される新しいモードです。 インストールモードでは、スイッチのブートにpackages.confという名前のパッケージプロビジョニングファイルが使用されます。さらに、フラッシュドライブにpackages.confファイルに付属する多数の.pkgファイルがあります。packages.confファイルと.pkgファイルの変更はお勧めしません。

バンドルモードでは、スイッチのブートにモノリシックCisco IOSイメージ（.binファイル）が使用されます。バンドルモードでは、パッケージがバンドルから抽出されてRAMにコピーされるため、インストールモードよりも多くのメモリが消費されます。 Catalyst 9000スイッチは、どちらのモードでも実行できます。

次に、動作モードを確認するためのいくつかのコマンドの出力例の一部を示します。インストールモード：

Switch#show version | be Mode 
Switch Ports Model                 SW Version        SW Image        Mode
------ ----- -----                 ----------        ----------      ----
* 2    60    C9500-12Q             16.12.4           CAT9K_IOSXE     INSTALL <-------

Switch#show run | inc boot system 
boot system bootflash:packages.conf <-------

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;    <-------
--snip--

次に、動作モードを確認するためのいくつかのコマンドの出力例の一部を示します。 バンドルモード：

Switch#show version | be Mode 
Switch Ports Model                  SW Version        SW Image          Mode
------ ----- -----                  ----------        ----------        ----
*    2 60    C9500-12Q              16.12.4           CAT9K_IOSXE       BUNDLE  <-------

Switch#show run | inc boot system 
boot system bootflash:cat9k_iosxe.16.12.04.SPA.bin <------- BUNDLE mode .bin image

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = bootflash:cat9k_iosxe.16.12.04.SPA.bin; <------- switch set to boot from .bin image
--snip-- 

障害シナリオ

インストールモードでリロードした後、スイッチが以前のバージョンでブートする

これは、スイッチのブート文が新しいバージョンではなく以前のバージョンを指している場合に発生する可能性があります。これを確認するには、次の手順を実行します。

ステップ 1： 次のコマンドでブート変数を確認します  show boot を参照。

Switch#show boot
---------------------------
Switch 1
---------------------------
Current Boot Variables:
BOOT variable = flash:packages.conf;

Boot Variables on next reload:
BOOT variable = flash:packages.conf;
Manual Boot = no
Enable Break = yes
Boot Mode = DEVICE
iPXE Timeout = 0

ステップ 2： コマンドを使用して、現在の.confファイルが属するバージョンを確認します  more flash:packages.conf | include pkg を参照。

Switch#more flash:packages.conf | in pkg
boot rp 0 0 rp_boot cat9k-rpboot.17.03.02a.SPA.pkg
iso rp 0 0 rp_base cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_daemons cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_iosd cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_security cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 0 0 rp_wlc cat9k-wlc.17.03.02a.SPA.pkg
iso rp 0 0 rp_webui cat9k-webui.17.03.02a.SPA.pkg
iso rp 0 0 srdriver cat9k-srdriver.17.03.02a.SPA.pkg
iso rp 0 0 guestshell cat9k-guestshell.17.03.02a.SPA.pkg
boot rp 1 0 rp_boot cat9k-rpboot.17.03.02a.SPA.pkg
iso rp 1 0 rp_base cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_daemons cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_iosd cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_security cat9k-rpbase.17.03.02a.SPA.pkg
iso rp 1 0 rp_wlc cat9k-wlc.17.03.02a.SPA.pkg
iso rp 1 0 rp_webui cat9k-webui.17.03.02a.SPA.pkg
iso rp 1 0 srdriver cat9k-srdriver.17.03.02a.SPA.pkg
iso rp 1 0 guestshell cat9k-guestshell.17.03.02a.SPA.pkg

ステップ 3： ファイルが以前のバージョンを指している場合は、コマンドを使用してフラッシュで正しい.confファイルを確認します dir flash: | include conf   と  more flash: .conf | include pkg  を参照。

Switch#dir flash: | in conf
81132 -rw- 7773 Jan 5 2021 14:59:34 +00:00 packages.conf

ステップ 4： ブート変数を正しい.confファイルに設定し、スイッチをリブートします。

Switch(config)#boot system flash:packages.conf
Switch#copy run start
Switch#reload

インストールモードでのアップグレード/リロード後のROMMONモードでの切り替え 

ステップ 1： スイッチにコンソール接続します。

ステップ 2： フラッシュで.confファイルを確認します。

Switch:dir flash:

ステップ 3： 正しい.confファイルを特定します。

Switch:more flash:packages.conf

ステップ 4： 正しい.confファイルを使用してスイッチをブートします

Switch:boot flash:packages.conf

ヒント：正しいソフトウェアバージョンに対応する.confファイルが見つからない場合は、前のソフトウェアバージョンに対応する.confファイルを使用してスイッチを起動します。 

デバイスが有効なイメージのないROMMONでスタックするシナリオでは、USB経由でスイッチにファイルをコピーするか、TFTP経由でファイルをコピーするオプションがあります。

• 1 つ目のオプション：次のコマンドで USB メモリから直接起動することができます。

boot usbflash0:cat9k_iosxe.16.12.01.SPA.bin

ヒント: USBタイプAポートは、FATファイルシステムでフォーマットされた、容量128 MB ～ 8 GBのUSBフラッシュドライブをサポートします（ポート密度128 MB、256 MB、1 GB、4 GB、8 GBのUSBデバイスをサポート）

• オプション#2:TFTPサーバからのコピーはより複雑です。ラップトップをTFTPサーバとして設定し、イーサネットケーブルをデバイスの管理ポートに接続するか、デバイスの管理ポートを動作中のデバイスのネットワークポートに接続する必要があります。次に、TFTPサーバとしてイメージを使用してデバイスを設定します。

tftp-server flash:cat9k_iosxe.16.12.01.SPA.bin

• Windowsファイアウォールやコンピュータアカウントの特権の問題を心配する必要がないように、TFTPサーバとしてルータ/スイッチを使用することをお勧めします。TFTPサーバを設定したら、これをROMMONで設定する必要があります。

DEFAULT_GATEWAY=172.16.0.1
IP_ADDRESS=172.16.0.10
IP_SUBNET_MASK=255.255.255.0
TFTP_SERVER=172.16.0.100

• TFTPサーバにpingして設定をテストします。

ping 172.16.0.100

• 接続が確立されたら、TFTP上のファイルを右ブートします。

boot tftp://172.16.0.100/cat9k_iosxe.16.12.01.SPA.bin

バンドルからインストールモードへの変換

次の手順を実行して、動作モードをバンドルモードからインストールモードに変換します。

次の例は、従来のrequest platform software package expandの使用方法を示しています コマンドにより、WLC CLI で明確に示されます。

Switch#request platform software package expand file flash:image_name.bin

注：手動抽出プロセスでは、作成されたconfファイルにbin image file_name.confという名前を付けることができます。正しいconfファイルを特定し、ブート変数を設定します。

インストールモードからバンドルモードへの変換

手順	コマンドまたはアクション	目的
手順 1	enable 以下に例を挙げます。 switch#enable	特権EXECモードを有効にします。 パスワードを入力します（要求された場合）。
手順 2	show version 以下に例を挙げます。 switch#show version	動作モードを確認する
手順 3	show boot 以下に例を挙げます。 スイッチ#show boot	BOOT変数の内容、CONFIG_FILE変数が指すコンフィギュレーションファイルの名前、BOOTLDR変数の内容、およびコンフィギュレーションレジスタを表示します
手順 4	ブートシステムなし 以下に例を挙げます。 switch(config)#no boot system	スタートアップシステムイメージの指定を削除します。 注:no boot systemコマンドを適用する前に、使用するCisco IOSバージョンの.binファイルがロードされていることを確認してください。
手順 5	boot system switch all flash（システムスイッチのすべてのフラッシュをブート） 以下に例を挙げます。 switch(config)#boot system switch all flash:cat9k_iosxe.16.12.04.SPA.bin	スタック内のすべてのスイッチのブート変数を更新します。
手順 6	exit 以下に例を挙げます。 switch(config)#exit	コンフィギュレーションモードを階層の次に高いモードに戻します。
ステップ7	write memory 以下に例を挙げます。 switch#write memory	ファイルをコピー元からコピー先にコピーします。
手順 8
手順 9	reload 以下に例を挙げます。 switch#reload	デバイスをリロードする前に、リロードするかどうかの確認を求められます。
手順 10	show version 以下に例を挙げます。 switch#show version	動作モードを確認する

破損したBinファイル

これを回避するには、ソフトウェアのインストール操作を実行する前にmd5チェックサム値を確認します。 md5チェックサム値が一致しない場合は、binファイルをフラッシュメモリに再度コピーします。

Switch#verify /md5 flash:
    
    
      .bin 
    

フラッシュに十分な領域がない

これを回避するには、ソフトウェアをインストールする前にソフトウェアのクリーン操作を実行します。ソフトウェアクリーンのコマンド構文は、スイッチが現在存在するコードのバージョンによって異なります。

16.6.3以前の場合

Switch#request platform software package clean

16.6.4以降：

Switch#install remove inactive

スタック障害のシナリオ(V-Mismatch)

Vミスマッチが発生する場合は、次のコマンド出力に示すように、スイッチにインストールされているソフトウェアがアクティブとは異なっていることを意味します。

switch#show switch 
Switch/Stack Mac Address : 08ec.f5e1.8f80 - Local Mac Address
Mac persistency wait time: Indefinite
                                              H/W   Current
Switch#    Role    Mac Address     Priority Version  State 
-------------------------------------------------------------------------------------
*1        Active   08ec.f5e1.8f80     10     V01     Ready 
 2        Member   701f.5300.fa00     15     V01     V-Mismatch   <--- Indicates a version mismatch 

インストールモードの場合は、auto-upgradeコマンドを使用してこの問題を解決できます。 自動アップグレード機能の目的は、スイッチを互換性のあるソフトウェアイメージにアップグレードして、スイッチをスイッチスタックに追加できるようにすることです。 新しいスイッチがスイッチスタックへの参加を試みると、アクティブスイッチが互換性チェックを実行します。各スタックメンバーは、互換性チェックの結果をアクティブスイッチに送信します。アクティブスイッチはその結果を使用して、スイッチがスイッチスタックに参加できるかどうかを判断します。新しいスイッチのソフトウェアがスイッチスタックと互換性がない場合、新しいスイッチはバージョン不一致(VM)モードになります。現在のスイッチスタックで自動アップグレード機能が有効になっている場合、アクティブスイッチは、互換性のあるスタックメンバにインストールされている同じソフトウェアイメージを使用して、新しいスイッチを自動的にアップグレードします。ソフトウェアの不一致が検出されると、自動アップグレードが数分後に開始されます。

自動アップグレードを有効にするには、  software auto-upgrade enable   グローバル設定コマンドを発行します。

注：自動アップグレードはデフォルトで無効になっています。バンドルモードでは、自動アップグレード機能は使用できません。スイッチスタックはインストールモードで動作する必要があります。

バンドルモードの場合は、次の手順を実行してください。

ステップ 1：スタックから不一致のスイッチを削除します。 

ステップ 2： 正しいバージョンにアップグレードします。

ステップ 4： ブート変数を正しい.binファイルに設定し、設定を保存します。

ステップ 5： スイッチの電源をオフにし、スタックケーブルを接続して、スイッチの電源をオンにします。

スタック1+1変数によるスイッチのROMMONブート

この状態は、デバイスに次のログが表示されている場合に識別できます。

switch:boot
attempting to boot from [flash:packages.conf]
Located file packages.conf
##########################################################################################################################
Validate packages: SHA-1 hash:
calculated 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
expected 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
Both links down, not waiting for other switches
Switch number is 2
Chassis 2 reloading, reason - Active/standby selection failed in 1+1 Mode                  <<<<<<
Feb 19 20:06:55.572 FP0/0: %PMAN-5-EXITACTION: Process manager is exiting: reload fp action requested 
Feb 19 20:06:57

Initializing Hardware...

復旧：

ステップ 1：Stack 1+1変数の設定を解除します。 

Switch:unset STACK_1_1

ステップ 2： Stack 1+1ブートローダ変数が設定されていない場合は、   boot  コマンドを発行して、スイッチに設定されているブート変数からスイッチをブートできるようにします。

switch:boot 
##########################################################################################################################
Validate packages: SHA-1 hash:
calculated 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA
expected 550C9730:667B2788:DD6F6B06:D0FFA819:01A315DA

Both links down, not waiting for other switches
Switch number is 

アップグレード時にBinイメージをメンバスイッチの1つにコピー/抽出できない

イメージがメンバスイッチにコピーされると、エラーが発生する場合があります。

Preparing install operation ...
[1]: Copying software from active switch 1 to switch 2
[2]: % Failed to copy file flash:cat9k_iosxe.17.03.03.SPA.bin from active switch 1 to switch 2, 
operation aborted 

復旧：

ステップ 1： コピーが失敗したメンバーのフラッシュを確認します。十分な空き容量があるか、またはフラッシュが破損しているかどうかを確認します。

ステップ 2： 十分なスペースがない場合は、ファイルを削除して十分なスペースを確保します。  

ステップ 3： 空き容量があってもコピーされない場合は、メンバスイッチのフラッシュドライブをフォーマットします。     

Switch#format flash-1:       

ステップ 4： 十分な空き領域またはフラッシュが回復したら、アップグレードを実行します  

ステップ 5： フォーマット後でも同じスイッチで同じエラーが発生する場合は、スイッチのフラッシュの問題をトラブルシューティングしてください。

注：リリース固有の手順の詳細については、アップグレードを計画しているバージョンのリリースノートを参照してください。

インストールモードとバンドルモードの制約事項

インストールモードとバンドルモードの動作には、次の制限があります。

• インストールモードでのUSBドライバまたはTFTPからのブートはサポートされていません。

• バンドルモードでスイッチをブートすると、パッケージがバンドルから抽出されてRAMにコピーされるため、インストールモードよりも多くのメモリが消費されます。

• 自動アップグレード機能はデフォルトで無効になっており、バンドルモードでは使用できません。

レガシー要求プラットフォームのコマンド

このセクションでは、  request platform  9500および9300でサポートされています。

• この方式は、Cisco Catalyst 9000スイッチには推奨されません。前述の方法のいずれかを使用してください。
• これらのコマンドは16.10.1で廃止されました。installコマンドを使用することをお勧めします。
• 最も重要な3つのコマンドを次に示します(さらに多くのオプションがありますが、  install   コマンドを使用)。 

拡張

• このコマンドは、指定した.binファイルを取得し、.pkgファイルを抽出します。

Switch#request platform software package expand switch all file flash:cat9k_iosxe.16.09.02.SPA.bin

• デバイスがバンドルモードで動作している場合。最初に expand コマンドを実行してから、boot ステートメントを packages.conf に変更し、リロードしてインストールモードにします。

インストール 

• すでにインストールモードになっている場合は、このコマンドを使用して別のバージョンに移行します。

request platform software package install switch all file flash:test auto-copy new

clean

• 「install remove inactive」と同じことを行います。

request platform software package clean

ROMMONの改善

次の3つのROMMON拡張機能は、Cisco IOS XEバージョン16.12.Xから利用可能です

• show romvar  —  ROMMON変数をダンプする新しいCLIコマンド（ROMMONでの「set」コマンドに相当）
• ROMMONモードからのファイル表示機能
• show bootlog — ROMMONアップグレードログがキャプチャされ、Cisco IOSモードとROMMONモードの両方から使用できるようになります。

注：この機能はデフォルトで有効になっています。機能セットを無効にするには   ROMMON_BOOT_LOG_DISABLE=1 ROMMONプロンプトで

C9200L#show romvar
----------------------------------
ROMMON variables for Active Switch
----------------------------------
AUTOBOOT_COUNT="0"
AUTOBOOT_STATE="0"
BAUD="9600"
BOOT="tftp://chinmoha/pol.bin;"
BOOT64="flash:quake.itb.ssa.181009"
BOOT_LOADER_UPGRADE_DISABLE="yes"
BOOT_PARAM="ip=172.16.0.230::172.16.0.1:255.255.0.0:vore:eth0:on DEBUG_CONF= REAL_MGMTE_DEV="
CFG_MODEL_NUM="C9200L-48T-4X-E"
CLEI_CODE_NUMBER="INM6H00ARA"
DEFAULT_GATEWAY="172.16.0.1"
DEFAULT_ROUTER="172.16.0.1"
ENABLE_BREAK="yes"
IP_ADDRESS="172.16.0.230"
IP_MASK="255.255.0.0"
IP_SUBNET_MASK="255.255.0.0"
LICENSE_BOOT_LEVEL="network-essentials,all:C9200L-48;"
MAC_ADDR="70:B3:17:2E:1C:80"
MANUAL_BOOT="yes"
MODEL_NUM="C9200L-48T-4X"
MODEL_REVISION_NUM="29"
MOTHERBOARD_ASSEMBLY_NUM="73-19242-03"
MOTHERBOARD_REVISION_NUM="04"
MOTHERBOARD_SERIAL_NUM="JAE22370MLD"
ROMMON_AUTOBOOT_ATTEMPT="3"
ROMMON_BOARDID="0x315"
ROMMON_BOARDREV="0x4"
ROMMON_BOOT_LOG="1"             ---> boot log is enabled (default)
STANDALONE="1"
SWITCH_NUMBER="1"
SYSTEM_SERIAL_NUM="JAE22370MLD"
TAN_NUM="68-101384-01"
TEMPLATE="advanced"
TFTP_SERVER="172.16.0.25"
USB_DB_INFO="73-18785-03A0JAE22410UH0"
VERSION_ID="PPC"
ABNORMAL_RESET_COUNT="0"
BSI="0"
RANDOM_NUM="966540990"

       

C9200L#show bootlog switch active r0
=========================================================

//// ROMMMON Boot up log start ////

System Bootstrap, Version 99.2, DEVELOPMENT SOFTWARE
Compiled Wed 12/12/2018 14:56:53 by chinmoha
Copyright (c) 2018 by Cisco Systems, Inc.

Current ROMMON image : Primary
C9200L-48T-4X platform with 2097152 Kbytes of main memory


switch: boot: attempting to boot from [tftp://chinmoha/pol_try.bin]
Filename     : /chinmoha/pol_try.bin
IpAddress    : 172.16.0.230
TftpServer   : 172.16.0.25
TftpBlkSize  : 1468
*
File Size    : 349275061

//// ROMMMON Boot up log end ////

==========================================================
[    0.000000] Booting Linux on physical CPU 0x0
[    0.000000] Initializing cgroup subsys cpuset
[    0.000000] Initializing cgroup subsys cpu
[    0.000000] Initializing cgroup subsys cpuacct
[    0.000000] Linux version 4.4.155 (xelinux@xe-linux-bld1) (gcc version 5.3.0 (GCC) ) #1 SMP Thu Dec 13 00:46:18 PST 2018
[    0.000000] Boot CPU: AArch64 Processor [410fd034]
[    0.000000] Cisco Package: start=0xa2000000
[    0.000000] Cisco Package: size=0x12b02000
[    0.000000] Cisco Package at 0xffffffc022000000 (313532416 bytes)
[    0.000000] crashkernel reserved: 0x00000000fde00000 - 0x00000000ffe00000 (32 MB)
[    0.000000] cma: Reserved 128 MiB at 0x00000000f0000000
[    0.000000] On node 0 totalpages: 524229
[    0.000000]   DMA zone: 8192 pages used for memmap
[    0.000000]   DMA zone: 0 pages reserved
[    0.000000]   DMA zone: 524229 pages, LIFO batch:31
[    0.000000] PERCPU: Embedded 15 pages/cpu @ffffffc07ffa3000 s24472 r8192 d28776 u61440
[    0.000000] pcpu-alloc: s24472 r8192 d28776 u61440 alloc=15*4096
[    0.000000] pcpu-alloc: [0] 0 [0] 1 [0] 2 [0] 3
[    0.000000] Detected VIPT I-cache on CPU0
[    0.000000] CPU features: enabling workaround for ARM erratum 845719
[    0.000000] Built 1 zonelists in Zone order, mobility grouping on.  Total pages: 516037
--snip--

ROMMON:ROMMONモードでのUSB/TFTP間のファイル転送の許可

これらのコマンドは、ROMMONモードでUSB/TFTP間の転送に役立ちます。 

重要：これらのコマンドは、Cisco IOS XE 17.1.1から使用できます

switch: copy ?
usage:
	copy 
    
     
      
    
switch: 
switch: dir
usage:
	dir <path-to-directory>
supported filesystem(s):
         flash: ro flash
     bootflash: ro system partition
     usbflash0: rw front-panel USB
     usbflash1: rw back-panel USB
switch: dir flash:

Size       Attributes Name
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
—snip—
616          -rw-     vlan.dat
4096         drw-     tech_support
835079148    -rw-     cat9k_iosxe.17.01.01.SPA.bin
910498192    -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20191212_030414_2.SSA.bin
9307         -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20180819_200912_2.SS.conf
—snip—
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

switch: copy flash:vlan.dat usbflash0:
Using Destination file path: usbflash0:vlan.dat
Reading :        616
Writing :        616
switch: 
switch: dir usbflash0:                               

Size       Attributes Name
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
—snip—
880878448    -rw-     cat9k_iosxe.sh_tech_cts
835079148    -rw-     cat9k_iosxe.17.01.01.SPA.bin
4096         -rw-     ._cat9k_iosxe.17.01.01.SPA.bin
910498192    -rw-     cat9k_iosxe.BLD_POLARIS_DEV_LATEST_20191212_030414_2.SSA.bin
616          -rw-     vlan.dat
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

関連情報