N7K HW（fan/PS/Temp/Xbar/SUP）のトラブルシューティング
ダウンロード オプション
偏向のない言語
この製品のドキュメントセットは、偏向のない言語を使用するように配慮されています。このドキュメントセットでの偏向のない言語とは、年齢、障害、性別、人種的アイデンティティ、民族的アイデンティティ、性的指向、社会経済的地位、およびインターセクショナリティに基づく差別を意味しない言語として定義されています。製品ソフトウェアのユーザインターフェイスにハードコードされている言語、RFP のドキュメントに基づいて使用されている言語、または参照されているサードパーティ製品で使用されている言語によりドキュメントに例外が存在する場合があります。シスコのインクルーシブ ランゲージの取り組みの詳細は、こちらをご覧ください。
翻訳について
シスコは世界中のユーザにそれぞれの言語でサポート コンテンツを提供するために、機械と人による翻訳を組み合わせて、本ドキュメントを翻訳しています。ただし、最高度の機械翻訳であっても、専門家による翻訳のような正確性は確保されません。シスコは、これら翻訳の正確性について法的責任を負いません。原典である英語版（リンクからアクセス可能）もあわせて参照することを推奨します。
内容
概要
このドキュメントでは、Nexus 7000（N7K）ハードウェアのトラブルシューティングの手法について説明します。
シャーシの問題のデバッグ
ファンの問題
このコマンドは、スイッチのファンモジュールのステータスを表示します。
SITE1-AGG1# show environment fan Fan: ------------------------------------------------------ Fan Model Hw Status ------------------------------------------------------ Fan1(sys_fan1) N7K-C7010-FAN-S 1.1 Ok Fan2(sys_fan2) N7K-C7010-FAN-S 1.1 Ok Fan3(fab_fan1) N7K-C7010-FAN-F 1.1 Ok Fan4(fab_fan2) N7K-C7010-FAN-F 1.1 Ok Fan_in_PS1 -- -- Ok Fan_in_PS2 -- -- Ok Fan_in_PS3 -- -- Shutdown Fan Zone Speed: Zone 1: 0x78 Zone 2: 0x58 Fan Air Filter : Present
ファンステータスは、ok、failure、またはabsentのいずれかです。
- OK – ファンコントローラを含むすべてのファンが正常に機能している
- 障害：1つ以上のファンまたはファンコントローラに障害が発生しました。ソフトウェアでは、1つのファン、複数のファン、またはすべてのファンに障害が発生しているかどうかは判断できません。少なくとも1つのファンに障害が発生した場合、このステータスが表示されます。次のpriority 1 syslogメッセージが出力されます。ファンモジュールが失敗しました。
- 不在 – ファンモジュールが取り外されました。ファンモジュールが取り外されると、ソフトウェアは5分間のカウントダウンを開始します。ファンモジュールが5分以内に再挿入されない場合、スイッチ全体がシャットダウンされます。ソフトウェアはSerial Electrically Erasable Programmable Read Only Memory(SEEPROM)のバイトを読み取り、ファンモジュールが存在するかどうかを確認します。ファンモジュールが部分的に挿入されている場合、または他の理由によりソフトウェアがファンモジュールのSEEPROMにアクセスできない場合、ソフトウェアはこのケースを実際のファンモジュールの取り外しと区別できません。スイッチは5分後にシャットダウンされます。ソフトウェアが削除を検出すると、このpriority 0 syslogメッセージが5秒ごとに出力されます。
“Fan module removed. Fan module has been absent for 120 seconds"
- syslogメッセージを使用してこのような障害を示す以外に、電源ファンの障害に関するソフトウェアによる明示的なアクションはありません。
電源装置
このコマンドは、スイッチに取り付けられている電源装置、電力使用量要約、および電源装置のステータスを表示します。
コマンドと出力例を示します。
SITE1-AGG1# show environment power
Power Supply:
Voltage: 50 Volts
Power Actual Total
Supply Model Output Capacity Status
(Watts ) (Watts )
------- ------------------- ----------- ----------- --------------
1 N7K-AC-6.0KW 1179 W 6000 W Ok
2 N7K-AC-6.0KW 1117 W 6000 W Ok
3 N7K-AC-6.0KW 0 W 0 W Shutdown
Actual Power
Module Model Draw Allocated Status
(Watts ) (Watts )
------- ------------------- ----------- ----------- --------------
1 N7K-M148GT-11 N/A 400 W Powered-Up
3 N7K-M132XP-12 N/A 750 W Powered-Up
4 N7K-F132XP-15 318 W 385 W Powered-Up
5 N7K-SUP1 N/A 210 W Powered-Up
6 N7K-SUP1 N/A 210 W Powered-Up
10 N7K-M132XP-12L 535 W 750 W Powered-Up
Xb1 N7K-C7010-FAB-1 N/A 80 W Powered-Up
Xb2 N7K-C7010-FAB-1 N/A 80 W Powered-Up
Xb3 N7K-C7010-FAB-1 N/A 80 W Powered-Up
Xb4 xbar N/A 80 W Absent
Xb5 xbar N/A 80 W Absent
fan1 N7K-C7010-FAN-S 133 W 720 W Powered-Up
fan2 N7K-C7010-FAN-S 133 W 720 W Powered-Up
fan3 N7K-C7010-FAN-F 12 W 120 W Powered-Up
fan4 N7K-C7010-FAN-F 12 W 120 W Powered-Up
N/A - Per module power not available
Power Usage Summary:
--------------------
Power Supply redundancy mode (configured) PS-Redundant
Power Supply redundancy mode (operational) Non-Redundant
Total Power Capacity (based on configured mode) 12000 W
Total Power of all Inputs (cumulative) 12000 W
Total Power Output (actual draw) 2296 W
Total Power Allocated (budget) 4785 W
Total Power Available for additional modules 7215 W
電源のステータスは次のいずれかです。
- OK – 電源が正常に機能している
- Fail/Shutdown：電源モジュールに障害が発生したか、電源モジュールのスイッチを使用してシャットダウンされている。電源装置に障害が発生すると、ソフトウェアはこのpriority 2 syslogメッセージを出力します。電源1の障害またはシャットダウン（シリアル番号xxxx）。
- シャットダウン：ソフトウェアが電源をシャットダウンしました。ソフトウェアが低容量電源をシャットダウンするのは、電源のペアの不一致を検出し、モードが冗長であるか、結合モードから冗長モードに移行した場合だけです。両方の電源が同じ容量であるか、モードが組み合わされている場合、ソフトウェアは電源をシャットダウンしません。このpriority 2 syslogメッセージは、ソフトウェアの電源のシャットダウンに伴って出力されます。検出された電源1.これにより、システムで使用可能な冗長電源が削減され、サービスの中断が発生する可能性があります（シリアル番号xxxx）。
- Absent – 電源モジュールが取り外されています。このpriority 2 syslogメッセージは、電源モジュールの取り外し時に出力されます。電源2を取り外しました（シリアル番号xxxx）。
電源障害：
各電源には、電源出力ステータスを示すLEDがあります。このLEDは電源によって直接制御され、赤色は電源障害を示します。syslogをスキャンすると、電源の障害と回復に関するメッセージが交互に表示され、電源に関連する問題が示される場合があります。
温度または熱
シャーシ内の各カードには、少なくとも2つの温度センサーがあります。各温度センサーは、マイナーおよびメジャーしきい値で設定されます。次の出力例は、温度情報をスイッチから取得する方法を示しています。
SITE1-AGG1# show environment temperature
Temperature:
--------------------------------------------------------------------
Module Sensor MajorThresh MinorThres CurTemp Status
(Celsius) (Celsius) (Celsius)
--------------------------------------------------------------------
1 Crossbar(s5) 105 95 46 Ok
1 CTSdev4 (s9) 115 105 56 Ok
1 CTSdev5 (s10) 115 105 57 Ok
1 CTSdev7 (s12) 115 105 56 Ok
1 CTSdev9 (s14) 115 105 53 Ok
1 CTSdev10(s15) 115 105 53 Ok
1 CTSdev11(s16) 115 105 52 Ok
1 CTSdev12(s17) 115 105 51 Ok
1 QEng1Sn1(s18) 115 105 51 Ok
1 QEng1Sn2(s19) 115 105 50 Ok
1 QEng1Sn3(s20) 115 105 48 Ok
1 QEng1Sn4(s21) 115 105 48 Ok
1 L2Lookup(s22) 120 110 47 Ok
1 L3Lookup(s23) 120 110 54 Ok
3 Crossbar(s5) 105 95 50 Ok
3 QEng1Sn1(s12) 115 110 69 Ok
3 QEng1Sn2(s13) 115 110 67 Ok
3 QEng1Sn3(s14) 115 110 66 Ok
3 QEng1Sn4(s15) 115 110 67 Ok
3 QEng2Sn1(s16) 115 110 70 Ok
3 QEng2Sn2(s17) 115 110 67 Ok
3 QEng2Sn3(s18) 115 110 66 Ok
3 QEng2Sn4(s19) 115 110 67 Ok
3 L2Lookup(s27) 115 105 51 Ok
3 L3Lookup(s28) 120 110 64 Ok
4 Crossbar1(s1) 105 95 69 Ok
4 Crossbar2(s2) 105 95 52 Ok
4 L2dev1(s3) 105 95 37 Ok
4 L2dev2(s4) 105 95 43 Ok
4 L2dev3(s5) 105 95 45 Ok
4 L2dev4(s6) 105 95 45 Ok
4 L2dev5(s7) 105 95 40 Ok
4 L2dev6(s8) 105 95 41 Ok
4 L2dev7(s9) 105 95 42 Ok
4 L2dev8(s10) 105 95 40 Ok
4 L2dev9(s11) 105 95 38 Ok
4 L2dev10(s12) 105 95 38 Ok
4 L2dev11(s13) 105 95 38 Ok
4 L2dev12(s14) 105 95 37 Ok
4 L2dev13(s15) 105 95 34 Ok
4 L2dev14(s16) 105 95 33 Ok
4 L2dev15(s17) 105 95 33 Ok
4 L2dev16(s18) 105 95 32 Ok
5 Intake (s3) 60 42 24 Ok
5 EOBC_MAC(s4) 105 95 42 Ok
5 CPU (s5) 105 95 42 Ok
5 Crossbar(s6) 105 95 47 Ok
5 Arbiter (s7) 110 100 55 Ok
5 CTSdev1 (s8) 115 105 44 Ok
5 InbFPGA (s9) 105 95 43 Ok
5 QEng1Sn1(s10) 115 105 48 Ok
5 QEng1Sn2(s11) 115 105 46 Ok
5 QEng1Sn3(s12) 115 105 44 Ok
5 QEng1Sn4(s13) 115 105 44 Ok
6 Intake (s3) 60 42 24 Ok
6 EOBC_MAC(s4) 105 95 40 Ok
6 CPU (s5) 105 95 36 Ok
6 Crossbar(s6) 105 95 45 Ok
6 Arbiter (s7) 110 100 52 Ok
6 CTSdev1 (s8) 115 105 43 Ok
6 InbFPGA (s9) 105 95 43 Ok
6 QEng1Sn1(s10) 115 105 53 Ok
6 QEng1Sn2(s11) 115 105 51 Ok
6 QEng1Sn3(s12) 115 105 48 Ok
6 QEng1Sn4(s13) 115 105 48 Ok
10 Crossbar(s5) 105 95 46 Ok
10 QEng1Sn1(s12) 115 110 65 Ok
10 QEng1Sn2(s13) 115 110 62 Ok
10 QEng1Sn3(s14) 115 110 64 Ok
10 QEng1Sn4(s15) 115 110 65 Ok
10 QEng2Sn1(s16) 115 110 65 Ok
10 QEng2Sn2(s17) 115 110 63 Ok
10 QEng2Sn3(s18) 115 110 64 Ok
10 QEng2Sn4(s19) 115 110 65 Ok
10 L2Lookup(s27) 115 105 51 Ok
10 L3Lookup(s28) 120 110 71 Ok
xbar-1 Intake (s2) 60 42 27 Ok
xbar-1 Crossbar(s3) 105 95 55 Ok
xbar-2 Intake (s2) 60 42 25 Ok
xbar-2 Crossbar(s3) 105 95 49 Ok
xbar-3 Intake (s2) 60 42 26 Ok
xbar-3 Crossbar(s3) 105 95 47 Ok
吸気センサーはエアーフローの吸気口に配置され、カードの温度を最も重要に示します。すべてのソフトウェアアクションは、インテークセンサーの重大な温度違反に基づいて実行されます。
- 非インテークセンサーのすべてのマイナーしきい値違反とメジャーしきい値違反
その結果、syslogメッセージ、callhomeイベント、およびSimple Network Management Protocol(SNMP)トラップが発生します。このプライオリティ1または2のメッセージは、syslogに出力されます。モジュール1で報告されたメジャー温度アラーム（センサーインデックス1の温度76）。
- 吸気センサーのラインカードの最大温度しきい値違反
ラインカードは、次のpriority 0 syslogメッセージで即時にシャットダウンされます。Module 1はメジャー温度アラームにより電源がオフになります。
- 吸気センサーの冗長スーパーバイザのメジャー温度しきい値違反
冗長スーパーバイザはすぐにシャットダウンされます。これにより、しきい値に違反した特定のスーパーバイザに応じて、スイッチオーバーまたはスタンバイシャットダウンが発生します。このpriority 0 syslogメッセージが表示されます。Module 1はメジャー温度アラームにより電源がオフになっています。
- 温度センサーの障害
温度センサーに障害が発生し、アクセスできなくなることがあります。この状態に対して明示的なソフトウェアアクションは実行されません。このpriority 4 syslogメッセージが出力されます。モジュール1温度センサーに障害が発生しました。
スーパーバイザモジュールの問題のデバッグ
スイッチ/スーパーバイザのリセット/リロード
スイッチ/スーパーバイザレベルのリセット/リロードをデバッグするには、通常、スーパーバイザのNonvolatile Random Access Memory（NVRAM；不揮発性ランダムアクセスメモリ）に保存されているデバッグ/ログ情報を調べます。NVRAMには、重要な情報を保持する可能性がある3種類のデバッグ/ログ情報があります。
1.1リセットの理由
リセットの理由は、各スーパーバイザのスーパーバイザNVRAMに保存されます。各スーパーバイザには独自のリセット理由が保存されます。スイッチが復旧した後、次のCLIコマンドを使用してリセット理由をダンプできます。出力例を示します。
SITE1-AGG1# show system reset-reason
----- reset reason for Supervisor-module 5 (from Supervisor in slot 5) ---
1) No time
Reason: Unknown
Service:
Version: 6.1(2)
2) No time
Reason: Unknown
Service:
Version: 6.1(1)
3) At 246445 usecs after Wed Nov 7 21:26:59 2012
Reason: Reset triggered due to Switchover Request by User
Service: SAP(93): Swover due to install
Version: 6.1(2)
4) At 36164 usecs after Tue Nov 6 01:18:15 2012
Reason: Reset Requested by CLI command reload
Service:
Version: 5.2(1)
----- reset reason for Supervisor-module 5 (from Supervisor in slot 6) ---
1) At 939785 usecs after Wed Nov 7 22:28:36 2012
Reason: Reset due to upgrade
Service:
Version: 6.1(1)
2) At 687128 usecs after Thu Mar 29 18:06:34 2012
Reason: Reset of standby by active sup due to sysmgr timeout
Service:
Version: 6.0(2)
3) At 10012 usecs after Thu Mar 29 17:56:13 2012
Reason: Reset of standby by active sup due to sysmgr timeout
Service:
Version: 6.0(2)
4) At 210045 usecs after Thu Mar 29 17:45:51 2012
Reason: Reset of standby by active sup due to sysmgr timeout
Service:
Version: 6.0(2)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 5) ---
1) At 50770 usecs after Wed Nov 7 21:12:19 2012
Reason: Reset due to upgrade
Service:
Version: 6.1(2)
2) At 434294 usecs after Mon Nov 5 22:10:16 2012
Reason: Reset due to upgrade
Service:
Version: 5.2(1)
3) At 518 usecs after Mon Nov 5 21:21:51 2012
Reason: Reset Requested by CLI command reload
Service:
Version: 5.2(7)
4) At 556934 usecs after Mon Nov 5 21:12:15 2012
Reason: Reset due to upgrade
Service:
Version: 5.2(1)
----- reset reason for Supervisor-module 6 (from Supervisor in slot 6) ---
1) No time
Reason: Unknown
Service:
Version: 6.1(2)
2) At 462775 usecs after Wed Nov 7 22:38:44 2012
Reason: Reset triggered due to Switchover Request by User
Service: SAP(93): Swover due to install
Version: 6.1(1)
3) No time
Reason: Unknown
Service:
Version: 6.1(2)
4) No time
Reason: Unknown
Service:
Version: 5.2(1)
最後の4つのリセット理由が保存され、表示されます。リセット理由には次のものが含まれます。
- リセット/リロードが発生した時点のタイムスタンプ
- カードのリセット/リロードの理由
- リセット/リロードを引き起こしたサービス（存在する場合）
- その時点で実行されていたソフトウェアバージョン
Unknownのリセット理由が表示されることがあります。ソフトウェアまたはソフトウェア制御を超えて不明なリセット理由は、[不明(Unknown)]に分類されます。通常、次のものが含まれます。
- スイッチの電源サイクル（電源の制御された電源サイクル、または電源障害による電源のリセットなど）
- スーパーバイザの前面パネルリセットボタン
- CPU/DRAM/IOのリセットまたはハングを引き起こす他のハードウェア障害
1.2 NVRAM syslog
プライオリティ0、1、および2のsyslogメッセージも、スーパーバイザのNVRAMに記録されます。スイッチがオンラインに戻ると、次のコマンドを使用してNVRAM内のsyslogメッセージを表示できます。コマンドと出力例が表示されます。
SITE1-AGG1# show log nvram 2012 Nov 17 05:59:51 SITE1-AGG1 %$ VDC-1 %$ %SYSMGR-STANDBY-2-LAST_CORE_BASIC_TRACE: : PID 15681 with message 'Core detected due to hwclock crash'. 2012 Nov 17 12:07:11 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-2-LOG_CMP_UP: Connectivity Management processor(on module 5) is now UP 2012 Nov 17 12:07:56 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 1 has come online 2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 1 ok (Serial number DTM131000A4) 2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 1 ok 2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_OK: Power supply 2 ok (Serial number DTM140700HS) 2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_FANOK: Fan in Power supply 2 ok 2012 Nov 17 12:07:58 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-PS_DETECT: Power supply 3 detected but shutdown (Serial number DTM1413004P) 2012 Nov 17 12:07:59 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 1 detected (Serial number JAF1308ABCS) 2012 Nov 17 12:08:01 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 2 detected (Serial number JAB120600NX) 2012 Nov 17 12:08:02 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-XBAR_DETECT: Xbar 3 detected (Serial number JAF1508AJHN) 2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 1 detected (Serial number JAB121602HP) Module-Type 10/100/1000 Mbps Ethernet Module Model N7K-M148GT-11 2012 Nov 17 12:08:04 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 1 powered up (Serial number JAB121602HP) 2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 3 detected (Serial number JAF1441BSED) Module-Type 10 Gbps Ethernet Module Model N7K-M132XP-12 2012 Nov 17 12:08:11 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 4 detected (Serial number JAF1542ABML) Module-Type 1/10 Gbps Ethernet Module Model N7K-F132XP-15 2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 3 powered up (Serial number JAF1441BSED) 2012 Nov 17 12:08:12 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 4 powered up (Serial number JAF1542ABML) 2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_DETECT: Module 10 detected (Serial number JAF1521BNMK) Module-Type 10 Gbps Ethernet XL Module Model N7K-M132XP-12L 2012 Nov 17 12:08:15 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_PWRUP: Module 10 powered up (Serial number JAF1521BNMK) 2012 Nov 17 12:08:30 SITE1-AGG1 %$ VDC-1 %$ %CMPPROXY-STANDBY-2-LOG_CMP_UP: Connectivity Management processor(on module 6) is now UP 2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 1 (Fan1(sys_fan1) fan) ok 2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 2 (Fan2(sys_fan2) fan) ok 2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 3 (Fan3(fab_fan1) fan) ok 2012 Nov 17 12:08:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-FANMOD_FAN_OK: Fan module 4 (Fan4(fab_fan2) fan) ok 2012 Nov 17 12:11:40 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 2 has come online 2012 Nov 17 12:12:31 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 3 has come online 2012 Nov 17 12:13:21 SITE1-AGG1 %$ VDC-1 %$ %VDC_MGR-2-VDC_ONLINE: vdc 4 has come online 2012 Nov 17 13:10:33 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPMINALRM: Xbar-1 reported minor temperature alarm. Sensor=2 Temperature=43 MinThreshold=42 2012 Nov 17 19:56:35 SITE1-AGG1 %$ VDC-1 %$ %PLATFORM-2-MOD_TEMPOK: Xbar-1 recovered from minor temperature alarm. Sensor=2 Temperature=41 MinThreshold=42
NVRAM syslogをスキャンすると、スイッチ/スーパーバイザのリロード/リセットを引き起こした特定の障害に関する詳細情報が表示される場合があります。
1.3モジュール例外ログ
モジュール例外ログは、すべてのエラーと各モジュールの例外条件のラップアラウンドログです。一部の例外は致命的で、一部はモジュール内の特定のポートに影響を与え、他の例外は警告のために行われます。各ログエントリには、例外、例外レベル、エラーコード、影響を受けるポート、タイムスタンプを記録した特定のデバイスがあります。例外ログはスーパーバイザのNVRAMに保存され、次のCLIコマンドを使用して表示できます。出力例を示します。
SITE1-AGG1# show module internal exceptionlog
********* Exception info for module 1 ********
exception information --- exception instance 1 ----
Module Slot Number: 1
Device Id : 10
Device Name : eobc
Device Errorcode : 0xc0005043
Device ID : 00 (0x00)
Device Instance : 05 (0x05)
Dev Type (HW/SW) : 00 (0x00)
ErrNum (devInfo) : 67 (0x43)
System Errorcode : 0x4042004d EOBC link failure
Error Type : Warning
PhyPortLayer : Ethernet
Port(s) Affected : none
DSAP : 0 (0x0)
UUID : 0 (0x0)
Time : Mon Nov 5 20:39:38 2012
(Ticks: 5098948A jiffies)
exception information --- exception instance 2 ----
Module Slot Number: 1
Device Id : 10
Device Name : eobc
Device Errorcode : 0xc0005047
Device ID : 00 (0x00)
Device Instance : 05 (0x05)
Dev Type (HW/SW) : 00 (0x00)
ErrNum (devInfo) : 71 (0x47)
System Errorcode : 0x4042004e EOBC heartbeat failure
Error Type : Warning
PhyPortLayer : Ethernet
Port(s) Affected : none
DSAP : 0 (0x0)
UUID : 0 (0x0)
Time : Mon Nov 5 20:39:37 2012
(Ticks: 50989489 jiffies)
例外ログは、エラーおよび例外条件のトラブルシューティングに重要な情報を提供します。デバイスIDの一部を次に示します。
#define DEV_LINECARD_CTRL 1 #define DEV_SAHARA_FPGA 2 #define DEV_RIVIERA_ASIC 3 #define DEV_LUXOR_ASIC 4 #define DEV_FRONTIER_U_ASIC 5 #define DEV_FRONTIER_D_ASIC 6 #define DEV_ALADDIN_ASIC 7 #define DEV_SSA_ASIC 8 #define DEV_MIRAGE_ASIC 9 #define DEV_EOBC_MAC 10 #define DEV_SUPERVISOR_CTRL 11 #define DEV_BELLAGIO_ASIC 12 #define DEV_SIBYTE 13 #define DEV_FLAMINGO 14 #define DEV_FATW_CTRL 15 #define DEV_MGMT_MAC 16 #define DEV_MOD_RDN_CTRL 17 #define DEV_MOD_ENV 18 #define DEV_GG_FPGA 19 #define DEV_BALLY_MAIN_BOARD 20 #define DEV_BALLY_DAUGHTER_CARD 21 #define DEV_LOCAL_SSO_ASIC 22 #define DEV_REMOTE_SSO_ASIC 23 #define DEV_ID_UD_FIX_FPGA 24 #define DEV_ID_PM_FPGA 25 // PM - Power Mngmnt #define DEV_ID_SUP_XBUS2 26 #define DEV_MARRIOTT_FPGA 27 #define DEV_REUSE_ME 28 #define DEV_GBIC 29 #define DEV_XGFC_FPGA 30 #define DEV_GNN_FPGA 31 #define DEV_SIBYTE_MEM_EPLD 32 #define DEV_BATTERY 33 #define DEV_IDE_DISK 45 #define DEV_XCVR 46 #define DEV_LINECARD 48 #define DEV_TEMP_SENSOR 49 #define DEV_HIFN_COMP 50 #define DEV_X2 51
マルチレイヤデータスイッチ(MDS)シャーシでは、スーパーバイザモジュールはラインカードモジュールとは少し異なる方法で起動されます。システムに2つのスーパーバイザが存在し、システムの電源が入ると、一方のスーパーバイザがアクティブになり、もう一方のスーパーバイザがスタンバイになります。アクティブ側スーパーバイザの起動とスタンバイ側スーパーバイザの起動は異なり、ここで説明します。
アクティブスーパーバイザの起動
システム内にアクティブなスーパーバイザがない場合、起動するスーパーバイザはデフォルトでアクティブなスーパーバイザになります。システムマネージャと呼ばれるプロセスは、すべてのソフトウェアコンポーネントをスーパーバイザ上に順番にロードする責任があります。スーパーバイザで最初に実行されるソフトウェアコンポーネントの1つが、プラットフォームマネージャです。このコンポーネントは、すべてのカーネルドライバとハンドシェイクをシステムマネージャにロードします。成功すると、システムマネージャはプロセス間の内部依存関係に基づいて、残りのプロセスを開始します。
モジュールマネージャの観点からは、スーパーバイザは微妙な違いを持つ別のラインカードモジュールと同じです。プラットフォームマネージャがスーパーバイザがUPであることをモジュールマネージャに示すと、モジュールマネージャは登録を待機しません。代わりに、スーパーバイザが起動している（スーパーバイザ挿入シーケンスとも呼ばれる）すべてのソフトウェアコンポーネントを通知します。 すべてのコンポーネントがスーパーバイザを設定します。障害が発生したコンポーネントが戻ると、スーパーバイザがリブートされます。
スタンバイ側スーパーバイザの起動
システムにアクティブスーパーバイザがある場合、ブートアップ中のスーパーバイザはデフォルトでスタンバイスーパーバイザ状態になります。スタンバイスーパーバイザは、アクティブスーパーバイザの状態をミラーリングする必要があります。これは、アクティブスーパーバイザの「システムマネージャ」が、スタンバイスーパーバイザにアクティブスーパーバイザ状態のgsync（グローバル同期）を開始することによって実現されます。スタンバイ上のすべてのコンポーネントがアクティブ側スーパーバイザのコンポーネントと同期されると、モジュールマネージャにスタンバイ側スーパーバイザが起動したことが通知されます。
これで、Module-managerはアクティブスーパーバイザ上のすべてのソフトウェアコンポーネントにスタンバイスーパーバイザを設定するように通知します（スタンバイスーパーバイザ挿入シーケンスとも呼ばれます）。 スタンバイSup挿入シーケンス中にコンポーネントからエラーが発生すると、スタンバイSupervisorがリブートします。
アクティブスーパーバイザのリブート
MDSは、実行時に多くのデバッグ情報を保持します。ただし、スーパーバイザがリブートすると、デバッグ情報の大部分が失われます。ただし、すべての重要な情報は不揮発性RAM(NVRAM)に保存され、障害の再構築に使用できます。アクティブスーパーバイザがリブートすると、再度アップ状態になるまで、nvramに保存されている情報を取得できません。スーパーバイザが再び起動したら、次のコマンドを使用して永続ログをダンプできます。
Switch# show logging nvram
Switch# show system reset-reason
Switch# show module internal exception-log
例 1：アクティブスーパーバイザのリブート（スーパーバイザプロセスのクラッシュによる）
この例では、スーパーバイザプロセスがクラッシュし（サービス「xbar」）、アクティブスーパーバイザがリブートされます。スーパーバイザが再び起動すると、リセット理由に保存された情報から、スーパーバイザのリブートに関する明確な情報が得られます。
switch# show system reset-reason ----- reset reason for module 6 ----- 1) At 94009 usecs after Tue Sep 27 18:52:13 2005 Reason: Reset triggered due to HA policy of Reset Service: Service "xbar" Version: 2.1(2)
システムにスタンバイスーパーバイザがある場合、スタンバイスーパーバイザがアクティブスーパーバイザになります。スタンバイスーパーバイザにsyslog情報を表示すると、同じ情報も表示されます（「show system reset-reason」ほど明示的ではありません）。
Switch# show logging 2005 Sep 27 18:58:05 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 1225) hasn't caught signal 9 (no core). 2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2349) hasn't caught signal 9 (no core). 2005 Sep 27 18:58:06 172.20.150.204 %SYSMGR-3-SERVICE_CRASHED: Service "xbar" (PID 2352) hasn't caught signal 9 (no core).
例 2：アクティブなSupリブート（ランタイム診断エラーによる）
この例では、スロット6のスーパーバイザがアクティブで、スーパーバイザのアービタに「Fatal Error」が報告されています。ハードウェアデバイスでFatal Errorが報告されると、デバイスを含むモジュールがリブートされます。この場合、アクティブスーパーバイザがリブートされます。スタンバイスーパーバイザがある場合、スタンバイスーパーバイザが引き継ぎます。スタンバイスーパーバイザおよび例外ログのsyslogメッセージには、エラーの原因を特定するための情報が含まれます。
Switch# show logging 2005 Sep 28 14:17:47 172.20.150.204 %XBAR-5-XBAR_STATUS_REPORT: Module 6 reported status for component 12 code 0x60a02. 2005 Sep 28 14:17:59 172.20.150.204 %PORT-5-IF_UP: Interface mgmt0 on slot 5 is up 2005 Sep 28 14:18:00 172.20.150.204 %CALLHOME-2-EVENT: SUP_FAILURE switch# show module internal exceptionlog module 6 ********* Exception info for module 6 ******** exception information --- exception instance 1 ---- device id: 12 device errorcode: 0x80000020 system time: (1127917068 ticks) Wed Sep 28 14:17:48 2005 error type: FATAL error Number Ports went bad: 1,2,3,4,5,6 exception information --- exception instance 2 ---- device id: 12 device errorcode: 0x00060a02 system time: (1127917067 ticks) Wed Sep 28 14:17:47 2005 error type: Warning Number Ports went bad: 1,2,3,4,5,6
また、リブートしたスーパーバイザが再びオンラインになると、「show system reset-reason」にも関連情報が含まれます。この場合、モジュール6（アクティブなsupであった）はSap 48によってエラーコード0x80000020でリブートされました。このsapを所有するプロセスは、プロセスがxbar-managerであることを示すコマンド「show system internal mts sup sap 48 description」で取得できます。
switch(standby)# show system reset-reason ----- reset reason for module 6 ----- 1) At 552751 usecs after Wed Sep 28 14:17:48 2005 Reason: Reset Requested due to Fatal Module Error Service: lcfail:80000020 sap:48 node:060 Version: 2.1(2)
例 3：スタンバイSupがオンラインにならない
この例では、アクティブなsupが起動して実行され、スタンバイsupがシステムに接続されています。ただし、show moduleは、モジュールが起動したことを示しません。
switch# show module Mod Ports Module-Type Model Status --- ----- -------------------------------- ------------------ ------------ 5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active * 8 8 IP Storage Services Module powered-dn Mod Sw Hw World-Wide-Name(s) (WWN) --- ----------- ------ -------------------------------------------------- 5 2.1(2) 1.1 -- Mod MAC-Address(es) Serial-Num --- -------------------------------------- ---------- 5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG
ただし、スタンバイスーパーバイザのコンソールにログインすると、スタンバイであると表示されます。
runlog>telnet sw4-ts 2004 Trying 172.22.22.55... Connected to sw4-ts.cisco.com (172.22.22.55). Escape character is '^]'. MDS Switch login: admin Password: Cisco Storage Area Networking Operating System (SAN-OS) Software TAC support: http://www.cisco.com/tac Copyright (c) 2002-2005, Cisco Systems, Inc. All rights reserved. The copyrights to certain works contained herein are owned by other third parties and are used and distributed under license. Some parts of this software are covered under the GNU Public License. A copy of the license is available at http://www.gnu.org/licenses/gpl.html. switch(standby)#
前述したように、スタンバイ側スーパーバイザがシステムに挿入されると、アクティブ側スーパーバイザのすべてのコンポーネントの設定と状態がスタンバイ側(gsync)にコピーされます。 このプロセスが完了するまで、アクティブ側スーパーバイザはスタンバイ側スーパーバイザの存在を認識しません。このプロセスが完了しているかどうかを確認するには、アクティブスーパーバイザで次のコマンドを発行します。このコマンドの出力は、同期が進行中であることを示しています（おそらく完了していません）。
switch# show system redundancy status Redundancy mode --------------- administrative: HA operational: None This supervisor (sup-1) ----------------------- Redundancy state: Active Supervisor state: Active Internal state: Active with HA standby Other supervisor (sup-2) ------------------------ Redundancy state: Standby Supervisor state: HA standby Internal state: HA synchronization in progress
これが発生した可能性がある最も考えられる理由は、スタンバイ上のソフトウェアコンポーネントの1つがアクティブ側スーパーバイザとの状態の同期に失敗した場合です。どのプロセスが同期しなかったかを確認するには、アクティブ側のスーパーバイザでこのコマンドを発行します。出力には、多くのソフトウェアコンポーネントでgsyncが完了していないことが示されています。
switch# show system internal sysmgr gsyncstats Name Gsync done Gsync time(sec) ---------------- ---------- ------------- aaa 1 0 ExceptionLog 1 0 platform 1 1 radius 1 0 securityd 1 0 SystemHealth 1 0 tacacs 0 N/A acl 1 0 ascii-cfg 1 1 bios_daemon 0 N/A bootvar 1 0 callhome 1 0 capability 1 0 cdp 1 0 cfs 1 0 cimserver 1 0 cimxmlserver 0 N/A confcheck 1 0 core-dmon 1 0 core-client 0 N/A device-alias 1 0 dpvm 0 N/A dstats 1 0 epld_upgrade 0 N/A epp 1 1
また、スタンバイ側スーパーバイザを見ると、xbarソフトウェアコンポーネントが23回再起動されていることがわかります。これは、スタンバイが起動しなかった原因として最も考えられます。
switch(standby)# show system internal sysmgr service all Name UUID PID SAP state Start count ---------------- ---------- ------ ----- ----- ----------- aaa 0x000000B5 1458 111 s0009 1 ExceptionLog 0x00000050 [NA] [NA] s0002 None platform 0x00000018 1064 39 s0009 1 radius 0x000000B7 1457 113 s0009 1 securityd 0x0000002A 1456 55 s0009 1 vsan 0x00000029 1436 15 s0009 1 vshd 0x00000028 1408 37 s0009 1 wwn 0x00000030 1435 114 s0009 1 xbar 0x00000017 [NA] [NA] s0017 23 xbar_client 0x00000049 1434 917 s0009 1
例 3：スタンバイSupがPowered-up状態
この例では、スタンバイsupがスロット6に挿入されています。show moduleコマンドをactive-supで発行すると、スタンバイSupがpowered-up状態であることが示されます。
switch# show module Mod Ports Module-Type Model Status --- ----- -------------------------------- ------------------ ------------ 5 0 Supervisor/Fabric-1 DS-X9530-SF1-K9 active * 6 0 Supervisor/Fabric-1 powered-up 8 8 IP Storage Services Module powered-dn Mod Sw Hw World-Wide-Name(s) (WWN) --- ----------- ------ -------------------------------------------------- 5 2.1(2) 1.1 -- Mod MAC-Address(es) Serial-Num --- -------------------------------------- ---------- 5 00-0b-be-f7-4d-1c to 00-0b-be-f7-4d-20 JAB070307XG
この例では、show loggingは有用な情報を提供しません。また、show module internal exception-logも表示しません。ただし、特定のモジュールのすべての状態遷移がモジュールマネージャに保存されているため、モジュールマネージャの状態遷移を調べて、何が問題であるかを判断できます。内部状態遷移は次のとおりです。
Switch# show module internal event-history module 5 64) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563504 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_LC_NOT_PRESENT] Triggered event: [LCM_EV_PFM_MODULE_SUP_INSERTED] Next state: [LCM_ST_SUPERVISOR_INSERTED] 65) FSM:<ID(1): Slot 6, node 0x0601> Transition at 563944 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_SUPERVISOR_INSERTED] Triggered event: [LCM_EV_START_SUP_INSERTED_SEQUENCE] Next state: [LCM_ST_CHECK_INSERT_SEQUENCE] 66) Event:ESQ_START length:32, at 564045 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x2710, Ret:success Seq Type:SERIAL 67) Event:ESQ_REQ length:32, at 564422 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x1, Ret:success [E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081) 68) Event:ESQ_RSP length:32, at 566174 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x1, Ret:success [E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_INSERTED(1081) 69) Event:ESQ_REQ length:32, at 566346 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x2, Ret:success [E_MTS_TX] Dst:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081) 70) Event:ESQ_RSP length:32, at 566635 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x2, Ret:success [E_MTS_RX] Src:MTS_SAP_NTP(72), Opc:MTS_OPC_LC_INSERTED(1081) 71) Event:ESQ_REQ length:32, at 566772 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x3, Ret:success [E_MTS_TX] Dst:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081) 73) Event:ESQ_RSP length:32, at 586418 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x3, Ret:(null) [E_MTS_RX] Src:MTS_SAP_XBAR_MANAGER(48), Opc:MTS_OPC_LC_INSERTED(1081) 74) FSM:<ID(1): Slot 6, node 0x0601> Transition at 586436 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_CHECK_INSERT_SEQUENCE] Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED] Next state: [LCM_ST_CHECK_REMOVAL_SEQUENCE] 75) Event:ESQ_START length:32, at 586611 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x2710, Ret:success Seq Type:SERIAL 76) Event:ESQ_REQ length:32, at 593649 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x1, Ret:success [E_MTS_TX] Dst:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082) 77) Event:ESQ_RSP length:32, at 594854 usecs after Wed Sep 28 14:44:53 2005 Instance:1, Seq Id:0x1, Ret:success [E_MTS_RX] Src:MTS_SAP_MIGUTILS_DAEMON(949), Opc:MTS_OPC_LC_REMOVED(1082) 90) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604447 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_CHECK_REMOVAL_SEQUENCE] Triggered event: [LCM_EV_ALL_LC_REMOVED_RESP_RECEIVED] Next state: [LCM_ST_LC_FAILURE] 91) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604501 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_LC_FAILURE] Triggered event: [LCM_EV_LC_INSERTED_SEQ_FAILED] Next state: [LCM_ST_LC_FAILURE] 92) FSM:<ID(1): Slot 6, node 0x0601> Transition at 604518 usecs after Wed Sep 28 14:44:53 2005 Previous state: [LCM_ST_LC_FAILURE] Triggered event: [LCM_EV_SUPERVISOR_FAILURE] Next state: [LCM_ST_LC_NOT_PRESENT] Curr state: [LCM_ST_LC_NOT_PRESENT] switch#
Index 92のログを見てください。スーパーバイザが障害状態で、トリガーされたイベントがLCM_EV_LC_INSERTED_SEQ_FAILED（挿入シーケンスの失敗）であることを示します。 ログを上に移動して、挿入シーケンスが失敗した理由を調べます。MTS_SAP_XBAR_MANAGER（インデックス73およびインデックス74）からの応答の直後に、挿入シーケンスが失敗したことを確認してください。 これは、スタンバイsupが挿入された場合のxbar設定に問題があることを示しています。障害が発生したコンポーネント（この場合はxbarコンポーネント）の内部ログを見ることで、より多くのデバッグを行うことができます。
シスコ エンジニア提供
- Jane GaoCisco TAC Engineer
フィードバックシスコに問い合わせ
- サポート ケースをオープン
- (シスコ サービス契約が必要です。)