ASR 5500에서 SERDES 레인 문제 해결
다운로드 옵션
업데이트:2022년 8월 18일
문서 ID:218054
편견 없는 언어
본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
이 번역에 관하여
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
소개
이 문서에서는 ASR 5500의 직렬 변환기 역직렬 변환기(SERDES) 레인(링크)에 대한 트러블슈팅 명령에 대해 설명합니다.
배경 정보
ASR 5500에는 FSC(Fabric and Storage Card), DPC(Data Processing Card) 및 MIO(Management Input/Output) 카드 간의 통신 및 데이터 경로를 원활하게 하기 위해 카드 사이에 SERDES 링크가 포함되어 있습니다. 이러한 SERDES 링크는 오류 또는 하드웨어 오류로 인해 중단될 수 있습니다.
SERDES 레인 문제 해결 명령
ASR 5500 섀시의 SERDES 레인을 조사하는 명령:
- 수집
show support details, "debug console..."을 참조하십시오. 출력선 부분:
1397273780.205 card 5-cpu0: afio [5/0/7808] [ 80616.933] afio/afio_fe600_serdes.c:3297: #1: fe600=47=16/1, Fabric SERDES lane transitioned from up to down, serdes=29, devid=25=7/1
- 섀시 CLI의 액세스 테스트 모드
cli test-commands password.
주의: 이 모드를 사용하면 서비스가 크게 중단될 수 있습니다
- 문제
show fabric health명령을 사용하여 스위칭 패브릭의 전체적인 상황을 파악할 수 있습니다.
팁: 동일한 정보를 show fabric support details show support details의 일부
이 예에서는 DPC 카드 2와 FSC 카드 14 사이에 문제가 있습니다.
출력에서는 슬롯 2의 소스 DPC에서 슬롯 14의 FSC로 결함이 보고됩니다.
Command: petra-b system-device-id 3
Command: show health
Petra-B 3=2/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
3= 2/1 FAP 47 15 + A M L 6250.00 Mbps - - 43=14/1 FE 82 82 FAULT_DETECTED ***
슬롯 14의 FSC 카드에서 슬롯 2의 DPC 카드로의 다른 방향의 동일한 링크에 대한 출력에서 동일한 오류가 보고됩니다.
Command: fe600 system-device-id 43
Command: show health
FE600 43=14/1
Fabric Status:
Status OK(+)------------------------+
Topology fault(T)------------------+|
Far side not expected(*)----------+||
Logically not connected(L)-------+|||
Physically not connected(P)-----+|||| NIF Status:
Rx Down(*)---------------------+||||| +----------NIF powered off(*)
Tx Down(*)--------------------+|||||| |+---------SERDES powered off(*)
Code Group(G)----------------+||||||| ||+--------Local side down(l)
Misalignment(M)-------------+|||||||| |||+-------Remote side down(r)
Cell Size(C)---------------+||||||||| ||||+------Rx activity(r)
Internally fixed(I)-------+|||||||||| |||||+-----Tx activity(t)
Not Accept Cells(A)------+||||||||||| ||||||+----Status OK(+)
|||||||||||| |||||||
SERDES Status: |||||||||||| |||||||
Status OK(+)-----------+ |||||||||||| |||||||
Rx power off(*)-------+| |||||||||||| |||||||
Tx power off(*)------+|| |||||||||||| |||||||
Sig not locked(S)---+||| |||||||||||| |||||||
Rx signal loss(*)--+|||| |||||||||||| |||||||
Modified Parms(m)-+||||| |||||||||||| |||||||
Admin down(D)----+|||||| |||||||||||| |||||||
||||||| |||||||||||| |||||||
Fabric lane-----+ ||||||| |||||||||||| |||||||
SERDES lane--+ | ||||||| |||||||||||| ||||||| Config
Source Dev SL FL vvvvvvv vvvvvvvvvvvv vvvvvvv Rate Topology CRC Errs Remote Dev SL FL Last Change
------- --- -- -- ------- ------------ ------- ------------ -------- -------- ------- --- -- -- ----------------------
43=14/1 FE 82 82 + L T 6250.00 Mbps 3= 2/1 - 3= 2/1 FAP 47 15 FAULT_DETECTED ***
SERDES 링크와 관련된 또 다른 문제 유형은 링크의 오프라인 상태입니다. 이 예에서는 슬롯 6의 DPC 카드와 17의 FSC 카드 간의 링크가 오프라인 상태입니다.
23= 6/3 FAP 38 6 D 6250.00 Mbps 50=17/2 1557643 50=17/2 FE 65 65 OFFLINE ***
총 활성 SERDES 링크 수 및 활성 링크 수가 show fabric status 명령을 실행합니다. 표시된 예에서는 링크 양쪽에 하나씩 두 개의 링크가 카운트다운되었습니다. 한 차선 내려가는 것은 문제가 되지 않습니다. 패브릭 용량에 많은 초과가 있으며, 단일 레인은 처리량에 영향을 미치지 않습니다. 유일한 문제는 오류 때문에 링크가 계속 위아래로 이동할 경우 사용자 및 제어 트래픽이 삭제될 수 있으므로 링크가 중단되는 것이 더 좋습니다.
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1598
참고: 패브릭 용량이 너무 많아 단일 레인이 섀시의 처리량에 영향을 주지 않습니다.
- 일반적으로 링크 문제는 저절로 사라집니다. 시스템은 문제 해결을 위해 Eyescan이라는 자동 단계를 거칩니다. 자동 복구 결과는
show serdes all-serdes history섹션show fabric support details
참고: FE(Fabric Element)는 FSC 카드 측입니다. FAP(Fabric Array Processor)는 DPC 및/또는 MIO 카드측입니다.
DPC 카드에는 2개의 FAP가 있고 DPC2 카드에는 1개의 FAP만 있습니다. mio 카드에는 4개의 FAP가 있고, FSC에는 2개의 FE가 있습니다.
명령의 출력 형식은 <card #>/<FAP/FE #>입니다. 예를 들어 MIO 5에는 5/1, 5/2, 5/3, 5/4가 있습니다.
완전히 로드된 DPC2 섀시에는 28개의 엔드포인트가 있습니다. 8(DPC 8개) + 8(2MIO * 4) + 12(6FCS * 2)
자동 복구 후 복원된 FE 쪽의 예가 표시됩니다.
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
다음 예에서는 다른 쪽 선의 복구가 표시됩니다.
card=5, cpu=0, pid=7808, peer_mode=AFIO_IPC_PEER_MODE_DAEMON, sys_dev_id=47=16/1
Fabric Status:
Topology fault(T)----------------+
Far side not expected(*)--------+|
Logically not connected(L)-----+||
Physically not connected(P)---+|||
Rx Down(*)-------------------+||||
Tx Down(*)------------------+||||| NIF Status:
Code Group(G)--------------+|||||| +--------NIF powered off(*)
Misalignment(M)-----------+||||||| |+-------SERDES powered off(*)
Cell Size(C)-------------+|||||||| ||+------Local side down(l)
Internally fixed(I)-----+||||||||| |||+-----Remote side down(r)
Not Accept Cells(A)----+|||||||||| ||||
||||||||||| ||||
SERDES Status: ||||||||||| ||||
Rx power off(*)------+ ||||||||||| ||||
Tx power off(*)-----+| ||||||||||| ||||
Sig not locked(S)--+|| ||||||||||| ||||
Rx signal loss(*)-+||| ||||||||||| ||||
Admin Down(D)----+|||| ||||||||||| ||||
||||| ||||||||||| ||||
Fabric lane-----+ ||||| ||||||||||| ||||
SERDES lane--+ | ||||| ||||||||||| ||||
Record time Source Dev SL FL vvvvv vvvvvvvvvvv vvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ----------- ---- ------- --- -- -- -------- ----------------------
2014-05-18+12:38:17 47=16/1 FE 40 40 I 31= 8/1 FAP 43 11 1 CRC_ERROR
2014-05-18+12:39:27 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_DOWN
2014-05-18+12:39:28 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_START
2014-05-18+13:14:41 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 EYESCAN_COMPLETE
2014-05-18+13:14:50 47=16/1 FE 40 40 31= 8/1 FAP 43 11 1 ADMIN_UP
- StarOS 릴리스 16.1 이상에서는 구성된 EGQ(Egress Queue Discard) 임계값이 섀시에서 관찰될 때 SNMP 트랩을 생성할 수 있습니다. 임계값을 30초 간격으로 50 EGQ Discards로 설정하는 데 사용되는 명령의 예를 보여줍니다.
[local]asr5500# config
[local]asr5500(config)# fabric egress drop-threshold enable count 50 interval-secs 30
수동 복구
Eyescan 테스트 및 재프로그래밍 후 SERDES 링크가 복원되지 않은 경우 수동 복구가 필요합니다. 안타깝게도 소프트웨어에서는 SERDES 링크의 어느 쪽에 결함이 있는지 확인할 수 없습니다. 우리는 그 문제를 해결하기 위해 체계적인 방법을 취해야 한다.
주의: RMA에 앞서 1단계와 2단계를 반드시 수행해야 합니다.
- 먼저 카드 1개를 재장착합니다. 카드를 밀어내고 카드 백플레인과 섀시의 백플레인에 손상되거나 구부러진 핀이 있는지 확인합니다.
- 손상된 핀과 구부러진 핀이 관찰되면 사진을 찍고 Cisco TAC에 SR(Service Request)을 제기하십시오.
- 72시간 모니터링
- 문제가 다시 발생하면 2단계로 이동합니다.
- 해결되면 문제가 해결됩니다.
- 다른 카드를 재장착합니다. 카드를 밀어내고 카드 백플레인과 섀시의 백플레인에 손상되거나 구부러진 핀이 있는지 확인합니다.
- 손상된 핀과 구부러진 핀이 관찰되면 사진을 찍고 Cisco TAC에 SR(Service Request)을 제기하십시오.
- 72시간 모니터링
- 문제가 다시 발생하면 3단계로 이동합니다.
- 해결되면 문제가 해결됩니다.
- Cisco TAC에서 SR을 열고 카드 재장착 전후의 쇼 지원 세부사항 및 핀이 손상되거나 구부러진 사진을 첨부합니다.
문제가 해결되면 show fabric status 다음과 같습니다.
[local]ASR5500> show fabric status
Total number of FAPs: 24
Total number of FEs : 8
Total number of SERDES links: 1600
Total number of active SERDES links: 1600
SNMP 트랩 SERDESLanePermenentlyDown 은(는) Eyescan 장애로 인해 SERDES 레인이 영구적으로 중단된 시점을 나타내기 위해 구현되었습니다.
Sun Apr 17 00:05:00 2016 Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
[local]ASR5500> show fabric status
Total number of FAPs: 16
Total number of FEs : 12
Total number of SERDES links: 1456
Total number of active SERDES links: 1454
Total number of Fabric SERDES with errors: 0
Total number of NIF SERDES with errors : 0
[local]ASR5500> show fabric history
Command: arad system-device-id 1
Command: show serdes all-serdes history
Fabric Status:
+------Not Accept Cells(A)
SERDES Status: |+-----Cell Size(C)
Power off(*)-------------+ ||+----Misalignment(M)
Sig not locked(S)-------+| |||+---Code Group(G)
Admin down(D)----------+|| ||||+--Topology fault(T)
||| |||||
Logical Port---------+ ||| |||||
Fabric lane-----+ | ||| |||||
SERDES lane--+ | | ||| |||||
Record time Source Dev SL FL | vvv vvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- --- --- --- --- ----- ------- --- --- --- -------- ----------------------
2016-04-16+23:53:05 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:53:14 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-16+23:57:02 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-16+23:57:11 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:00:59 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
2016-04-17+00:01:08 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_DOWN
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - ADMIN_UP
2016-04-17+00:05:00 1= 1/1 FAP 40 8 264 T 42=17/2 FE 14 14 - FAULT_DETECTED
...
Command: fe600 system-device-id 42
Command: show serdes all-serdes history
NIF Status: Fabric Status:
Remote side down(r)-------+ +------------Not Accept Cells(A)
Local side down(l)-------+| |+-----------Internally fixed(*)
SERDES powered off(*)---+|| ||+----------Cell Size(C)
NIF powered off(*)-----+||| |||+---------Misalignment(M)
|||| ||||+--------Code Group(G)
SERDES Status: |||| |||||+-------Tx Down(*)
Rx power off(*)------+ |||| ||||||+------Rx Down(*)
Tx power off(*)-----+| |||| |||||||+-----Physically not connected(P)
Sig not locked(S)--+|| |||| ||||||||+----Logically not connected(L)
Rx signal loss(*)-+||| |||| |||||||||+---Far side not expected(*)
Admin down(D)----+|||| |||| ||||||||||+--Topology fault(T)
||||| |||| |||||||||||
Fabric lane-----+ ||||| |||| |||||||||||
SERDES lane--+ | ||||| |||| |||||||||||
Record time Source Dev SL FL vvvvv vvvv vvvvvvvvvvv Remote Dev SL FL CRC Errs Last Change
------------------- ------- --- -- -- ----- ---- ----------- ------- --- --- --- -------- ----------------------
2016-04-16+23:57:01 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-16+23:57:11 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:00:52 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-04-17+00:00:55 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_UP
2016-04-17+00:00:58 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - FAULT_DETECTED
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - ADMIN_DOWN
2016-04-17+00:01:08 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_START
2016-04-17+00:04:56 42=17/2 FE 14 14 *S A M PL T 1= 1/1 FAP 40 8 - EYESCAN_FAILURE
2016-Apr-17+00:05:00.023 [snmp 22002 info] [5/0/7150 <afctrl:0> trap_api.c:17297] [software internal system syslog] Internal trap notification 1303 (SERDESLanePermanentlyDown) SERDES lane is Down on local: slot 17 device 2 serdes lane index 14, Remote: slot 1 device 1 serdes lane index 40
2016-Apr-17+00:05:00.023 [afctrl 186019 critical] [5/0/7150 <afctrl:0> l_msg_handler.c:1541] [hardware internal system syslog] Fabric device 17/2, serdes lane index 14, (remote fabric device 1/1, serdes lane index 40) is Administratively offline due to excessive calibration failures
2016-Apr-16+23:41:09.247 [system 1009 warning] [6/0/10430 <evlogd:1> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
2016-Apr-16+23:41:09.247 [system 1009 warning] [5/0/7073 <evlogd:0> evlgd_syslogd.c:162] [software internal system critical-info syslog] CPU[5/0]: afio: afio [5/0/9285] [ 426721.037] afio/afio_fe600_serdes.c:2827: #1: fe600=42=17/2, Fabric SERDES lane transitioned from up to down, serdes=14, devid=1=1/1, serdes=40
관련 정보
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
1.0 |
19-Aug-2022 |
최초 릴리스 |
Cisco 엔지니어가 작성
- Mike LugoCisco TAC 기술 리더
- Dave DamerjianCisco TAC 기술 리더
- Dennis LanovCisco TAC 기술 리더
피드백지원 문의
- 지원 케이스 접수
- (시스코 서비스 계약 필요)