CEF 관련 오류 메시지 트러블슈팅

소개

이 문서에서는 Distributed Cisco Express Forwarding(이전의 dCEF) 스위칭(Cisco 7500 Series Router 및 Cisco 12000 Series Internet Router)을 실행하는 플랫폼에서 일반적인 Cisco Express Forwarding(이전의 CEF) 관련 오류 메시지의 원인 및 문제 해결 방법에 대해 설명합니다.

참고: Distributed Cisco Express Forwarding이 구성된 플랫폼에 따라 RP(Route Processor) 및 LC(Line Card)를 다르게 참조합니다.7500 Series의 경우 RP를 RSP(Route Switch Processor)라고 하며 LC를 VIP(Versatile Interface Processor)라고 합니다. 12000 Series에서 RP를 GRP(Gigabit Route Processor)라고 하며 LC를 LC라고 합니다.

사전 요구 사항

요구 사항

이 문서에 대한 특정 요건이 없습니다.

사용되는 구성 요소

이 문서는 특정 소프트웨어 및 하드웨어 버전으로 한정되지 않습니다.

표기 규칙

문서 규칙에 대한 자세한 내용은 Cisco 기술 팁 표기 규칙을 참고하십시오.

배경 정보

Cisco Express Forwarding Switching은 수요 캐싱과 관련된 문제를 해결하기 위한 전용 확장형 스위칭입니다.Cisco Express Forwarding 스위칭에서는 일반적으로 경로 캐시에 저장되는 정보가 여러 데이터 구조로 분할됩니다.Cisco Express Forwarding 코드는 RP에서 이러한 데이터 구조를 유지 관리할 수 있으며 Cisco 7500 Series의 VIP 및 Cisco 12000 Series의 LC와 같은 슬레이브 프로세서도 유지 관리할 수 있습니다.효율적인 패킷 전달을 위해 최적화된 조회를 제공하는 데이터 구조는 다음과 같습니다.

• FIB(Forwarding Information Base) 테이블 — Cisco Express Forwarding은 FIB를 사용하여 IP 대상 접두사 기반 스위칭 결정을 내립니다.FIB는 라우팅 테이블 또는 정보 베이스와 개념적으로 비슷합니다.IP 라우팅 테이블에 포함된 전달 정보의 미러 이미지를 유지 관리합니다.네트워크에서 라우팅 또는 토폴로지 변경이 발생하면 IP 라우팅 테이블이 업데이트되고 이러한 변경 사항이 FIB에 반영됩니다.FIB는 IP 라우팅 테이블의 정보를 기반으로 next-hop 주소 정보를 유지 관리합니다.

  FIB 항목과 라우팅 테이블 항목 간에는 일대일 상관관계가 있으므로 FIB는 모든 알려진 경로를 포함하며 빠른 스위칭 및 최적 스위칭과 같은 스위칭 경로와 연결된 경로 캐시 유지 관리가 필요하지 않습니다.

• Adjacency table(인접성 테이블) - 링크 레이어 전체에서 단일 홉으로 서로 연결할 수 있는 경우 네트워크의 노드가 인접한 것으로 간주됩니다.Cisco Express Forwarding은 FIB 외에도 인접성 테이블을 사용하여 L2(Layer 2) 주소 지정 정보를 추가합니다.인접성 테이블은 모든 FIB 항목에 대한 L2 next-hop 주소를 유지 관리합니다.

Cisco Express Forwarding은 다음 두 가지 모드 중 하나로 활성화할 수 있습니다.

• Central Cisco Express Forwarding 모드 - Cisco Express Forwarding 모드가 활성화되면 Cisco Express Forwarding FIB 및 인접성 테이블이 RP에 상주하며 RP가 Express 포워딩을 수행합니다.Cisco Express Forwarding 스위칭에 LC를 사용할 수 없거나 Distributed Cisco Express Forwarding 스위칭과 호환되지 않는 기능을 사용해야 하는 경우 Cisco Express Forwarding 모드를 사용할 수 있습니다.

• Distributed Cisco Express Forwarding 모드 - Distributed Cisco Express Forwarding이 활성화된 경우 LC(예: VIP LC 또는 GSR(Gigabit Switch Router) LC)는 FIB 및 인접성 테이블의 동일한 사본을 유지 관리합니다.LC는 직접 신속 포워딩을 수행할 수 있으므로 스위칭 작업에 대한 주 프로세서(GRP 또는 RSP)의 개입을 줄일 수 있습니다.이는 12000 Series에서 사용할 수 있는 유일한 스위칭 방법입니다.

  분산 Cisco Express Forwarding은 IPC(Inter-Process Communication) 메커니즘을 사용하여 RP 및 LC에서 FIB 및 인접성 테이블을 동기화합니다.

VIP 및 LC에서 Cisco Express Forwarding 상태 확인

참고: 아래 예에서 일부 명령은 출력 한정자를 사용합니다. | 기호) - 필요한 정보만 표시하도록 표시를 단순화합니다.출력 수정자는 Cisco IOS® 소프트웨어 릴리스 12.0 이상에서 지원됩니다.이전 버전을 실행 중인 경우 기본 명령(이전 버전 | 기호)를 클릭하고 전체 출력에서 해당 행을 찾습니다.

show cef linecard 명령을 실행하여 어떤 VIP 또는 LC Cisco Express Forwarding이 비활성화되었는지 쉽게 확인할 수 있습니다.

• 7500 시리즈:

  Router#show cef linecard
  CEF linecard generic information: 
    Slot MsgSent   Seq MaxSeq   LowQ   MedQ  HighQ Flags 
    4          8     6     30      0      0      0 up
    5          8     6     30      0      0      0 up
  
  Default-table CEF table, version 13, 11 routes
  Slot CEF-ver CEF-XDR Interface Flags
     4      12       5         5 Active, sync
     5      12       5         2 Active, sync
  

• 12000 Series:

  Router#show cef linecard
  CEF table version 694517, 95239 routes
  Slot CEF-ver MsgSent XdrSent Seq MaxSeq LowQ MedQ HighQ Flags
  0      32128     365   33320 362    367    0    0     0 disabled
  1      95821    1010   99369 1006  1025    0    0     0 disabled
  2      92559     971    6033 967    984    0    0     0 disabled
  8      62514     653   65734 649    661    0    0     0 disabled
  9      47165     486   48428 483    498    0    0     0 disabled
  10     79887     834   83232 830    849    0    0     0 disabled
  

  12000 Series는 Distributed Cisco Express Forwarding만 지원하므로 비활성화됨 상태가 되면 전체 LC가 비활성화됩니다.

XDR(외부 데이터 표현) 개요

다음 오류 메시지를 이해하려면 XDR 메시지가 무엇이고 어떤 용도로 사용되는지 이해해야 합니다.

• %FIB-3-NORPXDRQELEMS

• %FIB-3-FIBBADXDRLEN

• %FIB-4-FIBXDRLEN

다음은 XDR 아키텍처의 개요입니다.

이 문서의 Background Information 섹션에서 설명한 대로 IPC 메시지는 RP에서 LC로 FIB 및 인접성 테이블을 전송합니다.즉, IPC 메커니즘은 RP와 LC의 두 테이블 집합을 동기화합니다.기능에 사용되는 모든 데이터 구조는 FIB IPC를 통해 LC로 전송되어야 하며 통계는 RP로 다시 전송되어야 합니다.Distributed Cisco Express Forwarding이 활성화된 경우 LC는 로컬에 저장된 복제된 데이터베이스를 사용하여 전달 결정을 내립니다.

XDR을 IPC 오버레이 메커니즘이라고 합니다.XDR 메시지는 Distributed Cisco Express Forwarding 구현에서만 사용됩니다.

Cisco IOS Software 기능을 지원하는 통계 및 데이터 구조는 RP와 LC 간에 Cisco IOS Software IPC 메커니즘을 통해 XDR 메시지에서 전달됩니다.특히 XDR 메시지는 다음 표에 나와 있는 세 가지 정보 집합을 전달합니다.

메시지 유형	메시지 설명	방향
제어	RP는 RP 기능 하위 블록의 제어 데이터를 전송하여 LC의 모든 미러링 하위 블록으로 전송하며, 이 하위 블록은 변경 사항을 알아야 합니다.	RP에서 LC로
통계	LC는 다양한 기능 하위 블록에서 통계 정보를 수집하고, 수집된 정보를 XDR 버퍼에 배치하고, XDR 메시지를 RP에 전송합니다.그런 다음 RP는 이러한 통계를 집계합니다.	LC에서 RP로
비동기 이벤트 보고	LC는 조건이 발생할 때 전송되는 비동기 메시지를 통해 비루틴 이벤트를 보고합니다.	LC에서 RP로

XDR 메시지를 통해 전송된 정보를 보려면 show cef line internal 명령을 실행합니다.NDB(Network Descriptor Block)/RDB(Routing Descriptor Block) 업데이트는 XDR의 한 예입니다.

Total elements queued: 
  prefix                    1877106 
  adjacency                 6011 
  interface                 4084 
  address                   4010 
  policy routing            3 
  hw interface              84 
  state                     6 
  resequence                2 
  control                   24 
  time                      308 
  subblock                  18109 
  flow features deactivate  3 
  flow cache config         3 
  flow export config        3 
  flow sampling config      3 
  access-list               213 
  mpls ttl propogate        3 
  routemap config           126 
  mpls stats aggregate      3 
  dot1q vlan                10109 
  icmp limit                3 

문제 해결

이 섹션에서는 라우터 로그에 나타나는 오류 메시지를 나열하고 문제 해결 팁을 제공합니다.

%FIB-3-FIBDISABLE:심각한 오류, 슬롯 [#]:메모리 없음 및 %FIB-3-NOMEM:Malloc Failure, 라인 카드에서 dCEF 비활성화

이러한 유형의 오류 메시지는 라우터 로그에서 찾을 수 있습니다(라우터에서 show logging exec 명령을 실행하거나, 사용 중인 경우 syslog 서버에 문의하십시오).

• 7500 시리즈:

  Dec 19 17:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
  DEC 19 17:58:58 CET: %IPC-5-SLAVELOG: VIP-SLOT0: 
  00:03:37: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from     
  0x6009E9E4, pool Processor, alignment 16
  -Process= "CEF IPC Background", ipl= 0, pid= 7
  -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528 
  6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60      
  DEC 19 17:59:06 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: no memory
  DEC 19 17:59:11 CET: %IPC-5-SLAVELOG: VIP-SLOT9:
  00:03:47: %SYS-2-MALLOCFAIL: Memory allocation of 65524 bytes failed from      
  0x6009E9E4, pool Processor, alignment 16 
  -Process= "CEF IPC Background", ipl= 0, pid= 7
  -Traceback= 600A141C 600A2B78 6009E9EC 6009F350 60235A34 60221BA4 60225528      
  6022A46C 60231104 6022FAC4 6022FCCC 6022FDBC 60230334 6009BB74 6009BB60     
  DEC 19 17:59:31 CET: %IPC-5-SLAVELOG: VIP-SLOT8: 
  00:04:11: %SYS-2-MALLOCFAIL: Memory allocation of 3956 bytes failed from      
  0x602835F0, pool Processor, alignment 32 
  -Process= "CEF LC Stats", ipl= 0, pid= 21 
  -Traceback= 600A141C 600A2EC8 602835F8 60283C84 60283C58 60283CE4 60230574      
  6009BB74 6009BB60
  DEC 19 17:59:38 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: no memory
  DEC 19 18:00:29 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: no memory
  ...
  

• 7500 Series에서 %IPC-5-SLAVELOG 바로 뒤에 나타나는 오류 메시지:VIP-SLOT 메시지는 IPC 메커니즘을 사용하여 언급된 슬롯에 있는 VIP에서 직접 전송됩니다.이 예제에서는 %SYS-2-MALLOCFAIL 메시지가 VIP 카드에서 옵니다.

  Jun 27 04:58:56 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: no memory
  Jun 27 04:59:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: no memory
  Jun 27 04:59:36 CET: %FIB-3-FIBDISABLE: Fatal error, slot 4: no memory
  Jun 27 04:59:45 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: no memory
  SLOT 2:Jun 27 04:23:00: %SYS-2-MALLOCFAIL: Memory allocation of 65524        
  bytes failed from 0x4009D9E4, pool Processor, alignment 32 
  -Process= "CEF IPC Background", ipl= 0, pid= 38 
  -Traceback= 400A0BFC 400A2358 4009D9EC 4009E338 403168BC 40316B68 40316EBC       
  4031C318 40321234 4032858C
  40326CD4 40326EF4 40326FE4 403275CC 4009BC74 4009BC60
  SLOT 2:Jun 27 04:23:00: %FIB-3-NOMEM: 
  Malloc Failure, disabling DCEF on linecard
  ...

  참고: "SLOT #:"로 시작하는 메시지는 LC 자체에서 생성됩니다.

이 메시지는 Distributed Cisco Express Forwarding이 VIP(7500 Series) 또는 LC(12000 Series)에서 비활성화되었음을 나타냅니다. 메모리가 부족하여 메인 보드에서 Cisco Express Forwarding FIB 및 인접성 테이블을 다운로드할 수 없습니다.12000 Series는 Distributed Cisco Express Forwarding 스위칭만 지원하므로 Distributed Cisco Express Forwarding을 비활성화하면 카드도 비활성화됩니다.

전체 BGP(Internet Border Gateway Protocol) 경로를 실행할 때는 VIP 또는 LC에 128MB 이상을 사용하는 것이 좋습니다.

7500 Series의 VIP2-40은 최대 64MB만 포함할 수 있으므로, Distributed Cisco Express Forwarding을 전체 인터넷 BGP 경로와 함께 사용하려면 VIP2-50 또는 VIP4-80으로 업그레이드하는 것이 좋습니다.32MB로는 Distributed Cisco Express Forwarding을 실행하기에 충분하지 않습니다.

라우팅 테이블의 크기에 따라 128MB 이상의 메모리를 가진 VIP2-50 이상을 사용하는 것이 좋습니다.

라우터가 전체 인터넷 라우팅 테이블을 수락하거나 그에 가까운 경우, 라우터가 다시 로드되거나 BGP 링크가 상태를 변경한 후 컨버전스 단계에서 일시적으로 많은 양의 메모리가 필요합니다.이러한 컨버전스 동안 프로세서 메모리 풀은 show memory summary 명령 출력에 반영되는 것처럼 매우 낮은 값에 도달할 수 있습니다.짧은 메모리 부족 상태 동안 메모리가 필요한 경우 다른 프로세스에 영향을 줄 수 있습니다.예를 들어, telnet 명령을 실행하여 라우터에 연결하려면 TCP 세션을 유지하기 위한 메모리가 필요합니다.

프로세서 메모리의 또 다른 임시 사용자는 MPLS(Multiprotocol Label Switching) 네트워크의 LDP(Label Distribution Protocol)입니다.

Cisco Express Forwarding은 라우터에 프로세서 메모리가 완전히 부족해질 때만 FIBDISABLE 오류를 생성합니다.FIBDISABLE에 대한 하위 워터마크가 없습니다.Cisco Express Forwarding이 자체 비활성화되면 모든 메모리가 해제됩니다.따라서 disabled 후 show memory summary 명령의 출력을 캡처하면 사용 가능한 메모리가 충분하지만 이 출력은 잘못된 것입니다.Cisco Express Forwarding이 비활성화되기 전에 show memory summary 명령의 캡처만 메모리 부족 상태에 대한 데이터를 표시합니다.

또한 FIBDISABLE 조건은 IPC 버퍼가 부족하면 부작용이 발생할 수 있습니다.Cisco IOS Software는 필요한 만큼 더 많은 IPC 버퍼를 동적으로 할당하지 않습니다.IPC 버퍼가 부족하면 FIB NOMEM 오류 메시지가 생성되지 않지만 IPC-3-NOBUFF와 같은 다른 IPC 오류 메시지가 표시될 수 있습니다.IPC 버퍼가 부족해도 FIBDISABLE 오류가 발생하지 않습니다.Cisco Express Forwarding은 단순히 실패한 메시지를 요청하고 나중에 다시 시도합니다.그러나 IPC 버퍼가 소진되고 Cisco Express Forwarding에서 IPC 버퍼를 가져올 수 없는 경우, 결국 메모리가 부족해질 때까지 메시지를 LC에 대기시킬 수 있습니다.

Cisco TAC(Technical Assistance Center)에 자주 제기되는 질문은 BGP 연결 라우터에 BGP를 실행할 충분한 메모리가 있는지 여부를 계획하거나 확인하는 방법입니다.정답은 구성에 따라 다릅니다.몇 가지 고려 사항은 다음과 같습니다.

• iBGP(Internal Border Gateway Protocol) 및 eBGP(External Border Gateway Protocol) 피어를 사용할 계획입니까?동료 수는?BGP 피어 그룹이 도움이 될 수 있습니다.피어 수가 많을수록 통합 시간이 길어집니다.

• 각 피어에 대해 각 방향으로 교환되는 라우트는 몇 개입니까?경로와 경로를 적절하게 구별해야 합니다.경로는 BGP 라우팅 정보 베이스에 있는 접두사 수를 계산합니다.Paths는 인접 피어에 광고된 BGP 접두사 수를 계산합니다.예를 들어 5개의 BGP 피어가 전체 라우팅 테이블을 전송하면 각 피어가 동일한 경로를 전송합니다.피어의 경로가 90%라고 가정할 때, 수신 라우터에는 대부분의 경로에 대해 5개의 경로가 있는 약 150,000개의 경로가 있는 경로 테이블이 있습니다.

• 기타 고려 사항은 다음과 같습니다.

  • 12000 Series에는 LC 엔진이 있습니다.

  • IGP(Interior Gateway Protocol) 경로 수입니다.

  • 인접성 수입니다.

  • 로드 밸런싱 - 동일한 대상에 대한 경로 수입니다.

  • MPLS VPN(Virtual Private Network) 사용, VRF(Virtual Routing and Forwarding) 인스턴스 수 및 VRF당 경로 수

Cisco IOS Software 릴리스 12.0(18)S 이상 릴리스는 공식적으로 모든 LC에 128MB가 필요합니다.최신 Cisco IOS Software 릴리스는 더 많은 프로세서 메모리를 사용하므로 전체 인터넷 라우팅 테이블을 수용하는 라우터에 대해 향후 확장성을 지원하려면 최대 256MB를 지원하는 것이 좋습니다.이전에는 LC에서 64MB의 12000 Series를 사용할 수 있었습니다.이러한 LC를 업그레이드해야 합니다.

영향을 받는 카드를 확인합니다(VIP 및 LC에서 Cisco Express Forwarding Status 확인 섹션 및 이 문서의 LC 섹션 참조). 다음 명령을 실행하여 라우터에 있는 다양한 유형의 카드와 각 메모리 양을 표시합니다.

• 7500 시리즈:

  Router#show diag | i (Slot | controller) 
  Slot 0: 
          EIP controller, HW rev 1.05, board revision B0 
          Slot database information: 
  Slot 2: 
  Slot 3: 
  Slot 4: 
          VIP2 controller, HW rev 2.11, board revision E0 
          Slot database information: 
          Controller Memory Size: 64 MBytes DRAM, 2048 KBytes SRAM 
  Slot 5: 
          VIP2 R5K controller, HW rev 2.03, board revision A0 
          Slot database information: 
          Controller Memory Size: 128 Mbytes DRAM, 8192 Kbytes SRAM 
  Slot 31 (virtual):
  

• 12000 Series:

  Router#show diag | i (DRAM|SLOT) 
  SLOT 0  (RP/LC 0 ): 1 Port SONET based SRP OC-12c/STM-4 Single Mode 
    DRAM size: 268435456 bytes 
    FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
  SLOT 2  (RP/LC 2 ): 12 Port Packet over E3 
    DRAM size: 67108864 bytes 
    FrFab SDRAM size: 67108864 bytes 
    ToFab SDRAM size: 67108864 bytes 
  SLOT 3  (RP/LC 3 ): 1 Port Gigabit Ethernet 
    DRAM size: 134217728 bytes 
    FrFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
    ToFab SDRAM size: 134217728 bytes, SDRAM pagesize: 8192 bytes 
  SLOT 5  (RP/LC 5 ): Route Processor 
    DRAM size: 268435456 bytes
  

영향을 받는 카드에 메모리를 더 추가하면 메시지가 표시되지 않고 카드에 분산된 Cisco Express Forwarding을 다시 활성화할 수 있습니다.메모리 업그레이드 후에도 메시지가 계속 표시되면 Cisco 지원 담당자에게 문의하고 지금까지 수집한 정보를 show tech-support 명령의 출력과 함께 제공합니다.

참고: 이전 FIP(Fast Ethernet Interface Processor) 모델(CX-FIP2-2TX 및 CX-FIP2-2TX)은 분산 스위칭을 전혀 지원하지 않으며, Distributed Cisco Express Forwarding을 활성화하려는 경우 유사한 메시지를 생성합니다.보드가 VIP인지 FIP인지 확인하려면 show diag [slot#] 명령을 실행합니다.

Router#show diag 0 
Slot 0: 
        Physical slot 0, ~physical slot 0xF, logical slot 0, CBus 0 
        Microcode Status 0x4 
        Master Enable, LED, WCS Loaded 
        Pending I/O Status: None 
        EEPROM format version 1 
        FEIP controller, HW rev 2.01, board revision B0 
        Serial number: 03696620  Part number: 73-1374-04 
        Test history: 0x0E        RMA number: 203-11-48 
        Flags: cisco 7000 board; 7500 compatible

Distributed Cisco Express Forwarding을 실행하려면 기존 FIP를 고속 이더넷 포트 어댑터로 VIP 카드로 교체해야 합니다.

%FIB-3-FIBDISABLE:심각한 오류, 슬롯 [#]:창 메시지가 없습니다. RP IPC에 대한 LC가 작동하지 않습니다.

7500 및 12000 Series에서 다음 메시지는 RSP 또는 GRP가 VIP 또는 LC로부터 keepalive를 받지 않았기 때문에 Cisco Express Forwarding이 비활성화되었음을 나타냅니다.

DEC 19 18:03:55 CET: %FIB-3-FIBDISABLE: Fatal error, slot 0: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:05 CET: %FIB-3-FIBDISABLE: Fatal error, slot 9: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:04:37 CET: %FIB-3-FIBDISABLE: Fatal error, slot 8: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:28 CET: %FIB-3-FIBDISABLE: Fatal error, slot 10: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:05:59 CET: %FIB-3-FIBDISABLE: Fatal error, slot 2: 
No window message, LC to RP IPC is non-operational 
DEC 19 18:06:07 CET: %FIB-3-FIBDISABLE: Fatal error, slot 1: 
No window message, LC to RP IPC is non-operational 

먼저 카드에 메모리가 충분한지 확인합니다.

그런 다음 VIP 또는 LC에서 CPU 사용률을 확인합니다(7500 Series에서 show controllers vip [slot#] proc cpu 명령 및 12000 Series에서 execute-on slot 0 show proc CPU 명령 실행). CPU 사용률이 매우 높을 경우(95% 이상) VIP 또는 LC가 너무 바빠서 RSP 또는 GRP에 keepalive를 보낼 수 없습니다.이 문제의 근본 원인은 CPU 사용량이 많은 것입니다.문제 해결 팁은 Cisco 라우터의 CPU 사용률 문제 해결을 참조하십시오.

모든 것이 정상적으로 보이는 경우 오류 메시지는 Cisco IOS Software의 버그로 인해 발생한 것일 수 있습니다.

이 오류를 해결할 때 먼저 영향을 받은 카드를 확인해야 합니다(이 문서의 VIP 및 LCs 섹션에서 Cisco Express Forwarding Status 확인 섹션 참조). clear cef linecard [slot#] 명령을 실행하여 해당 카드에서 Cisco Express Forwarding을 다시 시작할 수 있습니다.7500 Series에서는 마이크로코드 reload 명령을 실행하여 VIP 카드를 재설정해야 할 수도 있습니다.이렇게 하면 CBUS 복잡성이 생성되어 트래픽이 약 2분 동안 중단됩니다("%RSP-3-RESTART의 원인:CBUS 복합?자세한 정보). 이 절차는 적어도 일시적으로 VIP 또는 LC에서 분산 Cisco Express Forwarding을 복원해야 합니다.

그렇지 않으면 Cisco IOS Software 릴리스 트레인의 최신 버전으로 업그레이드하면 이러한 유형의 오류를 일으키는 모든 고정 문제가 제거됩니다.업그레이드 후에도 문제가 계속되면 Cisco 지원 담당자에게 문의하여 show tech-support 명령의 결과와 함께 지금까지 수집한 정보를 제공하십시오.

%FIB-3-FIBDISABLE:심각한 오류, 슬롯 [#]:IPC 실패

다음 오류 메시지는 더 일반적이며 다른 오류 메시지가 나타날 수 있습니다(예: %FIB-3-FIBDISABLE:심각한 오류, 슬롯 [#]:창 메시지가 없습니다. RP IPC에 대한 LC가 작동하지 않습니다.)

%FIB-3-FIBDISABLE: Fatal error, slot 3: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 0: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 1: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 2: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 4: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 9: IPC failure 
%FIB-3-FIBDISABLE: Fatal error, slot 10: IPC failure 

IPC(Inter-Process Communication)는 주 프로세서(RSP 또는 GRP) 및 VIP 또는 LC에서 통신에 사용하는 프로토콜입니다.Distributed Cisco Express Forwarding이 실행 중일 때 FIB 및 인접성 테이블을 동기화합니다.이러한 IPC 오류 메시지에는 다음과 같은 여러 가지 원인이 있습니다.

IPC 실패

아래 명령을 사용하여 실제 IPC 상태를 분석할 수 있습니다.이러한 명령의 출력은 7500 Series와 12000 Series 간에 서로 다를 수 있습니다.

• show ipc status - IPC 오류, NACK 및 ipc_output_failures를 확인하는 데 사용됩니다.

• show ipc nodes - 활성 카드를 확인하는 데 사용됩니다.

• show ipc queue - ACK를 기다리는 IPC 메시지를 확인하는 데 사용됩니다.

7500 Series에서 출력은 다음과 같습니다.

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

1000 IPC message headers in cache 
1591560 messages in, 5884 out, 1587095 delivered to local port, 
2757 acknowledgements received, 2764 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 276 messages dropped on output 
0 no local port, 264 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 5 retries, 
1 message timeout. 
12 ipc_output failures, 0 mtu failures, 
0 msg alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 10 memd alloc failed 
2 no hwq, 0 failed opens, 0 hardware errors 
No regular dropping of IPC output packets for test purposes 

Router#show ipc nodes 
There are 3 nodes in this IPC realm. 
   ID     Type                 Name         Last  Last 
                                            Sent  Heard 
   10000 Local      IPC Master                0      0 
 1030000 RSP-CY     RSP IPC card slot 3       7      7 
 1000000 RSP-CY     RSP IPC card slot 0      10     10 

Router#show ipc queue 
There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 IPC messages waiting for a response. 
There are 0 IPC messages waiting for additional fragments. 
There are 0 IPC messages currently on the IPC inboundQ. 
There are 0 messages currently in use by the system.

12000 Series에서 출력은 다음과 같습니다.

Router#show ipc status 
IPC System Status: 

This processor is the IPC master server. 

19244592 messages in, 26698 out, 19244448 delivered to local port, 

102 acknowledgements received, 4780307 sent, 
0 NACKS received, 0 sent, 
0 messages dropped on input, 0 messages dropped on output 
0 no local port, 0 destination unknown, 0 no transport 
0 missing callback or queue, 0 duplicate ACKs, 0 retries, 
0 message timeouts. 
0 ipc_output failures, 0 mtu failures, 
0 MSG alloc failed, 0 emer MSG alloc failed, 0 no origs for RPC replies 
0 pak alloc failed, 0 memd alloc failed 
0 no hwq, 0 failed opens, 0 hardware errors 

Router#show ipc nodes 
There are 4 nodes in this IPC realm. 

   ID     Type       Name             Last  Last 
 10000 Local      IPC Master          0      0 
 1000000 GSR        GSR Slot 0         23     47 
 1010000 GSR        GSR Slot 1         23     26 
 1040000 GSR        GSR Slot 4         23     29 

                                  Sent  Heard
Router#show ipc queue 

There are 0 IPC messages waiting for acknowledgement in the transmit queue. 
There are 0 messages currently in use by the system. 

강조 표시된 카운터가 증가하면 다른 슬롯에 대해 IPC가 제대로 실행되지 않습니다.이 경우 먼저 해당 LC를 재장착하거나, 마이크로코드 reload 명령(7500 Series의 경우) 또는 hw-module slot [slot#] reload 명령(12000 Series의 경우)을 실행하여 재설정해야 합니다. LC를 재설정한 후 IPC 프로세스가 복구되지 않으면 보드를 다른 슬롯으로 이동하십시오.그래도 작동하지 않으면 결함이 있는 VIP 또는 LC를 교체합니다.

패브릭 문제

12000 Series Internet Router에서 패브릭 자체가 원인일 수 있습니다.SFC(Switching Fabric Card) 중 하나가 불량한 경우 IPC 메시지가 더 이상 패브릭을 통과할 수 없으므로 유사한 오류 메시지가 나타날 수 있습니다.그러나 이 경우 결함이 있는 패브릭을 가리키는 다른 메시지도 표시되어야 합니다.

다음과 같이 show controller fia 명령을 실행하여 SFC 중 하나가 불량한지 확인할 수 있습니다.

Router#show controllers fia
Fabric configuration: Full bandwidth redundant
Master Scheduler: Slot 17

>From Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
redund fifo parity 0   redund overflow 0  cell drops 1
crc32 lkup parity  0   cell parity     0  crc32      0
Switch cards present    0x0017    Slots  16 17 18 20
Switch cards monitored  0x0017    Slots  16 17 18 20
Slot:     16       17         18         19         20
Name:    csc0     csc1       sfc0       sfc1       sfc2       
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
los    0         0          0          0          0
state  Off       Off        Off        Off        Off
crc16  0         0          4334       0          0

To Fabric FIA Errors
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
/en/US/docs/net_mgmt/wan_service_administrator/1.1/administrator/guide/getstart.html
---
sca not pres 0       req error     0      uni FIFO overflow 0
grant parity 0       multi req     0      uni FIFO undrflow 0
cntrl parity 0       uni req       0      crc32 lkup parity 0
multi FIFO   0       empty dst req 0      handshake error   0
cell parity  0 

이 예에서 sfc0은 불량일 수 있으며(슬롯 18) 교체해야 합니다.

제대로 부팅되지 않거나 멈춘 VIP 또는 LC

카드 중 하나가 제대로 부팅되지 않으면 주 프로세서(GRP 또는 RSP)와 통신할 수 없습니다. show log 명령을 실행하여 로그를 확인할 수 있습니다.이는 부팅 시 문제가 발생했음을 알려줍니다.또한 LC의 상태를 확인해야 합니다.

show diag 명령을 실행하여 LC의 실제 상태를 확인할 수 있습니다.

• 7500 시리즈:

  Router#show diag | i (Slot|Board is)
  Slot 0:
  		Board is analyzed
  		Slot database information:
  Slot 2:
  Slot 3:
  Slot 4:
  		Board is analyzed
          Slot database information:
  Slot 5:
          Board is analyzed
          Slot database information:
  Slot 31 (virtual)
  

• 1200 시리즈:

  Router#show diags | i SLOT | State 
  SLOT 0  (RP/LC 0 ): Route Processor 
    Board State is IOS Running (ACTV  RP ) 
  SLOT 1  (RP/LC 1 ): 1 port ATM Over SONET OC12c/STM-4c Multi Mode 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 2  (RP/LC 2 ): 1 Port Gigabit Ethernet 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 3  (RP/LC 3 ): 3 Port Gigabit Ethernet 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 4  (RP/LC 4 ): 4 port ATM Over SONET OC-3c/STM-1 Multi Mode 
    Board State is In Reset (IN   RSET) 
  SLOT 5  (RP/LC 5 ): 8 Port Fast Ethernet Copper 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 6  (RP/LC 6 ): 4 Port Packet Over SONET OC-3c/STM-1 Multi Mode 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 7  (RP/LC 7 ): 1 Port E.D. Packet Over SONET OC-48c/STM-16 
  Single Mode/SR SC-SC connector 
    Board State is Line Card Enabled (IOS  RUN ) 
  SLOT 17 (CSC 1   ): Clock Scheduler Card(8) 
  SLOT 18 (SFC 0   ): Switch Fabric Card(8) 
  SLOT 19 (SFC 1   ): Switch Fabric Card(8) 
  SLOT 20 (SFC 2   ): Switch Fabric Card(8) 
  SLOT 24 (PS A1   ): AC Power Supply(8)
  

정상 상태는 12000 Series에서 라인 카드 활성화됨으로, 7500 Series에서 보드가 분석됩니다.

카드가 Cisco IOS Software에서 지원되는지, 그리고 현재 실행 중인 부트 이미지가 있는지 확인합니다.이를 위해 Software Advisor를 사용할 수 있습니다(등록된 고객만 해당). 소프트웨어가 정상적으로 실행 중인 경우, 해당 LC를 다시 장착하거나 microcode reload 명령(7500 Series의 경우) 또는 hw-module slot [slot#] reload 명령(12000 Series의 경우)을 실행하여 재설정합니다.

LC가 다시 작동하지 않으면 카드를 다른 슬롯으로 교체하여 섀시의 이 특정 슬롯에 결함이 없는지 확인합니다.그래도 작동하지 않으면 VIP 또는 LC를 교체해야 할 수 있습니다.

또한 LC에 메모리가 충분한지, Cisco에서 직접 또는 Cisco에서 승인한 공급업체에서 메모리를 구매했는지 확인할 수 있습니다.잘못된 유형의 메모리를 사용하거나 마이크로코드를 업로드할 메모리가 부족한 경우 LC가 부팅되지 않습니다.

VIP 또는 라인 카드(더 이상 버퍼가 없음)

LC는 메모리가 부족하고 IPC 통신이 발생할 수 있는 버퍼가 더 이상 없을 수 있습니다.이 경우 LC의 메모리를 업그레이드해야 합니다.

Cisco IOS 소프트웨어 버그

다른 모든 것이 정상적으로 보이는 경우 Cisco IOS Software에서 버그가 발생할 가능성을 고려하십시오.Cisco IOS Software 릴리스 트레인의 최신 버전으로 업그레이드하면 모든 고정 IPC 문제가 제거됩니다.

액세스 목록 개선이 구성된 드문 12000 Series 관련 사례에서는 이러한 오류 메시지도 얻을 수 있습니다.단기적인 수정은 no access-list hardware psa 명령을 실행하여 이 새로운 기능을 비활성화하는 것입니다.자세한 내용은 Cisco 12000 Gigabit Switch Router의 액세스 목록 성능 개선을 참조하십시오.

메시지의 원인을 알 수 없거나 릴리스 교육에 대해 CCO에서 사용할 수 있는 최신 Cisco IOS Software 릴리스에 문제가 여전히 나타날 경우 새로운 Cisco IOS Software 버그가 발생할 수 있습니다.Cisco 지원 담당자에게 문의하여 지금까지 수집한 데이터와 함께 show tech-support 및 show cef linecard 명령의 출력을 제공하십시오.

OIR(Online Insertion and Removal) 또는 VIP 충돌

VIP 충돌 후 RSP 패킷 메모리(MEMD라고도 함)가 복원되고 RSP와 VIP 간의 IPC 연결이 재설정됩니다.RSP에 VIP 충돌 중에 IPC 재전송 테이블에서 Cisco Express Forwarding 메시지가 대기된 경우, 이러한 메시지는 시간 초과될 수 있으며 다른 LC에서 Cisco Express Forwarding이 비활성화될 수 있습니다.Cisco 버그 ID CSCdv87489(등록된 고객만 해당)는 Cisco Express Forwarding에 OIR, LC 다시 로드 또는 MEMD 레코드를 탐지하고 재전송 대기열에서 메시지를 플러시하여 RSP에서 이 문제를 해결합니다.Cisco 버그 ID CSCdu81796(등록된 고객만 해당)은 Cisco 1000 Series 라우터에서 이 문제를 해결합니다.

VIP 또는 LC의 OIR을 수행하면 다른 슬롯에서 FIBDISABLE 오류 문제가 발생할 수 있습니다.이 상황은 RP의 Cisco Express Forwarding이 VIP 중 하나에서 OIR 이벤트로 인해 다른 VIP 카드에 IPC를 연결하지 못할 때 발생합니다.Cisco 버그 ID CSCdv47664(등록된 고객만 해당)가 이 문제를 해결합니다.

%FIB-4-RPPREFIXINCONST2/1 및 %FIB-4-LCPREFIXCONST2/1

라우터 로그에서 다음 메시지를 확인할 수도 있습니다.

%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.54/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.205.231/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.221.68/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.52/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.96/32
in FIB table Default-table (present in routing)
%FIB-4-RPPREFIXINCONST2: RP missing prefix for 195.74.216.55/32
in FIB table Default-table (present in routing)

또는

%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.17.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.45.0/32
%FIB-4-LCPREFIXINCONST2: Slot 1 missing prefix entry for 64.0.23.0/32

이 문제는 7500 및 12000 Series를 포함하여 Distributed Cisco Express Forwarding을 실행하는 모든 하드웨어에 영향을 미칩니다.이러한 메시지는 Cisco Express Forwarding 일관성 검사기가 Cisco Express Forwarding 테이블 간의 불일치를 검색할 때 생성되는 경고입니다.

일관성 검사기는 서로 다른 메커니즘을 사용하여 불일치를 찾습니다.

• LC 또는 VIP는 패킷을 전달할 수 없는 GRP 또는 RSP 주소를 전송합니다.GRP 또는 RSP가 관련 항목임을 탐지하면 불일치가 감지되고 콘솔에 오류 메시지가 인쇄됩니다.

• LC, VIP 및 GRP 또는 RSP는 60초마다 고정된 양의 접두사(기본값 100)를 서로 전송합니다.불일치가 탐지되면 오류 메시지가 나타납니다.

불일치가 수정되지 않으면 연결할 수 없는 대상 및 삭제된 패킷이 발생할 수 있습니다.이러한 메시지가 표시되면 먼저 오류 메시지에 언급된 디바이스에서 show ip cef 명령을 실행하고 접두사가 있는지 확인하는 것입니다.이렇게 하면 라우터가 불일치를 자체적으로 해결했는지 여부가 표시됩니다.

아래에는 각 메시지에 대한 자세한 설명과 이러한 메시지를 제거하기 위한 몇 가지 권장 사항이 나와 있습니다.

• %FIB-4-RPPREFIXINCONST2 - 패시브 일관성 검사기가 라우팅 테이블에서 RP의 Cisco Express Forwarding 테이블에 없는 접두사를 검색했습니다.일시적인 상태일 수 있습니다.

  동일한 접두사가 반복되는 오류를 제공하는 경우 Cisco Express Forwarding 및 라우팅 테이블에서 접두사를 확인합니다.접두사가 누락된 경우 Cisco Express Forwarding을 비활성화하거나 활성화하십시오.

• %FIB-4-RPPREFIXINCONST1 - 패시브 일관성 검사기가 RP에 없는 LC의 전달 테이블에서 접두사를 검색했습니다.일시적인 상태일 수 있습니다.

  동일한 접두사가 반복되는 오류를 제공하는 경우 RP 및 라인 카드의 Cisco Express Forwarding 접두사를 확인합니다.필요한 경우 clear cef linecard 명령을 실행하면 새 Cisco Express Forwarding 테이블이 라인 카드에 다운로드됩니다.

• %FIB-4-LCPREFIXINCONST1 - 패킷이 LC에 도착했지만 대상 IP 주소 조회가 전달 테이블에서 이 접두사를 찾지 못했습니다.그러나 접두사가 RP에 있습니다.일시적인 상태일 수 있습니다.

  동일한 접두사가 반복되는 오류를 제공하는 경우 RP 및 LC에서 Cisco Express Forwarding 접두사를 확인합니다.필요한 경우 clear cef linecard 명령을 실행하면 새 Cisco Express Forwarding 테이블이 LC에 다운로드됩니다.또한 clear adjacency 명령을 실행하여 /32 접두사를 다시 로드할 수도 있습니다.

• %FIB-4-LCPREFIXINCONST2 - 패시브 일관성 검사기가 RP에 있는 LC의 포워딩 테이블에 없는 접두사를 발견했습니다.일시적인 상태일 수 있습니다.

  동일한 접두사가 반복되는 오류를 제공하는 경우 RP 및 LC에서 Cisco Express Forwarding 접두사를 확인합니다.필요한 경우 clear cef linecard 명령을 실행하면 새 Cisco Express Forwarding 테이블이 LC에 다운로드됩니다.또한 clear adjacency 명령을 실행하여 /32 접두사를 다시 로드할 수도 있습니다.

  메시지가 한 번만 표시되고 불일치가 즉시 수정되면 일시적인 이벤트일 수 있으며 조치가 필요하지 않습니다.그러나 이러한 메시지가 많이 수신되거나 라우터가 이 상황을 자체적으로 해결하지 않으면 Cisco Express Forwarding 코드에서 소프트웨어 버그를 누를 수 있습니다.Cisco IOS Software 릴리스 12.0(17)S1 및 12.0(17)ST1에서 이러한 소프트웨어 버그가 여러 개 수정되었습니다. 따라서 이 버전의 Cisco IOS 소프트웨어를 실행하고 있는지 확인하십시오.

  릴리스 트레인의 최신 버전으로 업그레이드한 후에도 문제가 계속 나타나면 Cisco 지원 담당자에게 문의하여 show tech, show ip route 및 show ip cef 명령의 출력을 제공하십시오.

  참고: no ip cef table consistency-check 전역 컨피그레이션 명령을 실행하여 일관성 검사기를 해제할 수 있습니다.

이 오류 메시지에 대한 자세한 내용 및 문제 해결 팁은 Cisco Express Forwarding과 접두사 불일치 문제 해결을 참조하십시오.

%FIB-3-NORPXDRQELEMS:슬롯 [#]에 대한 메시지를 준비하는 동안 XDR 큐 요소가 모두 사용되었습니다.

참고: 이 오류 메시지에 대한 설명과 권장 사항을 더 잘 이해하려면 이 문서의 XDR(External Data Representation) 개요 섹션을 참조하십시오.

RP가 시스템의 LC에 메시지를 보낼 준비를 하는 동안 메시지를 전송하기 위해 대기열에 넣는 데 필요한 대기열 요소 공급이 모두 소모되었습니다.

Cisco 12000 Series에서 대규모 라우팅 업데이트(예: 부팅 중) 중에 메모리가 부족하여 분산 Cisco Express Forwarding을 비활성화할 수 있습니다. 예를 들어, 라우팅 플랩 및 재부팅 중에 RP는 Distributed Cisco Express Forwarding 스위칭을 비활성화하는 malloc 오류를 가져올 수 있습니다.

예를 들어 RP에서 260 k OSPF(Open Shortest Path First) 경로를 사용하여 ip ospf 프로세스를 지우면 다음 오류 메시지가 표시될 수 있습니다.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing 
  elements while preparing message for slot 2
  -Process= "OSPF Router", ipl= 0, pid= 149
  -Traceback= 41060B88 40D5C894 403D130C 403A4484 403AB49C 403AAB10 
  403AB7BC 40736FCC 407384E0 401BE9BC 401BE9A8

또는 BGP 라우팅 테이블이 크고 여러 라우팅 플랩 또는 라우터가 재부팅되는 경우 다음을 확인할 수 있습니다.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements 
  while preparing message for slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
  60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78

참고: 이러한 메시지는 %FIB-3-FIBDISABLE:심각한 오류, 슬롯 6:메모리 없음 및 %FIB-3-NOMWARNING:DCEF의 Malloc 오류입니다.

100k BGP 경로를 전송하는 동안 다음을 확인할 수 있습니다.

%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/1 
  from LOADING to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/3 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/2 from LOADING 
  to FULL, Loading Done
%OSPF-5-ADJCHG: Process 100, Nbr 161.10.1.1 on GigabitEthernet3/4 from LOADING 
  to FULL, Loading Done

%BGP-5-ADJCHANGE: neighbor 161.10.11.1 Up


%FIB-3-FIBDISABLE: Fatal error, slot 6: no memory
%FIB-3-FIBDISABLE: Fatal error, slot 3: no memory


%SYS-2-MALLOCFAIL: Memory allocation of 65540 bytes failed from 0x401C783C, 
pool Processor, alignment 0
  -Process= "BGP Router", ipl= 0, pid= 120
  -Traceback= 401CAB20 401CCF80 401C7844 401C8044 40FD017C 40FD032C 40D65AFC 
   403D4174 403A7BA4 403AA4D0 40712200 40712EF4 4112E760 40712FE0 406EDD10 
   401C155C
Queued messages:
%SYS-3-LOGGER_FLUSHING: System pausing to ensure console debugging output.

%FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for 
slot 4
   -Process= "BGP Router", ipl= 0, pid= 104
   -Traceback= 600CDC74 600DC3D0 6038FA90 6036C940 60374510 604A2F30 
     60753168 604A2FAC 604A9BC0 6018BD8C 6018BD78
%FIB-3-NOMEMWARNING: Malloc Failure in DCEF

이 문제는 대규모 라우팅 업데이트 중에 너무 많은 RP 메모리를 사용하는 Cisco Express Forwarding에 의해 발생합니다.RP는 Cisco Express Forwarding IPC 대기열에서 사용 가능한 메모리 대기열 XDR 메시지를 사용하여 LC로 상당히 느린 속도로 전달해야 합니다.Cisco Express Forwarding IPC 메시지 전송률은 현재 최대 1/4초마다 (모든 대기열에서) 25개의 IPC 메시지로 제한됩니다.그 결과 RP 측의 대기열이 큰 크기로 증가하여 사용 가능한 RP 메모리가 없으므로 mallocfail이 발생하고 Cisco Express Forwarding이 비활성화됩니다.

이 경우 Cisco Express Forwarding이 LC에 전파해야 하는 정보의 양을 줄이기 위해 BGP의 최대 경로를 줄이거나 수신 BGP 업데이트 속도를 줄이기 위해 TCP 윈도우 크기를 줄일 수 있습니다.자세한 내용은 최적의 라우팅 달성 및 BGP 메모리 소비 감소를 참조하십시오.

12.0(16)S, 12.0(16)ST, 12.1(9), 12.1(8a)E, 12.2(2) 또는 12.2(2)T보다 크거나 같은 Cisco IOS Software 릴리스를 실행 중인 경우 ip cef 라인 카드 메모리 <0-10-120)T의 매개 변수를 조정하여 유리한 결과를 얻을 수 있습니다. 0KB> interface configuration 명령입니다.기본 동작은 25개의 버퍼를 갖는 것입니다.그러나 이 값은 스위칭 플랫폼에 따라 달라집니다.이 LC 메모리의 양은 총 가용 메모리의 50%로 제한됩니다.이 명령:

• Cisco Express Forwarding 라우팅을 통해 메시지를 업데이트할 수 있도록 대기열에 더 많은 양의 LC 메모리를 할당할 수 있습니다.

• Cisco Express Forwarding 업데이트를 더 신속하게 릴리스하여 RP에서 메모리를 확보할 수 있습니다.

• RP에서 메모리 부족 조건이 발생하지 않도록 합니다.

위의 오류 메시지가 나타나면 LC IPC 메모리를 늘리는 것이 해결책입니다.매개 변수 10000을 사용하여 이 명령을 실행하는 것이 좋습니다. 대부분의 경우 이 명령을 실행하면 문제가 해결됩니다.이 명령은 다음과 같이 사용됩니다.

 Router(config)#ip cef linecard ipc mem ? 
   <0-128000>  Kbytes of linecard memory (limited to 50% of total) 

 Router(config)#ip cef linecard ipc mem 10000 

 Router#show cef linecard detail 
 CEF linecard slot number 0, status up, sync 
  Linecard CEF version number 8 
  Sequence number 3, Maximum sequence number expected 27, Seq Epoch 1 
  Send failed 0, Out Of Sequence 0, drops 0 
  Linecard CEF reset 1, reloaded 1 
  33 elements packed in 4 messages(1030 bytes) sent 
  1 elements cleared 
  linecard in sync after reloading 
  0/0/0 xdr elements in LowQ/MediumQ/HighQ 
  8/9/13 peak elements on LowQ/MediumQ/HighQ    
  Input  packets 0, bytes 0 
  Output packets 0, bytes 0, drops 0 

이 명령에 대한 자세한 내용은 ip cef linecard ipc 메모리를 참조하십시오.

%FIB-3-FIBBADXDRLEN 및 %FIB-4-FIBXDRLEN

이 오류 메시지에 대한 설명 및 권장 사항을 더 잘 이해하기 위해 먼저 이 문서의 XDR(External Data Representation) 개요 섹션을 읽는 것이 좋습니다.

다음 오류 메시지가 표시될 수 있습니다.

%FIB-3-FIBBADXDRLEN: Invalid XDR length. Type/len 6/29479. 
XDR at 0x622D1F2C 
-Traceback= 600C786C 601D4B50 602CF7A8 60183454 60183440 

이 메시지는 XDR 메시지에 대한 몇 가지 기본 검사를 수행하는 일부 메시지 검증 코드에서 가져옵니다.이 경우 길이 필드에 값 29479가 포함된 XDR 메시지 유형이 수신되었습니다. 이 길이는 데이터가 포함된 버퍼보다 크므로 코드에서 이 메시지를 무시합니다.

12000 Series에서 패브릭의 하드웨어 결함이 일부 패킷을 손상시켜 XDR 오류 메시지가 팝업될 수 있습니다.SFC 중 하나에 CRC(Cyclic Redundancy Checks)가 있는지 확인하려면 show controller fia 명령을 실행하여 스위칭 패브릭을 확인합니다.또한 로그를 확인하여 이 오류 메시지의 추가 트러블슈팅을 위해 정보를 제공할 수 있는 다른 메시지가 있는지 확인해야 합니다.

%FIB-3-FIBLC_OSEQ:슬롯 [#]을(를) 사용할 수 없습니다. 시퀀스가 없습니다.[#]이(가) 필요한데 [#]을(를) 받았습니다.

RP가 LC에서 시퀀스가 아닌 IPC 메시지를 받은 경우 이 메시지가 표시됩니다.따라서 지정된 슬롯에서 Cisco Express Forwarding 스위칭이 비활성화되었습니다.

경로가 많거나 RP가 다시 로드되는 경우 RP 콘솔에 오류 메시지가 표시될 수 있습니다.

%FIB-3-FIBLC_OOSEQ: Slot 11 disabled - Out of Sequence. 
Expected 9637, received 9638 

이 메시지는 다음 슬롯별 메시지와 함께 나타날 수 있습니다.

SLOT 11:%FIB-3-FIBSEQ: Out of sequence. State 9637 Rcvd 9638 

아래와 같이 슬롯에서 Cisco Express Forwarding이 비활성화되었는지 확인하려면 show cef linecard 명령을 실행합니다.

router#show cef linecard 
CEF table version 40975, 47 routes 
Slot CEF-ver MsgSent XdrSent   Seq MaxSeq  LowQ HighQ Flags      
11     40750    9642  164473  9639   9661     0     0 up, sync, disabled 

기능적 결과는 없습니다.이 이벤트가 발생하면 FIB 테이블이 다시 로드됩니다.그래도 문제가 발생하면 clear cef linecard <slot #> 명령을 실행할 수 있습니다.그런 다음 show cef linecard 명령을 실행하여 LC의 상태를 확인합니다.7500 Series에서 Cisco Express Forwarding을 비활성화한 다음 다시 활성화할 수 있습니다.문제가 계속 나타나면 VIP에 마이크로코드 reload 명령을 실행하여 이 문제를 해결해야 합니다.12000 Series에서 LC에 hw-module slot <slot #> reload 명령을 실행하여 문제가 해결됩니다.

%FIB-4-PUNTINTF:CEF 펀팅 패킷이 [int](으)로 전환되어 다음 느린 경로 및 %FIB-5-NOPUNTINF:CEF에서 [int]로 패킷 전환 다시 시작

Cisco Express Forwarding에서 현재 컨피그레이션을 통해 이 특정 인터페이스에서 일부 또는 모든 패킷을 전환할 수 없는 경우 %FIB-4-PUNTINTF 메시지가 표시됩니다.Cisco Express Forwarding은 이 인터페이스로 전환된 패킷을 다음으로 느린 스위칭 경로로 전송합니다.다른 스위칭 경로에 대한 자세한 내용은 네트워크에 대한 최적의 라우터 스위칭 경로 선택 방법을 참조하십시오.

Cisco Express Forwarding에서 이 인터페이스로 전환된 패킷을 다음 느린 스위칭 경로로 전환하고 인터페이스 컨피그레이션이 변경되어 Cisco Express Forwarding이 이 인터페이스로 전환을 다시 시작할 수 있도록 %FIB-5-NOPUNTF 메시지를 받게 됩니다.이 메시지는 정보 제공용이므로 대부분의 경우 조치가 필요하지 않습니다.

%FIB-4-PUNTINTF: CEF punting packets switched to POS2/0/0.1 
to next slower path 

이 메시지 뒤에는 인터페이스 컨피그레이션이 변경된 후에 이 메시지가 나타날 수 있습니다.

%FIB-5-NOPUNTINTF: CEF resuming switching packets to POS2/0/0.1 

Cisco IOS Software 릴리스가 ip cef 명령이 전역으로 활성화되고 가상 템플릿에 no ip route-cache cef 명령이 구성된 12.1(6)과 함께 L2F 가상 액세스 인터페이스가 MP(Multilink PPP) 번들 마스터의 멤버가 될 때 다음 메시지가 표시됩니다.

• %FIB-4-PUNTINTF:Virtual-Access14로 전환된 패킷을 다음 느린 경로로 CEF 펀팅

• %FIB-5-NOPUNTINTF:CEF에서 Virtual-Access14로 스위칭 패킷 다시 시작

• %FIB-4-PUNTINTF:Virtual-Access37로 전환된 패킷을 다음 느린 경로로 CEF 펀팅

• %FIB-5-NOPUNTINTF:CEF에서 Virtual-Access37로 스위칭 패킷 다시 시작

해결 방법은 로깅 수준을 이러한 메시지가 나타나지 않는 값으로 설정하는 것입니다.또 다른 하나는 IP Cisco Express Forwarding을 전역적으로 비활성화하는 것입니다.그러나 Cisco Express Forwarding을 비활성화하는 것은 일부 플랫폼에서 사용할 수 있는 최상의 스위칭 방법이므로 일시적인 해결 방법이 되어야 합니다.7500 및 12000 Series에서 Distributed Cisco Express Forwarding은 Cisco Express Forwarding과 기존의 모든 스위칭 방법입니다.

다음 Cisco IOS Software 릴리스 이후 - 12.1(8), 12.1(08a)E, 12.2(1)S, 12.1(8)AA, 12.0(17)S, 12.0(17)ST, 12.2(1)T, 012.02(2)(2)에서 사용자가 메시지를 지우거나 지울 때 메시지가 기록되지 않습니다. t 플래그여전히 show cef interface 명령을 실행하거나 debug ip cef events 명령을 활성화하여 Cisco Express Forwarding이 활성화되었는지 확인할 수 있습니다.따라서 인터페이스가 다음 느린 경로로 패킷을 푸시하도록 설정된 경우 불필요하게 사용자를 스팸 처리할 위험이 없습니다.라우터는 부팅 중이거나 Cisco Express Forwarding을 시작할 때 메시지가 과중하지 않으며, 시스템 로그에는 모든 전화 걸기 플랫폼에 대해 로깅되는 메시지가 채워지지 않습니다.

가능한 경우 다른 하위 인터페이스에서 Cisco Express Forwarding 지원 기능과 비 Cisco Express Forwarding 지원 기능을 구성해야 합니다.ATM 인터페이스의 일부 캡슐화는 Cisco Express Forwarding에서 지원되지 않습니다.라우터에 대한 Cisco IOS Software Configuration Guide를 확인하여 어떤 캡슐화가 지원되는지, 어떤 캡슐화가 지원되지 않는지 확인해야 합니다.

%HW_RES_FAIL-4-LOW_CEF_MEM:슬롯 [char]이(가) 낮게 실행되고 있습니다.

라우터의 이러한 메시지는 하드웨어 CEF 복원력 기능의 일부입니다.IOS Release 12.0(28)S부터 하드웨어 CEF 복원력 기능은 Cisco 12000 Series Engine 2(E2) 및 IP Services Engine(ISE) 라인 카드에서 지원됩니다.하드웨어 CEF 복원력은 CEF 하드웨어 메모리 및 ASIC 포워딩 리소스를 위한 보호 메커니즘입니다.하드웨어 CEF 복원력을 통해 리소스 소모 또는 오류 상태(예: 메모리 부족 또는 IPC 장애)가 발생할 경우 CEF가 비활성화되고 패킷 전달이 영향을 받지 않습니다.라인 카드 장치 드라이버는 상위 레이어를 포함하지 않고 내부적으로 리소스 장애를 처리합니다.

하드웨어 포워딩 메모리(PLU 또는 TLU)가 Cisco 12000 Series E2 또는 ISE 라인 카드에서 부족하거나 장애가 발생하면 리소스 모니터링 기능은 시스템 콘솔에 경보(로그에 기록된 오류 메시지 또는 경고)를 인쇄하고 경보를 기록합니다.메모리 할당 오류가 시작되면 타이머 기반 리소스 모니터링 프로세스가 백그라운드에서 활성화됩니다.이 프로세스는 1분 간격으로 사용된 PLU 및 TLU 하드웨어 포워딩 메모리의 백분율을 확인합니다.하드웨어 메모리 소모 비율을 초과하면 경보가 생성됩니다.마지막으로 오류 메시지가 참조하는 메모리는 TLU 메모리입니다.고정 크기 메모리이므로 업그레이드할 수 없습니다.

해결 방법은

• 경로 수 감소

• PSA ACL 비활성화(액세스 목록 하드웨어 psa 없음)

%FIB-4-FIBCBLK2:[IP_address][IP_netmask]에 대한 [chars] 이벤트 중 cef tableid [dec]이(가) 없습니다.

다음은 오류 로그에 표시된 메시지의 몇 가지 예입니다.

%FIB-4-FIBCBLK: Missing cef table for tableid 63 during route update XDR event
%FIB-SP-4-FIBCBLK: Missing cef table for tableid 33 during Table removal event
%FIB-4-FIBCBLK: Missing cef table for tableid 45 during routing table event

이러한 메시지의 원인은 연결된 NDB(Network Descriptor Block) 업데이트가 라인 카드에 의해 배포되고 처리되기 전에 삭제 VRF 요청이 생성되기 때문입니다.이렇게 하면 테이블 ID가 생성되지만 테이블 자체가 제거되는 CEF 테이블에서 일시적인 문제가 발생합니다.이 문제는 일반적으로 아무런 개입도 없이 해결되며 트래픽이나 라우터의 안정성에 영향을 미치지 않습니다.Cisco 버그 ID CSCsg03483 및 CSCee26209는 유사한 시스템 메시지를 설명합니다.

TAC 서비스 요청을 생성할 경우 문제 해결 정보 수집

TAC 서비스 요청 툴(등록된 고객만 해당)을 사용하여 TAC 서비스 요청을 생성하는 경우 Cisco Express Forwarding 관련 오류 메시지 트러블슈팅을 위해 다음 정보를 케이스에 첨부합니다.

서비스 요청을 생성하기 전에 수행된 트러블슈팅. show tech-support 명령 출력(가능한 경우 활성화 모드) show log 명령 출력 또는 콘솔 캡처(사용 가능한 경우) 수집된 데이터를 압축되지 않은 일반 텍스트 형식(.txt)으로 서비스 요청에 첨부합니다.TAC Service Request Tool(등록된 고객만 해당) 툴을 사용하여 정보를 업로드하여 서비스 요청에 추가할 수 있습니다.TAC Service Request Tool에 액세스할 수 없는 경우 메시지 제목 줄에 서비스 요청 번호를 사용하여 attach@cisco.com으로 관련 정보를 보내 서비스 요청에 연결할 수 있습니다. 참고: Cisco Express Forwarding 관련 오류 메시지 문제를 해결하는 데 필요하지 않은 경우 위 정보를 수집하기 전에 라우터를 수동으로 다시 로드하거나 전원을 껐다가 다시 켜지 마십시오. 이로 인해 문제의 근본 원인을 확인하는 데 필요한 중요한 정보가 손실될 수 있습니다.

기타 문제 해결 리소스

Cisco Express Forwarding 문제 해결에 대한 자세한 내용은 다음 문서를 참조하십시오.

• Cisco Express Forwarding Switching 확인 방법

• Cisco Express Forwarding을 사용하여 병렬 링크를 통한 로드 밸런싱 문제 해결

• Cisco Express Forwarding과 접두사 불일치 문제 해결

• Cisco Express Forwarding으로 불완전한 인접성 문제 해결

관련 정보

• Cisco 기술 지원 - 라우터
• 기술 지원 및 문서 − Cisco Systems