목차

소개

사전 요구 사항

요구 사항

사용되는 구성 요소

방법론 문제 해결

용어 및 약어

메모리 배치

메모리 오류

수정 가능한 오류와 수정 불가능한 오류 비교

UCSM 및 CLI를 통한 DIMM 문제 해결

GUI에서 오류 검사

CLI에서 오류 검사

기술 지원을 체크 인할 로그 파일

DIMM 블랙리스팅

DIMM 블랙리스팅 오류를 지우는 방법

UCSM GUI

UCSM CLI

관련 정보

주목할 만한 버그

소개

이 문서에서는 Cisco UCS(Unified Computing System) 솔루션에서 메모리 모듈 및 관련 문제를 해결하는 방법에 대해 설명합니다.

사전 요구 사항

요구 사항

Cisco에서는  Cisco Unified Computing System (Cisco UCS) .

사용되는 구성 요소

이 문서는 특정 소프트웨어 및 하드웨어 버전으로 한정되지 않습니다.

그러나 이 문서에서는 다음 사항을 다룹니다.

- Cisco UCS B-Series Blade Servers

- UCS Manager

- UCS 사용 Dual In-line Memory Module (DIMM)을 RAM 모듈로 사용합니다.

이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.

방법론 문제 해결

이 섹션에서는 UCS 메모리 문제의 몇 가지 부분을 다룹니다.

- 메모리 배치

- UCSM 및 CLI를 통한 DIMM 문제 해결

- 기술 지원을 체크 인할 로그

용어 및 약어

DIMM

듀얼 인라인 메모리 모듈

ECC

오류 수정 코드

LVDIMM

저전압 DIMM

MCA

시스템 검사 아키텍처

회원

메모리 내장 자체 테스트

MRC

메모리 참조 코드

POST

POST(Power On Self Test)

SPD

시리얼 프레즌스 탐지

DDR

이중 데이터 전송률

RAS

신뢰성, 가용성 및 서비스 가용성

메모리 배치

메모리 배치는 UCS 솔루션의 가장 주목할만한 물리적 측면 중 하나입니다.

일반적으로 서버에는 요청된 양이 미리 채워진 메모리가 함께 제공됩니다.

그러나 의심스러운 경우 하드웨어 설치 가이드를 참조하십시오.

메모리 채우기 규칙은 특정 플랫폼의 B-series 기술 사양을 참조하십시오.

B 시리즈 기술 사양 링크:

https://www.cisco.com/c/en/us/products/servers-unified-computing/ucs-b-series-blade-servers/datasheet-listing.html

메모리 오류

- DIMM 오류

- 멀티비트 = 수정 불가

- POST는 BIOS에 의해 매핑되며 OS에 DIMM이 표시되지 않음

- 런타임은 일반적으로 OS를 재부팅합니다.

- 단일 비트 = 수정 가능

- OS에서 DIMM을 계속 볼 수 있음

- ECC(오류 수정 코드) 오류

- 패리티 오류

- SPD(Serial Presence Detect) 오류

- 구성 오류

- 지원되지 않는 DIMM

- 지원되지 않는 DIMM 설치

- 페어링되지 않은 DIMM

- 불일치 오류

- ID 설정 불가능 오류

- 카탈로그 확인 및 업데이트

수정 가능한 오류와 수정 불가능한 오류 비교

특정 오류의 수정 가능 여부는 메모리 시스템 내에서 사용되는 ECC 코드의 강도에 따라 달라집니다.

프로그램 실행에 영향을 미치지 않고 수정 가능한 오류가 발생할 경우 전용 하드웨어에서 해결할 수 있습니다.

수정 가능한 오류가 있는 DIMM은 비활성화되지 않으며 OS에서 사용할 수 있습니다. 이  Total Memory  및  Effective Memory  같은 것입니다.

이러한 수정 가능한 오류는 UCSM 작동 가능 상태에서 다음과 같이 보고됩니다  Degraded  전반적인 운영성은  Operable  수정 가능한 오류가 있습니다.

수정 불가능한 오류는 응용 프로그램이나 운영 체제가 실행을 계속할 수 없게 만듭니다.

수정 불가능한 오류가 있는 DIMM은 비활성화되고 OS에서 표시되지 않습니다. UCSM 작동 상태 변경  Inoperable  이 경우.

UCSM 및 CLI를 통한 DIMM 문제 해결

GUI에서 오류 검사

UCSM

로그

설명

DIMM 상태

조작성

SEL

의견

작동 가능

작동 가능

SEL 로그에서 DIMM 관련 오류 확인

DIMM이 설치되고 작동합니다.

작동 가능

저하됨

SEL에서 ECC 오류 확인

실행 시간 중에 수정 가능한 ECC DIMM 오류가 탐지됩니다.

제거됨

해당 없음

로그 없음

DIMM이 설치되지 않았거나 SPD 데이터가 손상되었습니다.

비활성화됨

작동 가능

SEL에서 ID를 확인할 수 없는 오류 확인

기능 카탈로그 확인 및 업데이트

비활성화됨

해당 없음

동일한 채널에서 다른 DIMM에 장애가 발생한 경우 SEL을 선택합니다

DIMM이 정상이지만 동일한 채널의 실패한 DIMM으로 구성 규칙을 유지할 수 없으므로 DIMM이 비활성화됩니다.

비활성화됨

해당 없음

로그 없음

누락된 DIMM으로 인해 메모리 구성 규칙에 실패했습니다.

작동 불능

작동 불가/교체 필요

UE ECC 오류가 검색되었습니다.

저하됨

작동 불능

SEL에서 ECC 오류 확인

호스트가 재부팅되기 전에 ECC 오류로 인해 DIMM 상태 및 운영성이 변경되었습니다.

저하됨

작동 불가/교체 필요

SEL에서 POST/MRC 중 ECC 오류 확인

런타임 중에 수정 불가능한 ECC 오류가 감지되었으며, DIMM은 OS에 사용 가능한 상태로 유지되며, OS가 충돌하여 다시 작동하지만 이 DIMM을 계속 사용할 수 있습니다. 나중에 다시 오류가 발생할 수 있습니다. 대부분의 경우 DIMM을 교체해야 합니다.

통계를 얻으려면 Equipment > Chassis > Server > Inventory > Memory, 마우스 오른쪽 단추를  Memory  및 선택  show navigator .

CLI에서 오류 검사

이 명령은 CLI에서 오류를 해결할 때 유용합니다.

scope server x/y -> show memory detail

scope server x/y -> show memory-array detail

scope server x/y -> scope memory-array x -> show stats history memory-array-env-stats detail

메모리 어레이 범위에서 DIMM에 액세스할 수도 있습니다.

scope server X/Y > scope memory-array Z > scope DIMM N

그런 다음 DIMM별 통계를 얻거나 오류 카운터를 재설정할 수 있습니다.

UCS/chassis/server/memory-array/dimm # reset-errors

UCS /chassis/server/memory-array/dimm* # commit-buffer

UCS /chassis/server/memory-array/dimm # show stats memory-error-state

이 정보와 일치하는 수정 가능한 오류가 표시되면 블레이드 서버를 재설정하는 대신 BMC를 재설정하여 문제를 해결할 수 있습니다.

다음 Cisco UCS Manager CLI 명령을 사용합니다.

BMC를 재설정해도 블레이드에서 실행 중인 OS에는 영향을 주지 않습니다.

To reset memory-error counters on a Cisco UCS C-Series Rack Server operating in standalone mode, run the script on the CLI:

UCS-C# scope reset-ecc

UCS-C/reset-ecc # set enabled yes

UCS-C/reset-ecc *# commit

For colusa servers:

UCS# scope chassis

UCS /chassis # scope server x

UCS /chassis/server # reset-ecc

UCS 릴리스 2.27 및 3.1 이상에서는 메모리 수정 오류에 대한 임계값이 제거되었습니다.

따라서 메모리 모듈은 더 이상  Inoperable  또는  Degraded  오로지 수정된 메모리 오류 때문입니다.

백서 https://www.cisco.com/c/dam/en/us/products/collateral/servers-unified-computing/ucs-manager/whitepaper-c11-736116.pdf에 따름

더 큰 용량, 더 큰 대역폭, 더 낮은 작동 전압에 대한 업계의 요구로 인해 메모리 오류율이 증가합니다.

기존에는 수정 가능한 오류를 수정 불가능한 오류와 동일한 방식으로 처리했기 때문에 경고 발생 시 모듈을 즉시 교체해야 했습니다.

수정 가능한 오류가 수정 불가능한 오류와 상관관계가 없으며 수정 가능한 오류가 시스템 성능을 저하시키지 않는다는 광범위한 연구를 통해 Cisco UCS 팀은 수정 가능한 오류가 있는 모듈을 즉시 교체하지 않는 것이 좋습니다.

수정 가능한 오류에 대해 저하된 메모리 경고가 발생한 고객은 메모리 오류를 재설정하고 작업을 재개하는 것이 좋습니다.

이 권장 사항은 불필요한 서버 중단을 방지하는 데 도움이 됩니다.

향후 오류 관리 기능이 향상되어 수정 가능한 다양한 유형의 오류를 구별하고 필요한 경우 적절한 조치를 식별할 수 있습니다.

최소한 버전 2.1(3c) 또는 2.2(1b)를 사용하십시오. 이 버전은 UCS 메모리 오류 관리 기능이 향상되었습니다

기술 지원을 체크 인할 로그 파일

UCSM_X_TechSupport > sam_techsupportinfo  에서는 DIMM 및 메모리 어레이에 대한 정보를 제공합니다.

섀시/서버 기술 지원

CIMCX_TechSupport\tmp\CICMX_TechSupport.txt -> Generic tech support information about sever X.

CIMCX_TechSupport\obfl\obfl-log -> OBFL logs provide an ongoing logs about status and boot of server X.

CIMCX_TechSupport\var\log\sel -> SEL logs for server X.

플랫폼/버전을 기준으로 기술 지원 번들의 파일을 찾습니다.

var/nuova/BIOS > RankMarginTest.txt

var/nuova/BIOS > MemoryHob.txt

var/nuova/var/nuova/ BIOS > MrcOut_*.txt

이러한 파일은 BIOS 레벨에서 볼 수 있는 메모리에 대한 정보를 제공합니다.

DIMM 상태 보고서 테이블과 상호 참조되는 정보가 있습니다.

예:

/var/nuova/BIOS/RankMarginTest.txt

- BIOS Training test MEMBIST에서 테스트 결과를 표시하는 데 유용합니다.

- 오류 검색

- DIMM이 매핑되어 있는지 확인합니다.

- show DIMM specific information(DIMM 관련 정보)(공급업체/속도/PID)

DIMM |GB|R|MfgDate|Mod ID |DRAM ID   |Reg ID    |CtW Tck CLS Taa V|Freq|Part#

A1 18| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

A2 26| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

B1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

B2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

C1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

C2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

D1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

D2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

E1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

E2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

F1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

F2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

첫 번째 열에는 두 개의 값이 있습니다.

DIMM 로케이터(F2)

DIMM 상태(01)

각 상태에 대한 간단한 설명은 다음과 같습니다.

0x00 // 설치되지 않음(DIMM 없음)

0x01 // 설치됨(작동 중)

/// 0x02-0F(예약됨)

//// 실패

0x10 // 교육 실패

0x11 // 실패한 시계 교육

/// 0x12-17(예약됨)

0x18 // 실패한 MemBIST

/// 0x19-1F(예약됨)

//// 무시됨

0x20 // 무시됨(디버그 콘솔에서 사용 안 함)

0x21 // 무시됨(BMC에서 보고한 SPD 오류)

0x22 // 무시됨(비 RDIMM)

0x23 // 무시됨(비 ECC)

0x24 // 무시됨(x4가 아님)

0x25 // 무시됨(동일한 LDIMM의 다른 PDIMM 실패)

0x26 // 무시됨(같은 채널의 다른 LDIMM이 실패했습니다.)

0x27 // 무시됨(LockStep 또는 Mirror의 다른 채널 실패)

0x28 // 무시됨(잘못된 PDIMM 설치)

0x29 // 무시됨(PDIMM 조직 불일치)

0x2A // 무시됨(PDIMM 레지스터 공급업체 불일치)

/// 0x2B-7F(예약됨)

var/nuova/BIOS > MemoryHob.txt

서버에 설치된 유효 메모리와 실패 메모리를 표시합니다.

+++ BEGINNING OF FILE

Memory Speed     = 1067 MHz

Memory Mode      = 00

RAS Modes        = 03

MRC Flags        = 0000000A

Total Memory     = 98304 MB

Effective Memory = 90112 MB

Failed Memory    = 8192 MB

Ignored Memory   = 0 MB

Redundant Memory = 0 MB

|---------------------------------|

| Memory  | Channel | DIMM Status |

| Channel | Status  |   1    2    |

|---------------------------------|

|   A     |    01   |   01   01   |

|   B     |    01   |   01   01   |

|   C     |    01   |   01   01   |

|   D     |    01   |   01   01   |

|   E     |    01   |   01   01   |

|   F     |    01   |   01   18   |

|---------------------------------|

18h - MemBist 테스트에서 DIMM이 실패하면 DIMM 상태가 실패로 표시됩니다.  정상 작동이 확인된 DIMM으로 교체합니다.

DIMM 상태 설명

00h 설치되지 않음(DIMM 없음)

01h 설치됨(작동 중)

02h-0Fh 예약됨

10h 실패(교육)

11h 실패(시계 교육)

12h-17h 예약됨

18h 실패(MemBIST)

19h-1Fh 예약됨

20h 무시됨(디버그 콘솔에서 사용 안 함)

21h 무시됨(BMC에서 보고한 SPD 오류)

22h 무시됨(비 RDIMM)

23h 무시됨(비 ECC)

24h 무시됨(x4가 아닌 경우)

25h 무시됨(동일한 LDIMM의 다른 PDIMM 실패)

26h 무시됨(같은 채널의 다른 LDIMM 실패)

27h 무시됨(LockStep 또는 Mirror의 다른 채널)

28h 무시됨(잘못된 메모리 채우기)

29h 무시됨(조직 불일치)

2Ah 무시됨(등록 공급업체 불일치)

2Bh- 7Fh 예약됨

80h 무시됨( 해결 방법 루프)

81h 무시됨(Stuck I2C 버스)

82h - 예약됨

DIMM 블랙리스팅

수신  Cisco UCS Manager , 의 상태  Dual In-line Memory Module  (DIMM)은 SEL 이벤트 레코드를 기반으로 합니다.

메모리 테스트를 실행하는 동안 BIOS에서 수정 불가능한 메모리 오류가 발생하면 DIMM이 오류로 표시됩니다.

결함이 있는 DIMM은 작동하지 않는 장치로 간주됩니다.

DIMM 블랙리스팅을 활성화하면 Cisco UCS Manager는 메모리 테스트 실행 메시지를 모니터링하고 DIMM SPD 데이터에 메모리 오류가 발생하는 모든 DIMM을 블랙리스트에 추가합니다.

DIMM Blacklisting은 UCSM 2.2(2)에서 선택 사항인 글로벌 정책으로 도입되었습니다.

이 기능을 제대로 구현하려면 서버 펌웨어가 B-Series 블레이드의 경우 2.2(1)+이고 C-Series 랙 서버의 경우 2.2(3)+여야 합니다.

UCSM 2.2(4)에서 DIMM인 블랙리스팅이 활성화됩니다.

기술 지원 파일을 엽니다.../var/log/DimmBL.log

/var/nuova/BIOS/MrcOut.txt 파일이 있는 경우 엽니다.

DIMM Status(DIMM 상태) 테이블을 찾습니다. "DIMM Status(DIMM 상태):"를 찾습니다.

블랙리스트 DIMM = 1E

DIMM Status(DIMM 상태) 테이블을 찾습니다. "DIMM Status(DIMM 상태):"를 찾습니다.

DIMM 상태:

00 - 설치되지 않음

01 - 설치됨

10 - 실패(교육 실패)지우기

1E - 실패(DIMM이 BMC에 의해 블랙리스트에 추가됨)

1F - 실패(SPD 오류)

25 - 사용 안 함(다른 DIMM이 동일한 채널에서 실패함)

예

DIMM 상태:

|=======================|

| 메모리  | DIMM 상태 |

| 채널 | 1 2 3  |

|=======================|

| A    | 25 1F 25 |

| B    | 01 01 01 |

| C    | 1F 25 25 |

| D    | 01 01 01 |

| E    | 01 01 01 |

| F    | 25 25 1E |

| G    | 01 01 01 |

| H    | 01 01 01 |

|=======================|

DIMM 상태:

01 - 설치됨

1E - 실패(DIMM이 BMC에 의해 블랙리스트에 추가됨)

1F - 실패(SPD 오류)

25 - 사용 안 함(다른 DIMM이 동일한 채널에서 실패함)

DIMM 블랙리스팅 오류를 지우는 방법

UCSM GUI

UCSM CLI

UCS-B/chassis/server # reset-all-memory-errors

관련 정보

- https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/sw/gui/config/guide/2-2/b_UCSM_GUI_Configuration_Guide_2_2/configuring_server_related_policies.html

- https://www.cisco.com/c/dam/en/us/support/docs/servers-unified-computing/ucs-b-series-blade-servers/CiscoUCSEnhancedMemoryErrorManagementTechNoteFeb42015.pdf

- https://www.cisco.com/c/en/us/support/docs/field-notices/636/fn63651.html

주목할 만한 버그

Cisco 버그 ID CSCug93076 B200M3-DDR 전압 레귤레이터에 가벼운 부하 상태에서 과도한 노이즈 발생

Cisco 버그 ID CSCup07488 IPMI DIMM 결함 센서가 오류 수 없이 Dimm Degraded(DIMM 성능 저하)를 설정하고 있습니다.

Cisco 버그 ID CSCud22620 성능 저하된 DIMM 식별의 정확성 향상

Cisco 버그 ID CSCuw44524 C460M4, B260M4 또는 B460M4 IVB 지우기 CMOS로 인해 메모리 UECC 오류가 발생할 수 있습니다

Cisco 버그 ID CSCur19705 B200M3에서 관찰된 ECC/UECC 오류

Cisco 버그 ID CSCvm88447 재설정 ECC 단계 설명서가 독립형 Colusa Server에 대해 누락되었습니다.