Ceph HEALTH_WARN 원인을 health detail 로 읽기

Ceph 는 문제를 OSD_DOWN 같은 대문자 코드로 알립니다. 코드를 읽으면 어디부터 볼지 정해집니다. 이 글의 명령은 모두 읽기 전용이며, 관리자 키링이 있는 노드에서 실행합니다.

[1] 먼저 클러스터 전체 상태를 봅니다. health: 줄이 HEALTH_OK 가 아니면 다음 단계로 갑니다.

# ceph -s

[2] 경고 코드와 해당 대상을 봅니다. 코드마다 한 항목씩 나오고, 그 아래에 어떤 OSD·PG·데몬인지 붙습니다.

# ceph health detail

공식 문서가 보여 주는 형태는 아래와 같습니다. 음소거된 OSD_DOWN 항목에 osd.1 is down 이 붙습니다.

HEALTH_OK (muted: OSD_DOWN)(MUTED) OSD_DOWN 1 osds down    osd.1 is down

[3] OSD_DOWN 과 PG_DEGRADED 는 대개 함께 나옵니다. OSD_DOWN 은 OSD 가 down 으로 표시된 것으로, ceph-osd 데몬이나 호스트가 멈췄거나 이웃 OSD 가 네트워크로 닿지 못할 때 생깁니다. 어느 OSD 인지 확인하고, 그 호스트가 살아 있는지·데몬이 떠 있는지·네트워크가 되는지 순서대로 봅니다.

# ceph osd tree down

PG_DEGRADED 는 일부 데이터가 원하는 복제본(또는 erasure code 조각) 수를 못 채웠다는 뜻이고, 흔한 원인은 내려간 OSD 입니다. 문제 PG 하나는 아래로 조회합니다.

# ceph tell <pgid> query

[4] OSD_NEARFULL 은 OSD 하나 이상이 nearfull 임계값을 넘었다는 조기 경고입니다. 가득 차기 전에 용량을 확인합니다.

# ceph df

POOL_NEARFULL 은 풀이 설정된 한도에 가까워졌다는 뜻이며, 풀 쿼터와 mon_osd_nearfull_ratio·mon_osd_full_ratio 가 영향을 줍니다. 풀 쿼터는 아래처럼 보고 바꿉니다. 값 0 은 쿼터를 끕니다.

# ceph osd pool get-quota <pool># ceph osd pool set-quota <pool> max_bytes <bytes>

[5] MON_CLOCK_SKEW 는 모니터를 돌리는 호스트의 시계 차이가 mon_clock_drift_allowed 를 넘었다는 경고입니다. 공식 문서의 해결책은 ntpd 나 chrony 로 시계를 맞추는 것입니다. 각 모니터 호스트에서 동기화 상태를 봅니다.

# chronyc tracking

[6] RECENT_CRASH 는 데몬이 최근 죽었고 그 기록을 아직 확인(archive)하지 않았을 때 나옵니다. 새 기록을 보고, 하나를 자세히 읽습니다.

# ceph crash ls-new# ceph crash info <crash-id>

원인을 확인했으면 기록을 보관 처리해서 경고를 끕니다. 한 건씩, 또는 전부 처리합니다.

# ceph crash archive <crash-id># ceph crash archive-all

[7] 원인을 알고 당분간 둘 경고는 음소거합니다. 기간을 붙이면 그 시간이 지난 뒤 자동으로 풀립니다.

# ceph health mute OSD_DOWN 4h# ceph health mute MON_DOWN 15m

음소거하면 다른 경고가 없을 때 상태가 HEALTH_OK 로 바뀝니다. 음소거 목록은 ceph health 에도 표시됩니다.

HEALTH_OK (muted: OSD_DOWN)

해제는 아래 명령입니다.

# ceph health unmute OSD_DOWN