Article
서버 하드웨어 모니터링, OS가 보지 못하는 장애까지
OS 에이전트가 보지 못하는 곳에서 장애는 시작된다
에이전트는 조용한데 서버가 멈춘다
물리 서버 한 대에 문제가 생기면, 관제 화면에는 그 위에서 돌던 VM들의 「에이전트 연결 끊김」 알람이 한꺼번에 올라옵니다. 알람만 보면 네트워크 장애처럼 보이기 쉬워서, 원인을 찾기까지 시간이 걸립니다.
원인을 따라가 보면 하드웨어인 경우가 적지 않습니다. 이중화된 전원공급장치(PSU) 가운데 하나가 먼저 멈추고, 남은 하나까지 멈추면 서버 전체가 내려갑니다. 그런데 첫 번째 고장은 대개 어느 OS에도 기록되지 않습니다.
우리가 흔히 「서버 모니터링」이라고 부르는 것은 대부분 OS 안에서 도는 에이전트가 본 값입니다. CPU·메모리·디스크·프로세스는 매우 잘 보이지만, OS가 서 있는 바닥은 보이지 않습니다.
하드웨어 관제는 그 바닥을 보는 일입니다. 이 글에서는 OS가 보지 못하는 하드웨어 신호가 어디에서 오는지, 왜 그 신호가 서버 한 대보다 훨씬 넓은 범위를 지키는지, 그리고 이를 관제 제품에 담으며 우리가 내린 설계 결정을 차례로 살펴봅니다.
이 글의 TL;DR ① OS 에이전트와 BMC는 서로를 대신하지 않는 두 개의 눈입니다. ② 하드웨어 고장은 그 위의 모든 VM·OS로 번지고, 가장 이른 신호는 OS 밖에서 나옵니다. ③ 센서를 많이 읽는 것보다, 교체할 부품 단위로 보고 알리는 것이 중요합니다.
서버 안의 또 하나의 컴퓨터, BMC
대부분의 데이터센터 서버 메인보드에는 BMC(Baseboard Management Controller)라는 작은 관리용 컴퓨터가 붙어 있습니다. 제조사마다 이름이 달라 Dell은 iDRAC, HPE는 iLO, Lenovo는 XClarity Controller라고 부릅니다.
BMC의 핵심은 OS와 분리돼 있다는 점입니다.
•자기 칩과 자기 펌웨어로 돕니다. 호스트 CPU가 없어도 동작합니다.
•대기 전원(standby)으로 살아 있습니다. 서버 전원 버튼이 꺼져 있어도 전원 케이블만 꽂혀 있으면 응답합니다.
•별도 관리 네트워크로 말합니다. 서비스 네트워크가 끊겨도, OS가 멈춰도 관리 포트는 따로 열려 있습니다.
•메인보드의 센서에 직접 붙어 있습니다. 팬 회전수, PSU 상태, 각 부위 온도와 전압을 읽고, 하드웨어 이벤트를 기록합니다.
그래서 서버를 보는 길은 둘입니다. OS 안의 에이전트가 서비스 네트워크로 보내는 In-band 경로, 그리고 BMC가 관리 네트워크로 답하는 Out-of-band 경로입니다.

그림 1. In-band와 Out-of-band — 서버를 보는 두 개의 길
OS 에이전트는 OS가 살아 있는 동안 서비스망으로, BMC는 OS와 무관하게 관리망으로 답합니다.
OS 안에서 보는 것, OS 밖에서만 보이는 것
두 경로는 같은 서버를 보지만 보는 층이 다릅니다. OS 에이전트는 「이 OS가 자원을 어떻게 쓰고 있는가」를, BMC는 「이 기계가 물리적으로 멀쩡한가」를 답합니다.
구분 | OS 에이전트 (In-band) | BMC (Out-of-band) |
보는 범위 | CPU·메모리·디스크 사용률, 프로세스, 로그 | 팬 회전, PSU 상태, 부위별 온도·전압, 전원 상태 |
동작 조건 | OS가 부팅돼 있고 에이전트가 살아 있어야 한다 | 전원 케이블만 연결돼 있으면 된다 |
서버가 멈췄을 때 | 수집이 끊긴다. 마지막 값까지만 남는다 | 전원·부품 상태와 하드웨어 이벤트 로그(SEL)를 계속 읽는다 |
잘하는 질문 | 「왜 느려졌나」 「무엇이 자원을 쓰나」 | 「왜 꺼졌나」 「무엇을 교체해야 하나」 |
보지 못하는 것 | 하드웨어에서 시작된 원인 | OS와 애플리케이션 내부 |
표의 마지막 줄이 중요합니다. 둘은 서로의 사각지대를 메우는 짝이지, 하나가 다른 하나를 대신할 수 없습니다. 에이전트만으로 하드웨어 상태를 추측하면, 고장은 「연결 끊김」이라는 결과로만 도착합니다.
하드웨어 하나가 멈추면, 그 위가 모두 멈춘다
가상화와 컨테이너가 일반화되면서 물리 서버 한 대가 짊어지는 무게는 훨씬 커졌습니다. 한 대 위에 하이퍼바이저가 있고, 그 위에 여러 VM이, 또 그 안에 OS와 컨테이너가 올라갑니다.
이 구조에서 하드웨어 고장은 위로 번집니다. PSU가 모두 멈추거나, 팬이 멈춰 열 보호로 전원이 내려가면 그 위의 모든 VM이 동시에 멈춥니다.
이때 OS 쪽에서 보이는 풍경은 이렇습니다.
•VM마다 에이전트가 저마다 「연결 끊김」을 남깁니다. 알람은 VM 수만큼 쏟아집니다.
•어느 알람에도 「원인은 같은 물리 서버의 PSU」라는 정보는 없습니다.
•운영자는 결과에서 거꾸로 원인을 추적해야 합니다.
반대로 BMC는 원인 하나를 봅니다. 그리고 대개 그 원인은 서비스가 멈추기 훨씬 전부터 보입니다.

그림 2. 영향 범위 — 물리 서버 1대의 PSU가 VM 4대를 멈춘다
하드웨어 관제의 가치는 두 가지입니다. 하나는 가장 이른 신호입니다. PSU 하나의 고장은 서비스가 아직 멀쩡할 때 나오고, 그때 교체하면 두 번째 고장을 막을 수 있습니다.
다른 하나는 영향 범위입니다. 어느 물리 서버의 문제인지 알면, 그 위의 VM을 미리 옮기거나 동시에 울린 알람을 하나의 원인으로 묶을 수 있습니다.
고장은 갑자기 오지 않는다
서버 하드웨어는 대부분 이중화와 보호 장치를 갖고 있습니다. 그래서 고장은 한 번에 오지 않고 몇 단계를 거쳐 옵니다. 대표적인 계통은 두 가지입니다.
•냉각 계통: 팬 하나가 약해지거나 멈추면 나머지 팬이 더 빨리 돌아 버틹니다. 그래도 온도가 오르면 CPU가 스스로 속도를 낮추고(쓰로틀링), 끝내 보호를 위해 전원을 내립니다.
•전원 계통: PSU 두 개 중 하나가 멈춰도 서버는 그대로 돕니다. 하지만 이중화가 깨진 그 순간부터 서버는 남은 PSU 하나에 전부를 걸고 있습니다.
문제는 이 진행의 대부분이 OS에게 아무 일도 아닌 것처럼 지나간다는 점입니다. OS가 느끼는 것은 쓰로틀링으로 인한 느려짐, 그리고 마지막의 「연결 끊김」뿐입니다.

그림 3. 고장의 진행 — 냉각·전원 계통 5단계와 감지 주체
하드웨어 관제가 노리는 것은 왼쪽의 세 단계입니다. 이 구간에서는 서비스가 멀쩡하고, 팬·PSU 하나만 교체하면 끝납니다.
부품별로 무엇을 보고, 어떻게 읽는가
BMC가 알려 주는 값은 많지만, 운영에서 의미 있는 질문은 부품마다 하나로 모입니다. 값 자체보다 무엇을 뜻하는가를 먼저 정해 두면 임계값도 자연스럽게 정해집니다.
부품 | 대표 신호 | 운영 질문 | 읽을 때 주의할 점 |
온도 | CPU·흡기·배기 등 부위별 센서 | 가장 뜨거운 곳은 어디인가 | 평균은 의미가 없다. 흡기 온도가 같이 오르면 서버가 아니라 공조 문제다 |
팬 | 회전수(RPM) 또는 최대 속도 대비 % | 멈춘 팬이 있는가 | 0은 정지다. 다른 팬이 갑자기 빨라지는 것도 이웃 팬 고장의 신호다 |
PSU | 상태(정상·경고·심각), 출력 전력, 정격 | 이중화가 살아 있는가 | 하나가 멈춰도 서버는 돈다. 그래서 가장 자주 놓친다 |
전압 | 레일별 전압 | 정격에서 벗어났는가 | 레일마다 정격이 달라 하나의 임계값으로 볼 수 없다 |
시스템 전력 | 총 소비 전력(W) | 평소와 다른가 | 절대값보다 추세와 정격 대비가 의미 있다 |
전원·종합 상태 | 전원 on/off, BMC가 내린 종합 판정 | 지금 이 기계는 정상인가 | 제조사가 내부 기준으로 내린 판정이라 가장 빠르고 믿을 만하다 |
이벤트 로그(SEL) | 하드웨어 이벤트 기록 | 무슨 일이 있었는가 | 새로 생긴 건만 봐야 한다. 과거 기록까지 매번 읽으면 알람이 폭주한다 |
눈여겨볼 점은 값의 단위가 장비마다 다르다는 것입니다. 팬이 RPM으로 오는 장비가 있고 %로 오는 장비가 있습니다. 이 차이는 다음 절에서 다시 나옵니다.
IPMI와 Redfish, 같은 질문에 다른 대답
BMC에 말을 거는 방법은 크게 두 가지입니다. 오랫동안 쓰여 온 IPMI, 그리고 그 뒤를 잇는 Redfish입니다.
항목 | IPMI 2.0 | Redfish |
통신 | UDP 623, RMCP+ 세션 | HTTPS, REST API |
데이터 모양 | 센서 목록(SDR)을 한 개씩 읽는다 | 부품별로 구조화된 JSON 문서 |
강점 | 오래된 장비까지 널리 지원한다 | 인벤토리·정격 등 정보가 풍부하고 읽기 쉽다 |
약점 | 값의 이름과 분류가 제조사마다 다르다 | 구형 장비는 지원하지 않거나 일부만 지원한다 |
표준이 있다고 대답이 같아지지는 않습니다. 우리가 같은 Redfish로 두 제조사의 서버를 읽었을 때의 차이입니다.
항목 | Dell PowerEdge R730 (iDRAC) | HPE ProLiant DL360 Gen10 (iLO5) |
온도 센서 수 | 4개 | 54개 |
팬 값의 단위 | RPM | 최대 속도 대비 % |
PSU 이름 | 「PS1 Status」처럼 번호가 들어 있다 | 모든 PSU가 같은 이름, 번호는 별도 항목 |
IPMI는 더합니다. 같은 PSU인데도 상태 센서는 「PS1 Status」, 전력 센서는 「PS1 Input Power」처럼 이름이 따로 옵니다. 값을 그대로 화면에 옮기면 PSU 하나가 두 개처럼 보입니다.
결국 하드웨어 관제의 어려움은 「값을 읽는 것」이 아니라 제각각인 대답을 하나의 모델로 맞추는 것에 있습니다.
센서가 아니라 부품을 본다
HPE 서버의 온도 센서 54개를 그대로 관제 대상 54개로 만들면, 서버 1,000대에 온도 대상만 5만 개가 생깁니다. 반대로 모든 값을 서버 하나에 붙이면, 「어느 팬이 멈췄는가」를 트리에서도 알람에서도 말할 수 없습니다.
우리는 기준을 하나로 정했습니다. 현장 엔지니어가 실제로 교체하는 단위(FRU, Field Replaceable Unit)로 센다. 서버에서 뽑아 교체하는 것은 팬과 PSU이지, 온도 센서 하나가 아닙니다.
부품 | 관제 대상 | 이유 |
팬 | 팬 하나하나가 대상 | 교체 단위이고 수가 적다. 「팬 2 정지」처럼 이름으로 알려야 한다 |
PSU | PSU 하나하나가 대상 | 교체 단위이고, 어느 쪽이 멈췄는지가 이중화 판단의 핵심이다 |
온도 | 서버당 대상 하나, 센서별 값은 그 안에 | 센서는 교체 단위가 아니다. 알람은 가장 뜨거운 센서로 판정한다 |
전압 | 서버당 대상 하나 | 온도와 같은 이유 |
전력·전원·종합 상태 | 서버 자신 | 기계 전체의 값이다 |
이렇게 정하자 트리 노드, 성능 차트, 알람의 단위가 하나로 맞물렸습니다. 트리에서 「팬 2」를 누르면 그 팬의 차트가 나오고, 알람도 「팬 2」의 이름으로 울립니다.
프로토콜이 달라도 이름은 하나
두 번째 결정은 지표 이름입니다. 예전에는 같은 온도를 IPMI와 Redfish가 서로 다른 이름으로 냈고, 그래서 알람 정책도 두 벌 만들어야 했습니다. 이제는 두 경로가 모두 같은 이름으로 냅니다.
이름은 <영역>.<부품>.<측정값> 규칙을 따릅니다. ipmi.fan.speed, ipmi.psu.status, ipmi.temperature.celsius처럼 가운데 부분이 곧 부품의 종류입니다. 수집기는 이름만 보고 값을 어느 부품에 붙일지 정합니다.
그리고 제조사마다 다른 대답은 이 이름에 맞춰 정리합니다.
•팬이 RPM으로 오면 fan.speed, %로 오면 fan.percent로 나눕니다. 단위가 다른 값을 한 이름에 섞지 않습니다.
•PSU는 이름에서 번호를 뽑아 PSU1로 맞춥니다. 「PS1 Status」와 「PS1 Input Power」가 같은 PSU가 됩니다.
•빈 슬롯(Absent)은 PSU로 만들지 않습니다. 영원히 빈 노드가 생기기 때문입니다.

그림 4. 관측 단위 모델 — 제조사 값 → 정규화 → 부품 단위 대상
이 모델 덕분에 알람 정책도 하나면 됩니다. IPMI 서버와 Redfish 서버를 한 그룹으로 묶어 같은 정책을 배포할 수 있습니다.
수집은 성공, 알람은 0건
설계를 바꾼 계기는 대부분 「에러는 없는데 비어 있는」 현상이었습니다. 하드웨어 관제에서는 「수집 성공」이 「감시 중」을 뜻하지 않습니다.
현상 | 원인 | 바꾼 것 |
수집은 성공인데 HPE 장비만 팬 차트가 빈다 | RPM이 아닌 팬 값을 버렸다. HPE는 %로 보고한다 | 단위별로 지표를 나눠 모두 낸다 |
PSU 1대가 화면에 두 번 나온다 | 같은 PSU의 센서 이름이 달랐다 | 이름에서 번호를 뽑아 맞춘다 |
알람 템플릿을 배포했는데 규칙이 0건 | 배포 단계가 지표와 수집기를 잇지 못하면 그 항목을 조용히 건너뛰었다 | 수집 기본 정책을 함께 제공해 연결 고리를 만든다 |
「상태가 Critical이면 알람」이 빈 정책이 된다 | 임계값 해석이 숫자만 알아서 문자열 조건을 버렸다 | 상태형 지표는 문자열 비교 조건으로 따로 만든다 |
네 가지의 공통점은 성공 신호가 실패를 가렸다는 것입니다. 그래서 검증도 「에러가 없는가」가 아니라 「배포 후 실제로 생긴 알람 규칙이 몇 건인가」를 보도록 바꾨습니다.
설치하면 바로 쓰는 기본 알람
이 경험을 바탕으로 「서버 BMC 하드웨어 기본 알람」 템플릿을 제품에 넣었습니다. 임계값은 지표 카탈로그에서 자동으로 만들어집니다.
대상 | 알람 조건 | 판정 기준 |
온도 | 70 / 80 / 90 ℃ (주의 / 경고 / 심각) | 가장 뜨거운 센서 |
팬 | 멈춤(0) | 팬 하나하나 |
PSU | 상태 Warning / Critical | PSU 하나하나 |
서버 종합 상태 | Warning / Critical | BMC 판정 |
전원 | 꺼짐(off) | 서버 |
전압과 전력은 기본 알람에서 말다. 「정격 대비 %」로 봐야 의미가 있는데, 정격값을 주지 않는 장비가 많기 때문입니다. 근거 없는 숫자를 기본값으로 주기보다, 운영자가 장비에 맞게 정하도록 남겨 두었습니다.
아직 남은 숙제
•수집 실패 자체를 알람으로: BMC에 접속이 안 되는 상황을 별도 가용성 알람으로 알리는 것. 통신 장애와 하드웨어 장애를 구분해야 합니다.
•이벤트 로그(SEL) 기반 알람: 지금은 신규 이벤트 건수를 모으고 있고, 원문 보관과 이벤트 종류별 알람은 다음 단계입니다.
•물리 서버와 그 위 VM의 연결: 어느 BMC의 알람이 어느 VM에 영향을 주는지를 가상화 관제와 이어 주는 것. 그림 2의 영향 범위를 화면에서 바로 보여 주는 것이 목표입니다.
Polestar 10 Nova에서는 이렇게 보입니다
앞의 모델은 관제 화면에 그대로 드러납니다. 서버 트리에서 BMC 장비를 펼치면 팬·PSU·온도·전압이 하위 노드로 나타나고, 성능 탭은 다른 관제 영역과 같은 차트·테이블 보기를 씁니다.
[화면 1] 하드웨어 현황 — 온도·전력·냉각 등 전체 헬스와 요약 화면

[화면 2] PSU 알람 — PSU 하나의 상태 이상 알람 발생

마무리 — 바닥을 보는 일
OS 에이전트는 서버의 안을 봅니다. 하지만 그 안의 모든 것은 밖의 팬 하나, PSU 하나 위에 서 있습니다. 바닥이 흔들리면 그 위의 OS가 모두 함께 흔들립니다.
그 바닥을 제대로 보는 출발점은 센서를 많이 읽는 것이 아니었습니다. 운영자가 무엇을 하나로 세고, 무엇을 교체하고, 무엇에 알람을 받고 싶은지를 먼저 정해야 했습니다.
앞선 글에서 GPU는 한 장을 여러 조각으로 나눠 보았고, FMS는 흩어진 설비를 하나의 토폴로지로 묶었습니다. 서버 하드웨어에서는 수십 개의 센서를 교체 가능한 부품 단위로 다시 묶었습니다. 방향은 달라도 질문은 같습니다. 「이 알람을 받은 사람은 다음에 무엇을 하는가?」
참고
•DMTF, Redfish Specification — Redfish 데이터 모델과 REST API
•Intel 외, Intelligent Platform Management Interface (IPMI) Specification v2.0 — RMCP+·SDR·SEL
•각 제조사 BMC 설명서 — Dell iDRAC, HPE iLO, Lenovo XClarity Controller
작성자 : DW Jang | 엔키아 연구소




