Article

Polestar KCM으로 진단하는 Pending 파드

쿠버네티스 Pending 파드 진단 글 대표 이미지
쿠버네티스 Pending 파드 진단 글 대표 이미지


상세 원고 · 원인 확인에서 제품 내 조치까지


애플리케이션을 배포한 뒤에도 운영자의 일은 계속됩니다. 사용자가 몰리면 처리 용량을 늘려야 하고, 프로세스가 중단되면 다시 실행해야 합니다. 새로운 버전을 배포할 때는 기존 서비스가 정상적으로 제공되는지도 확인해야 합니다.

서비스와 서버가 늘어날수록 이러한 작업을 사람이 직접 처리하기는 어려워집니다. 쿠버네티스는 컨테이너로 실행되는 애플리케이션을 여러 서버에 배치하고, 선언한 상태를 유지하도록 운영을 자동화합니다.

자동화된 환경에서도 질문은 남습니다. 재시작이 반복되는 이유는 무엇일까요? CPU 사용률은 낮은데 새 파드는 왜 실행되지 않을까요? 안정적인 운영을 위해서는 자동화가 진행되는 과정과 결과를 이해할 수 있어야 합니다.

이 글에서는 쿠버네티스에서 살펴봐야 할 모니터링 요소를 정리하고, Polestar KCM에서 Pending 파드의 원인을 확인한 뒤 제품 안에서 필요한 조치와 추가 진단을 수행하는 흐름을 따라가 봅니다.




쿠버네티스가 맡아 주는 운영 작업


컨테이너는 애플리케이션과 실행에 필요한 환경을 함께 묶어 배포하기 쉽게 만듭니다. 컨테이너가 많아지면 어디에 실행할지, 몇 개를 유지할지, 실패했을 때 어떻게 복구할지를 관리해야 합니다.

쿠버네티스에서 컨테이너를 실행하는 기본 단위는 파드(Pod)입니다. 파드가 실행되는 서버는 노드(Node)이고, 노드와 관리 구성요소가 모여 클러스터(Cluster)를 이룹니다. Deployment 같은 워크로드 리소스에는 유지할 파드 수와 배포 설정을 선언합니다.

예를 들어 파드 세 개를 유지하도록 설정하면 쿠버네티스는 실제 상태가 그에 맞도록 조정합니다. 컨테이너가 실패하면 정책에 따라 재시작하고, 관리 대상 파드가 실패하면 대체 파드를 생성합니다. 애플리케이션 오류처럼 별도의 조치가 필요한 원인은 운영자가 조사해야 합니다. 쿠버네티스 자동 복구 공식 문서

쿠버네티스가 맡아 주는 운영 작업 → 쿠버네티스 운영 흐름 – 원하는 상태 선언, 쿠버네티스 자동화, Polestar KCM으로 관측

그림 1. 쿠버네티스의 자동화와 운영자의 판단을 연결하는 모니터링.




모니터링으로 확인해야 할 것


실행 상태 하나만으로 서비스의 건강을 판단하기는 어렵습니다. 컨테이너가 다시 실행되어도 메모리 사용량이 계속 증가하면 문제가 반복될 수 있고, 파드가 실행 중이어도 요청을 받을 준비가 되지 않았을 수 있습니다. 상태와 성능, 이벤트를 함께 살펴봐야 하는 이유입니다.

관찰 대상

주요 확인 항목

운영자가 답해야 할 질문

클러스터와 노드

노드 상태, CPU·메모리, 요청량과 할당 가능량

새로운 파드를 배치할 여유가 있는가

워크로드와 파드

준비 상태, 복제본 수, 재시작, 종료 사유

필요한 파드가 실행되고 요청을 받을 준비가 되었는가

서비스와 네트워크

연결 관계와 트래픽 흐름

통신 문제를 어느 구간부터 조사할 것인가

스토리지

볼륨 사용량과 PVC 연결 상태

저장소가 실행이나 처리를 막고 있는가

이벤트와 로그

오류 메시지, 발생 시점과 반복 양상

문제 발생 전후에 어떤 일이 있었는가

구성과 이력

설정 변경과 파드 교체 시점

현재 상태와 장애 당시 상태는 어떻게 다른가

이 표는 쿠버네티스 운영에서 확인할 관점입니다. 개별 수집 항목의 제공 범위는 제품 버전, 배포 환경과 수집 설정에 따라 달라집니다. 아래 사례에서는 파드 상태, 스케줄링 이벤트, CPU 요청량과 노드 여유에 집중합니다.




CPU 사용률은 낮은데 파드가 실행되지 않는 이유


새로 배포한 파드가 Pending 상태에 머물러 있다고 가정해 보겠습니다. 노드의 CPU 사용률은 20%여서 충분한 여유가 있는 것처럼 보입니다. 하지만 스케줄러가 CPU 자원 적합성을 판단할 때 보는 기준은 현재 사용률이 아니라 자원 요청량(requests)입니다.

노드가 파드에 할당할 수 있는 자원을 allocatable이라고 합니다. 여기에 이미 배치된 파드의 요청량을 고려해야 새 파드를 수용할 수 있는지 판단할 수 있습니다. 실제 사용량이 작아도 기존 요청량이 크면 추가 배치가 제한될 수 있습니다. 파드와 컨테이너의 자원 관리 공식 문서

다음 예시에서 각 노드의 CPU 할당 가능량은 4코어, 기존 파드의 요청량 합은 3코어입니다. 세 노드의 요청량 기준 여유를 합하면 3코어지만, 2코어를 요청한 새 파드를 수용할 단일 노드는 없습니다. 메모리와 다른 배치 조건은 충족한다고 가정합니다.


CPU 사용률은 낮은데 → 노드별 CPU 여유 예시 – 총여유 3코어지만 2코어 요청 파드를 받을 노드가 없어 Pending

그림 2. 클러스터 전체 여유와 단일 노드에서 사용할 수 있는 여유는 다릅니다. 수치는 설명을 위한 예시입니다.

이 사례의 핵심은 실제 사용량, 클러스터 총여유, 노드별 여유를 구분하는 것입니다. 실제 배치에는 CPU 외에도 메모리, 노드 선택 조건, taint와 toleration, 볼륨 조건 등이 관여하므로 이벤트 원문도 함께 확인해야 합니다.




Polestar KCM으로 원인 확인에서 조치까지 이어가는 과정


아래 화면은 Polestar KCM의 실제 파드맵 렌더러, 이벤트 탭, 스케줄 여유 패널과 명령 실행 드로어에 가상 데이터를 주입해 구성한 예시입니다. 단계 이동 버튼, 원문 강조 패널과 안내 문구는 아티클용으로 추가했습니다. 대상·진행 상태·명령 출력은 목데이터이며, 실제 클러스터에는 명령이나 변경을 실행하지 않았습니다.

사례 항목

예시 값

클러스터 / 네임스페이스

demo-commerce / commerce

대상 파드

checkout-api-7f9b6-demo

전체 파드

13개 — Running 12개, Pending 1개

노드

worker-a, worker-b, worker-c — 모두 Ready

노드별 CPU

할당 가능 4코어, 기존 요청 3코어, 실제 사용률 20%

새 파드의 요청량

CPU 2코어, 메모리 1 GiB

관찰 구간

2026년 10월 26일 10:00–10:30 KST

실패 이벤트

10:10–10:15에 FailedScheduling 6회




1 파드 상태에서 조사할 대상을 찾습니다


먼저 파드맵에서 Pending 상태의 파드를 확인합니다. 예시에서는 실행 중인 파드 12개와 대기 중인 파드 1개가 구분되어 보입니다. 선택한 파드의 이름과 네임스페이스를 확인하면 이후 이벤트를 조회할 대상을 명확히 할 수 있습니다.


파드 상태에서 → Polestar KCM 파드 상태 화면 – 전체 13개 파드 중 Pending 1개 확인

그림 3. 주황색 Pending 파드를 확인합니다. 선택한 파드는 미배치 상태이며 CPU 요청량은 2코어입니다.

여기서 확인할 것은 대상 파드가 아직 노드에 배치되지 않았다는 사실입니다. Pending은 배치 대기 외의 준비 과정에서도 나타날 수 있으므로, 상태만 보고 CPU 부족으로 단정하지 않습니다. 다음 단계에서 해당 파드의 이벤트를 확인합니다.




2 이벤트에서 배치 실패 사유를 확인합니다

이벤트를 대상 파드 범위로 좁히면 FailedScheduling이 반복된 것을 확인할 수 있습니다. 예시의 메시지는 다음과 같습니다.

0/3 nodes are available: 3 Insufficient cpu.


이벤트에서 → Polestar KCM 이벤트 화면 – FailedScheduling, ‘0/3 nodes are available: 3 Insufficient cpu’

그림 4. FailedScheduling 이벤트와 자원 부족 분류를 확인합니다. 메시지 원문은 읽기 쉽도록 아래 패널에 함께 표시했습니다.

이 메시지는 스케줄러가 평가한 노드 세 대 모두에서 CPU 조건을 충족하지 못했다는 뜻입니다. CPU 실사용률이 100%라는 뜻은 아닙니다. 원문에 적힌 자원과 새 파드의 요청량을 비교해야 합니다.

또한 화면의 이벤트 발생수 6은 대기 중인 파드가 여섯 개라는 뜻이 아닙니다. 이 사례에서는 한 파드에 대해 배치 실패 이벤트가 여섯 번 발생했습니다. 대상 수와 이벤트 발생수를 구분해야 장애 범위를 잘못 해석하지 않습니다.




3 요청량과 노드별 스케줄 여유를 비교합니다


이제 스케줄 여유를 확인합니다. 예시의 CPU 할당 가능량은 총 12코어, 이미 배치된 파드들의 요청량 합은 9코어입니다. 총여유는 3코어지만 최대 단일 노드 여유는 1코어입니다.


요청량과 노드별 → Polestar KCM 스케줄 여유 비교 – 노드별 CPU requests와 할당 가능량 비교

그림 5. 총여유 3코어와 최대 단일 노드 여유 1코어를 함께 확인합니다. 새 파드의 2코어 요청을 수용할 노드가 없습니다.


비교 항목

값

해석

CPU 할당 가능량 합

12코어

노드 세 대에서 파드에 할당 가능한 CPU

기존 파드 요청량 합

9코어

현재 배치된 파드들의 CPU requests 합

요청량 기준 총여유

3코어

전체를 합한 여유

최대 단일 노드 여유

1코어

이 사례에서 어느 한 노드가 수용할 수 있는 CPU 요청량의 상한

새 파드 요청량

2코어

단일 노드 여유보다 큼

이 비교를 통해 문제를 구체화할 수 있습니다. 각 노드의 실제 CPU 사용률은 낮지만, 새 파드의 요청량을 수용할 단일 노드가 없습니다. 화면의 N−1 표시는 노드 한 대가 빠질 경우의 총량 위험을 참고하는 보조 정보입니다. CPU·메모리 여유만으로 모든 배치 조건이 충족된다고 판단할 수는 없습니다.




4 제품 안에서 필요한 조치를 실행하고 결과를 확인합니다


원인을 확인했다면 필요한 조치를 결정할 차례입니다. 노드를 추가하거나 워크로드 배치를 조정할 수 있고, 실제 부하에 비해 요청량이 과도하다면 자원 설정을 검토할 수 있습니다. Polestar KCM은 에이전트가 연결된 환경에서 권한과 대상 조건에 맞는 명령을 제공해, 조사하던 대상에서 조치로 바로 이어갈 수 있도록 돕습니다.

자원 조정이 필요한 경우에는 파드 상세의 명령 실행 버튼에서 `CPU·메모리 조정`을 선택합니다. 이 예시에서는 피크 부하와 애플리케이션 특성을 검토한 결과 CPU request 1코어가 적정하다고 판단한 상황을 가정합니다. checkout-api Deployment의 checkout 컨테이너 요청량을 2코어에서 1코어로 바꾸고, CPU limit 2코어와 메모리 설정은 유지합니다. 현재 CPU 사용률이 낮다는 이유만으로 요청량을 줄이는 것은 적절하지 않습니다.

변경값과 적용 대상을 확인한 뒤 수행하면 워크로드의 파드 템플릿에 설정이 반영됩니다. 변경은 선택한 파드 하나에만 적용되는 것이 아니라 해당 워크로드의 배포 전략에 따라 파드 교체로 이어집니다. 화면에서는 제어 작업의 진행 단계와 새 세대 파드의 Ready 상태를 추적할 수 있습니다. Deployment 배포 동작 공식 문서


제품 안에서 (첫 번째) → Polestar KCM 명령 실행 화면 – 파드 CPU·메모리 request/limit 조정

그림 6. 실제 CPU·메모리 조정 화면에 요청량 2 → 1코어 변경과 새 세대 Ready 대기 상태를 표시한 예시입니다. 진행률 1/3은 목데이터이며 복구 완료를 뜻하지 않습니다.


컨테이너 내부를 더 살펴봐야 할 때는 `명령어 실행` 기능을 활용할 수 있습니다. 실행 중인 파드의 컨테이너를 선택하고 명령을 입력하면 에이전트를 통해 비대화형으로 실행하고 결과와 표준 출력·오류를 확인할 수 있습니다. 아래는 Running 상태인 gateway-01의 gateway 컨테이너에서 ps -ef로 프로세스 목록을 확인하는 추가 진단 예시입니다. 아직 노드에 배치되지 않은 Pending 파드에 명령을 실행하는 흐름과는 구분됩니다.


제품 안에서 (두 번째) → Polestar KCM 명령 실행 화면 – 실행 중인 파드에서 ps -ef 결과 확인

그림 7. 실제 명령어 실행 화면에서 컨테이너 선택, 명령 입력, 실행 결과를 확인합니다. ps -ef 출력은 가상 데이터이며, 실제 사용 시에는 컨테이너에 해당 명령이 있어야 합니다.


이처럼 모니터링에서 찾은 대상을 제품 안에서 이어서 조사하고, 지원되는 제어 작업을 수행할 수 있습니다. 운영자는 대상과 명령을 다른 도구에 다시 입력하는 수고를 줄이고 필요한 대응을 빠르게 이어갈 수 있습니다.

조치 후에는 새 파드가 노드에 배치되었는지, Running 상태와 Ready 조건을 충족하는지, 새로운 FailedScheduling 이벤트가 더 발생하는지 확인합니다. 마지막으로 애플리케이션의 응답과 오류도 확인해야 합니다. 명령 수행 결과와 서비스 정상화 여부를 함께 확인해야 운영 대응이 마무리됩니다. 이 아티클은 목데이터로 조치 화면과 결과 확인 흐름을 보여 주며, 실제 복구 결과를 나타내지는 않습니다.




현재 상태와 함께 이력과 수집 상태를 살펴봅니다


쿠버네티스에서는 배포와 복구 과정에서 파드가 교체됩니다. 조사할 때 문제가 발생했던 파드가 이미 사라졌다면 현재 실행 중인 대상만으로는 당시 상황을 이해하기 어렵습니다.

Polestar KCM의 파드 이력은 보관된 삭제 파드의 기록과 당시 스펙, 교체 시점 및 성능 데이터를 조사하는 데 활용할 수 있습니다. 이벤트와 구성 이력을 함께 보면 장애 전후의 맥락을 확인하는 데 도움이 됩니다.

관측 데이터가 들어오고 있는지도 확인해야 합니다. 새로운 이벤트가 보이지 않는 상황은 실제로 이벤트가 없었던 경우와 수집이 중단된 경우로 나뉠 수 있습니다. Polestar KCM은 수집 지연이나 끊김 등의 수집 상태를 리소스의 건강 상태와 구분해 살펴볼 수 있도록 합니다.




상태 발견에서 원인 확인, 조치와 검증까지


쿠버네티스는 반복적인 운영 작업을 자동화합니다. 운영자는 그 과정에서 발생한 문제를 이해하고 필요한 조치를 결정해야 합니다.

이번 사례에서는 파드맵으로 대상을 찾고, 이벤트로 배치 실패 사유를 확인한 뒤, 노드별 스케줄 여유와 파드의 요청량을 비교했습니다. 이어서 제품의 자원 조정 화면으로 필요한 변경을 수행하고 진행 상태를 확인하는 흐름과, 실행 중인 컨테이너에서 명령으로 추가 진단하는 방법을 살펴봤습니다.

Polestar KCM은 상태·성능·이벤트·이력을 연결한 조사와 에이전트를 통한 명령 실행을 함께 제공해, 원인 확인부터 필요한 조치와 결과 확인까지 이어지는 운영을 돕습니다.




작성자 : JH Son | 엔키아 연구소 연구2팀