OPENMARU APM: 쿠버네티스 HPA의 한계를 넘어, 지능형 오토스케일링을 구현하다.

Horizontal Pod Autoscaler (HPA)는 서비스의 안정성과 효율성을 동시에 잡을 수 있는 핵심 기능입니다.

클라우드 네이티브 시대, 쿠버네티스의 필수 기능 HPA

클라우드 네이티브 아키텍처가 대세가 되면서, 애플리케이션의 유연성과 확장성을 확보하는 것이 그 어느 때보다 중요해졌습니다. 이러한 환경에서 쿠버네티스 (k8s)는 컨테이너화된 애플리케이션을 효율적으로 배포하고 관리하는 표준 기술로 자리 잡았습니다.

쿠버네티스의 여러 강력한 기능 중에서도, 애플리케이션 부하에 따라 Pod 수를 자동으로 조절하는 Horizontal Pod Autoscaler (HPA)는 서비스의 안정성과 효율성을 동시에 잡을 수 있는 핵심 기능입니다.

쿠버네티스란?

HPA의 한계점: CPU와 메모리만으로 충분할까?

쿠버네티스 HPA는 기본적으로 Pod의 CPU 및 메모리 사용량을 기준으로 스케일 아웃을 결정합니다. 이는 대부분의 상황에서 효과적이지만, 웹 애플리케이션의 복잡한 특성을 모두 반영하기에는 한계가 있습니다. 예를 들어, CPU 사용률이 낮더라도 수많은 사용자가 동시에 접속해 트래픽이 몰리는 상황이라면, 애플리케이션은 사용자에게 지연을 초래할 수 있습니다. 반대로, CPU 사용량이 높아지더라도 실제 사용자 경험에는 큰 영향을 미치지 않는 경우도 있습니다.

웹 애플리케이션을 위한 커스텀 매트릭 기반 HPA의 필요성

이러한 한계점을 극복하기 위해 등장한 것이 바로 커스텀 매트릭(Custom Metric) 기반 HPA입니다. 웹 애플리케이션의 성능을 정확히 파악하고 유연하게 대처하기 위해서는, 단순히 CPU나 메모리 사용량 외에 비즈니스 로직과 관련된 실제 지표를 활용해야 합니다.

가장 효과적인 커스텀 매트릭으로 APM(Application Performance Monitoring) 시스템에서 제공하는 지표를 활용할 수 있습니다. APM은 애플리케이션의 성능을 실시간으로 모니터링하고 분석하는 솔루션으로, 웹 애플리케이션의 실제 상태를 보여주는 귀중한 데이터를 제공합니다. 특히 TPS(초당 트랜잭션 수), 액티브 유저 수, 그리고 지연 트랜잭션과 같은 지표는 웹 서비스의 부하 상태를 정확하게 나타내어 HPA를 훨씬 더 정교하게 만들 수 있습니다.

커스텀 매트릭 활용의 함정: ‘무조건적인 스케일 아웃’의 위험성

하지만 단순히 TPS나 액티브 유저 수가 높다고 해서 무조건 스케일 아웃을 하는 것은 오히려 문제를 악화시킬 수 있습니다. 예를 들어, 애플리케이션의 응답 지연이 DBMS SQL 이나 MSA환경에서 외부 HTTP REST API 호출과 같은 외부 시스템의 병목 현상 때문에 발생했다면, Pod 수를 늘리는 것은 근본적인 해결책이 될 수 없습니다. 오히려 Pod 수가 늘어나면서 외부 시스템에 대한 요청이 급증해 병목 현상을 가중시키고, 결국 전체 서비스의 지연을 더욱 심화시키는 결과를 초래할 수 있습니다.

따라서, 커스텀 매트릭을 기준으로 HPA를 실행하되, 단순히 지표의 수치가 높다고 판단하는 것이 아니라 “스케일 아웃이 필요한 상황인지, 아니면 외부 시스템 지연으로 인한 병목 상황인지“를 정확하게 판단하는 것이 매우 중요합니다.

OPENMARU APM을 활용한 지능형 HPA 구현

이러한 문제를 해결하기 위해, 저희 OPENMARU APM은 쿠버네티스 HPA를 위한 지능적인 커스텀 매트릭을 제공합니다. OPENMARU APM은 단순한 TPS나 액티브 유저 수 외에도, 지연 트랜잭션의 원인을 분석하여 HPA가 필요한 상황을 정확하게 판단합니다.

OPENMARU APM이 제공하는 커스텀 매트릭은 다음과 같은 시나리오를 바탕으로 설계되었습니다.

1. 스케일 아웃이 필요한 경우

SQL, HTTP REST API 응답은 빠르지만, DB Connection Pool 및 HTTP Connection Pool이 부족하여 새로운 연결을 획득하는 데 시간이 오래 걸리는 경우입니다.

이때는 Pod 수를 늘려 요청을 분산함으로써 Connection Pool에 대한 경쟁을 완화하고 응답 속도를 개선할 수 있습니다.

2. 스케일 아웃이 필요없는 경우

SQL, HTTP REST API 등 외부 호출 자체가 느려서 지연이 발생하는 경우입니다. 이 경우 Pod 수를 늘려도 근본적인 문제는 해결되지 않으며, 오히려 외부 시스템의 부하를 가중시킬 수 있습니다.

OPENMARU APM은 이처럼 지연의 원인을 정확하게 파악하여 HPA에 올바른 신호를 제공함으로써, 불필요한 스케일 아웃을 방지하고 효과적으로 리소스를 관리할 수 있도록 돕습니다.

OPENMARU APM 보러가기

OPENMARU COP와 함께하는 스마트한 쿠버네티스 운영

이러한 지능형 HPA 기능을 더욱 쉽게 활용하고, 쿠버네티스 운영의 복잡성을 줄이기 위해 OPENMAR COP(Container Orchestration Platform)를 출시했습니다. OPENMARU COP는 쿠버네티스 기반의 컨테이너 오케스트레이션 플랫폼으로, 다음과 같은 강력한 기능을 제공합니다.

직관적인 클러스터 관리

편리한 웹 콘솔로 클러스터와 애플리케이션을 손쉽게 관리할 수 있습니다.

자동화된 개발 및 배포

S2I(Source-to-Image)를 기반으로 애플리케이션을 간편하게 빌드하고 배포할 수 있으며, 내장된 CI/CD 파이프라인으로 개발부터 배포까지 전 과정을 자동화합니다. CI/CD 파이프라인을 제공하는 것을 넘어, GitOps 철학을 기반으로 개발부터 배포까지의 모든 과정을 자동화합니다.