🏗️ 100만 사용자 확장을 위한 아키텍처: 내가 미리 알았더라면 좋았을 것들

초기에는 100명의 일일 사용자만으로도 만족스러웠지만,
몇 달 만에 10,000명, 100,000명으로 급증하면서 기존 아키텍처의 한계가 드러났습니다.
1,000명을 위해 설계된 시스템은 100만 명의 사용자를 감당하지 못했습니다.
이 글에서는 우리가 겪었던 문제와 그 해결 과정을 공유합니다.

🧱 1단계: 단일 모놀리식 아키텍처의 한계

💻 초기 아키텍처 구성

Spring Boot 애플리케이션
MySQL 데이터베이스
NGINX 로드 밸런서
모든 것이 하나의 VM에 배포됨

⚠️ 문제점

CPU 사용률 최대치 도달
쿼리 속도 저하
가용성 99% 이하로 감소
DB 잠금, GC 지연, 스레드 경쟁 발생

❗ 교훈

단일 서버와 모놀리식 구조로는 사용자가 급증할 때 병목이 발생하여 시스템이 불안정해집니다.

🚀 2단계: 서버 수 증가로는 해결되지 않는 병목 현상

🛠️ 조치 사항

서버 수를 늘려 수평 확장 시도
로드 밸런싱으로 트래픽 분산

💥 여전히 발생한 문제

데이터베이스 연결 수 제한
GC 지연으로 인한 응답 시간 증가
불균형한 트래픽 분산 문제

❗ 교훈

단순히 서버 수를 늘리는 것만으로는 근본적인 병목 문제를 해결할 수 없습니다.
데이터베이스 확장성 문제와 GC 튜닝을 먼저 고려해야 합니다.

🧩 3단계: 마이크로서비스 아키텍처로의 전환

💡 전환 전략

모놀리틱을 마이크로서비스로 분리
서비스별 독립 배포 및 확장
서비스 간 통신을 위한 메시지 큐 도입 (예: RabbitMQ, Kafka)

🌟 효과

서비스별 독립적 확장 가능
장애 발생 시 특정 서비스만 중단
개발 및 배포 속도 향상

💡 예시 코드: FastAPI를 이용한 서비스 분리

from fastapi import FastAPI

app = FastAPI()

@app.get("/user/{user_id}")
async def get_user(user_id: int):
    return {"user_id": user_id, "status": "active"}

🗃️ 4단계: 데이터베이스 샤딩 및 캐싱 전략

🗄️ 데이터베이스 문제 해결 전략

사용자 ID 기반 데이터베이스 샤딩
Redis를 활용한 캐싱으로 읽기 부하 감소
읽기/쓰기 분리로 데이터베이스 부하 분산

💡 예시 코드: Redis 캐싱

import redis

r = redis.Redis(host='localhost', port=6379, db=0)

# 데이터 캐싱
r.set("user:1001", "active")

# 캐시 데이터 조회
status = r.get("user:1001")
print(f"User 1001 status: {status.decode()}")

🔍 5단계: 모니터링 및 자동 확장

📊 모니터링 도구

Prometheus: 메트릭 수집 및 시각화
Grafana: 대시보드 구성 및 경고 설정

🌀 자동 확장 설정

CPU 사용률이 80% 이상일 때 자동으로 인스턴스 추가
메모리 사용률이 75% 이하로 떨어지면 인스턴스 축소

💡 예시 코드: Prometheus 설정

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: "my_service"
    static_configs:
      - targets: ["localhost:8000"]

💡 저의 생각

시스템을 확장하는 과정에서 가장 중요한 것은 초기 설계 단계에서 확장성을 고려하는 것입니다.
초기에는 단순한 구조가 빠른 개발과 배포에 유리할 수 있지만,
사용자 수가 급증하면서 구조적 한계에 부딪히게 됩니다.

개인적으로는 마이크로서비스 아키텍처와 데이터베이스 샤딩을 통한 확장이
대규모 트래픽을 처리하는 데 가장 효과적이었다고 느꼈습니다.
또한, 모니터링과 자동 확장을 통해 실시간으로 시스템 상태를 관리하는 것이
안정적인 서비스 운영의 핵심입니다.

앞으로 새로운 프로젝트를 시작할 때는 초기부터 확장성을 고려한 설계를 통해
비용 절감과 안정성 확보를 동시에 추구하는 것이 필요하다고 생각합니다.

시스템 확장성, 마이크로서비스 아키텍처, 데이터베이스 샤딩, 캐싱 전략, 자동 확장, 모니터링,
Spring Boot, FastAPI, Redis, Prometheus, Grafana