🧩 MLOps 기반 퀀트 AI 파이프라인 구축 – MLflow + Docker + Streamlit Monitoring

🧩 MLOps 기반 퀀트 AI 파이프라인 구축 – MLflow + Docker + Streamlit Monitoring

지금까지 만든 AI 퀀트 모델은
데이터 수집 → 예측(Transformer) → 자율 운용(RL) 까지 완성됐습니다.

이제 남은 한 단계는, 이 모든 모델을
**“지속적으로 학습하고, 평가하고, 배포하는 자동화된 MLOps 시스템”**으로 만드는 것입니다.

---

🎯 이번 글의 목표

MLflow를 이용해 모델 실험, 성능 검증, 버전 관리, 자동 배포까지 연결

---

⚙️ 1️⃣ 핵심 구성도

📊 PostgreSQL    →  데이터 저장  
🤖 MLflow        →  모델 학습 및 버전 관리  
🐳 Docker        →  모델 서빙 환경 통합  
📈 Streamlit     →  실시간 모니터링 대시보드  

이제 단순한 “실험용 코드”가 아니라
운용 가능한 AI 투자 플랫폼으로 진화합니다.

---

🧱 2️⃣ MLflow 설치 및 서버 실행

pip install mlflow psycopg2-binary

MLflow는 **모델 실험 + 메트릭 + 아티팩트(모델파일)**을 저장합니다.

mlflow server \
    --backend-store-uri postgresql://quant_user:quant_pass@localhost:5432/mlflow \
    --default-artifact-root ./mlruns \
    --host 0.0.0.0 --port 5001

이제 http://localhost:5001 에서 MLflow UI에 접속 가능합니다.

---

🧩 3️⃣ MLflow 트래킹 코드 추가

Transformer 또는 RL 모델 학습 코드에 아래처럼 추가하면
각 실험이 MLflow에 자동으로 기록됩니다.

import mlflow
import mlflow.pytorch

mlflow.set_tracking_uri("http://localhost:5001")
mlflow.set_experiment("quant_ai_experiments")

with mlflow.start_run():
    model = FactorTransformer(input_dim=4)
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    criterion = nn.MSELoss()

    for epoch in range(50):
        pred = model(X)
        loss = criterion(pred, y.mean(dim=1, keepdim=True))
        optimizer.zero_grad(); loss.backward(); optimizer.step()

    mlflow.log_metric("loss", loss.item())
    mlflow.pytorch.log_model(model, "model")
    print("✅ 모델 저장 완료:", mlflow.active_run().info.run_uuid)

---

🧮 4️⃣ 모델 버전 관리

반응형

MLflow는 각 학습 실행(run)마다 자동으로 다음을 저장합니다:

항목 설명

Parameters	학습 하이퍼파라미터 (lr, epoch 등)
Metrics	성능 지표 (loss, R², Sharpe 등)
Artifacts	학습된 모델 파일 (.pt, .pkl 등)
Tags	버전 정보 (e.g. model_type=transformer, phase=prod)

👉 이렇게 하면 과거 실험을 다시 불러오거나,
“성공한 모델만 프로덕션에 배포”할 수 있습니다.

---

🚀 5️⃣ Docker를 이용한 모델 서빙

🐳 Dockerfile

FROM python:3.11-slim
WORKDIR /app
COPY . .
RUN pip install mlflow torch flask
CMD ["mlflow", "models", "serve", "-m", "models:/quant_ai/latest", "-h", "0.0.0.0", "-p", "6000"]

🚀 모델 배포

mlflow models serve -m models:/quant_ai/Production -p 6000

API 엔드포인트 예시:

curl -X POST http://localhost:6000/invocations \
    -H "Content-Type: application/json" \
    -d '{"inputs": [[0.02, 0.01, -0.03, 0.04]]}'

→ 예측 결과(JSON)으로 반환됩니다.

---

🧩 6️⃣ Streamlit 실시간 모니터링

# monitor.py
import streamlit as st
import pandas as pd
import requests

API_URL = "http://localhost:6000/invocations"

st.title("📊 Quant AI Monitoring Dashboard")

inputs = st.text_input("Enter factor vector (comma-separated):", "0.02,0.01,-0.03,0.04")
x = [[float(i) for i in inputs.split(",")]]

if st.button("Predict"):
    response = requests.post(API_URL, json={"inputs": x})
    st.json(response.json())

# 최근 학습 로그 표시
logs = pd.read_csv("./mlruns/meta.yaml", sep=":")
st.subheader("Recent Training Metadata")
st.code(logs.head().to_string())

이 Streamlit 대시보드는 실시간 추론 결과 + 모델 버전 정보를 동시에 보여줍니다.

---

🧠 7️⃣ MLOps 워크플로우 자동화

단계 도구 설명

데이터 수집	Airflow / APScheduler	정기 수집
모델 학습	MLflow	실험 및 버전 관리
검증	pytest + MLflow metrics	자동 성능 테스트
배포	Docker + MLflow Serve	API 배포
모니터링	Streamlit + Slack	실시간 감시 및 알림

---

🧰 8️⃣ 운영 자동화 (예시 코드)

# 하루 1회 자동 학습 + MLflow 기록
0 6 * * * python train_model.py
# 배포 자동 갱신
0 7 * * * mlflow models serve -m models:/quant_ai/Production -p 6000

cron 스케줄을 걸면, 매일 새 데이터를 학습하고
성능이 일정 기준 이상이면 자동으로 “Production” 태그로 승격됩니다.

---

🧩 9️⃣ MLflow → Slack 알림 연결

def notify_slack(msg):
    requests.post(os.getenv("SLACK_WEBHOOK_URL"), json={"text": f"🚀 {msg}"})

if loss.item() < 0.002:
    mlflow.register_model(f"runs:/{mlflow.active_run().info.run_id}/model", "quant_ai")
    notify_slack(f"새로운 모델이 프로덕션으로 배포되었습니다.")

이렇게 하면 성능이 개선된 모델만 자동으로 배포되고,
Slack으로 배포 성공 메시지가 바로 옵니다.

---

📌 정리

단계 기능 도구

1	모델 실험·버전 관리	MLflow
2	모델 자동 배포	Docker + MLflow Serve
3	성능 모니터링	Streamlit
4	자동 알림	Slack
5	지속적 학습	Cron / Airflow

---

📘 다음 글 예고

다음 편에서는 **“AI 퀀트 운영 자동화 완성 – Airflow DAG으로 전체 파이프라인 통합”**을 다룹니다.
즉, 데이터 수집 → 학습 → 검증 → 리포트 → 배포까지 전 과정을
하나의 DAG(Directed Acyclic Graph) 로 자동화합니다.

---

 

MLflow,퀀트AI,모델버전관리,파이썬MLOps,자동배포,Streamlit,PostgreSQL,도커모델서빙,딥러닝운용,AI투자