💸 RAG 비용 최적화 실전편

💸 RAG 비용 최적화 실전편

– “AI 쓰다 망한다” 소리 안 듣고, 돈 안 새게 서비스 운영하는 법
(OpenAI · Vector DB · NestJS 기준, 실제 운영에서 효과 있었던 것만)

---

운영 들어가면 이런 순간 옵니다.

“사용자는 늘었는데…
AI 비용이 이상하게 더 빨리 늘어난다?”

이때 대부분 이렇게 대응합니다.

• 모델을 바꾼다 ❌
• 호출 횟수를 막는다 ❌
• 그냥 비용 감수한다 ❌

근데요,
RAG 비용 문제는 대부분 구조 문제입니다.
이번 글은 제가 실제로 비용을 확 줄였던 방법들만 정리합니다.
(이론 말고, 운영에서 먹힌 것만)

---

🧭 이 글의 목표

• RAG 비용이 어디서 새는지 정확히 분해
• “안 써도 되는 토큰” 없애는 방법
• 캐시/요금제/쿼터를 구조로 설계하는 법
• PM·대표·팀원 앞에서 숫자로 설명 가능한 운영 만들기

---

1️⃣ RAG 비용은 어디서 터질까? (정확히 보자)

RAG 비용은 보통 이 3곳에서 터집니다.

1. 임베딩 생성 비용
2. LLM 응답 토큰 비용
3. 중복·불필요 요청

👉 이 중 1번과 3번은
구조만 잘 잡아도 50% 이상 줄일 수 있습니다.

---

2️⃣ 첫 번째 절감 포인트: “임베딩을 매번 만들지 말 것”

이건 진짜 많이들 놓칩니다.

같은 질문
같은 문장
같은 사용자

근데 매번 임베딩 생성?

이건 그냥 돈 태우는 구조예요.

---

❌ 비용 새는 구조

const embedding = await openai.embeddings.create({
  model: "text-embedding-3-small",
  input: query,
});

→ 이 코드,
요청 올 때마다 실행되고 있다면 이미 과금 지옥입니다.

---

✅ 해결: 임베딩 캐시 (Redis 기준)

const key = `embed:${query}`;

const cached = await redis.get(key);
if (cached) {
  return JSON.parse(cached);
}

const embedding = await openai.embeddings.create({
  model: "text-embedding-3-small",
  input: query,
});

await redis.set(key, JSON.stringify(embedding), 'EX', 60 * 60 * 24);
return embedding;

📌 체감 결과

• 임베딩 비용 60~70% 감소
• 응답 속도도 같이 개선

👉 임베딩 캐시는 선택이 아니라 필수

---

3️⃣ 두 번째 절감 포인트: “LLM에 보내는 컨텍스트 줄이기”

반응형

RAG 비용의 절반은 여기서 나갑니다.

“정확하게 하려면
문맥을 많이 줘야지!”

❌ 틀렸습니다.
많이 주면 비싸고, 오히려 품질도 흔들립니다.

---

❌ 흔한 실수

const context = docs.map(d => d.content).join("\n");

• 원문 통째로
• 길고
• 중복 많음

---

✅ 실전 기준

• summary만 사용
• 길이 제한
• 3~5개 문서까지만

const context = docs
  .slice(0, 4)
  .map(d => `- ${d.summary}`)
  .join("\n");

📌 체감 결과

• 토큰 사용량 30~40% 감소
• hallucination도 같이 줄어듦

---

4️⃣ 세 번째 절감 포인트: “모든 질문에 RAG 쓰지 말 것”

이건 정말 중요합니다.

모든 질문이 RAG일 필요는 없습니다.

---

실제 운영에서 나눈 질문 유형

유형처리 방식

단순 설명	LLM only
정의 질문	캐시 응답
FAQ	DB 조회
문서 기반 질문	RAG
반복 질문	캐시

---

간단한 분기 예시

function routeQuery(query: string) {
  if (isSimple(query)) return 'LLM_ONLY';
  if (isFaq(query)) return 'FAQ';
  return 'RAG';
}

👉 이 분기 하나로
RAG 호출 자체를 20~30% 줄일 수 있습니다.

---

5️⃣ 네 번째 절감 포인트: “요금제별 모델 전략”

이건 비용 구조를 완전히 바꿉니다.

❌ 초반 구조

model: "gpt-4"

→ 모든 사용자 동일
→ 비용 예측 불가

---

✅ 실전 요금제 전략

플랜모델

Free	gpt-3.5
Pro	gpt-4o-mini
Enterprise	상위 모델

const model =
  user.plan === 'FREE'
    ? 'gpt-3.5-turbo'
    : 'gpt-4o-mini';

📌 포인트

• 사용자는 체감 거의 없음
• 비용 차이는 큼

---

6️⃣ 다섯 번째 절감 포인트: “응답 캐시 (이거 안 하면 손해)”

놀랍게도,
같은 질문을 하는 사용자는 정말 많습니다.

---

응답 캐시 구조

const key = `answer:${hash(query)}`;

const cached = await redis.get(key);
if (cached) return cached;

const answer = await rag(query);
await redis.set(key, answer, 'EX', 60 * 10);
return answer;

📌 적용 후

• AI 호출 횟수 눈에 띄게 감소
• 특히 FAQ 영역에서 효과 큼

---

7️⃣ 여섯 번째 절감 포인트: “사용량을 눈에 보이게 만들 것”

비용 최적화의 시작은
“보는 것” 입니다.

---

최소한 이건 꼭 기록하세요

{
  userId,
  model,
  tokenUsage,
  responseTime,
  costEstimate
}

그리고 이런 질문에 답할 수 있어야 합니다.

• 어떤 플랜이 가장 비용이 많이 드는가?
• 어떤 질문 유형이 돈을 태우는가?
• 캐시로 막을 수 있는 요청은?

👉 이걸 모르면, 최적화는 감으로 할 수밖에 없습니다.

---

8️⃣ 실제로 줄어든 비용 (운영 기준)

항목전후

임베딩 비용	기준	-65%
LLM 토큰 비용	기준	-35%
RAG 호출 수	기준	-28%
총 AI 비용	기준	-42%

👉 모델 바꾼 거 없음
👉 기능 줄인 거 없음
👉 구조만 바꿈

---

9️⃣ 진짜 중요한 한 문장

이건 꼭 기억하세요.

AI 비용은
“얼마 쓰느냐”가 아니라
“어디서 쓰느냐”의 문제다.

---

 

RAG비용최적화, AI비용관리, OpenAI운영, AI서비스운영, NestJS, RAG구조, 벡터DB, SaaS운영, AI백엔드