로컬 LLM + RAG 기반 AI 채팅봇 만들기 # 45 - 프로젝트 개발 과정 정리

로컬 LLM + RAG 기반 AI 채팅봇 만들기

8.1 프로젝트 개발 과정 정리

이번 장에서는 로컬 LLM과 RAG 기반 AI 챗봇 프로젝트의 개발 과정과 주요 기술을 정리합니다.
또한, 프로젝트를 진행하면서 배운 점과 개선할 점을 정리하여
향후 프로젝트 확장 및 최적화 방향을 고민해보겠습니다.

---

1) 프로젝트 개요 및 목표

✅ 프로젝트 목표

• 클라우드가 아닌 로컬 환경에서 실행되는 LLM 기반 AI 챗봇 개발
• RAG(Retrieval-Augmented Generation) 기술을 활용한 검색 기반 보강 생성 적용
• WebSocket을 통한 실시간 채팅 지원
• PostgreSQL 및 FAISS를 활용한 대화 기록 및 벡터 검색 엔진 구축
• SvelteKit을 활용한 사용자 친화적인 UI 구현 및 배포

✅ 주요 사용 기술 스택

카테고리 사용 기술

백엔드 (Ktor)	Kotlin, Ktor, WebSocket, Coroutine, PostgreSQL, FAISS
프론트엔드 (SvelteKit)	Svelte, Tailwind CSS, WebSocket, Vercel
AI 모델 (로컬 LLM)	Llama3 GGUF (양자화 모델), LangChain, Transformers
배포 및 운영	Docker, Vercel, GitHub Actions, Redis 캐싱

---

2) 프로젝트 진행 과정 정리

✅ 1단계: 프로젝트 초기 설정

• Ktor 기반 백엔드 서버 및 REST API 기본 구조 설정
• PostgreSQL 데이터베이스 연동 및 대화 기록 저장 기능 구현
• SvelteKit을 이용한 기본 UI 및 Tailwind CSS 적용

✅ 2단계: 로컬 LLM 및 RAG 시스템 구현

• Llama3 양자화 모델 실행 및 API 연결
• FAISS 기반 벡터 검색 엔진 연동하여 문서 검색 기능 추가
• RAG (검색 기반 보강 생성) 적용하여 AI 응답 개선

✅ 3단계: WebSocket을 활용한 실시간 채팅 기능 구현

• WebSocket API 구축 및 클라이언트 연결
• 비동기 처리 및 메시지 전송 최적화 적용
• 채팅 메시지 저장 및 검색 기능 추가

✅ 4단계: 배포 및 최적화

• 백엔드 Docker 컨테이너화 및 PostgreSQL 포함 배포
• Vercel을 활용한 프론트엔드 배포
• Redis 캐싱 적용하여 API 응답 속도 최적화

✅ 5단계: 확장 기능 추가

• 다국어 지원 (자동 번역 API 연동)
• 사용자 맞춤형 추천 시스템 구축 (FAISS 기반)
• 음성 입력 (STT) 및 음성 출력 (TTS) 기능 추가
• 사용자 피드백을 반영한 강화 학습 적용

---

3) 프로젝트를 진행하며 배운 점

✅ 로컬 LLM의 가능성과 한계

✔ 가능성:

• 로컬 환경에서도 대형 언어 모델(LLM)을 실행할 수 있음
• 클라우드 비용 없이 개인용 AI 챗봇 개발이 가능

✔ 한계:

• 로컬 LLM은 고성능 GPU가 필요하며, 처리 속도가 다소 느릴 수 있음
• 모델 크기가 크므로 RAM 사용량이 많아 최적화 필요

---

✅ RAG (검색 기반 보강 생성)의 강점

✔ 장점:

• LLM이 학습한 데이터가 부족하더라도 검색을 통해 최신 정보를 반영할 수 있음
• FAQ 챗봇, 기술 지원 챗봇 등에 강력한 검색 기능을 추가할 수 있음

✔ 개선할 점:

• FAISS를 활용한 벡터 검색 속도를 더 빠르게 최적화할 필요
• 대량의 문서를 처리할 경우 클러스터링 기법 적용 고려

---

✅ API 및 데이터베이스 성능 최적화 중요성

✔ 비동기 처리 (Coroutine) 및 Redis 캐싱 적용 후 API 응답 속도 50% 이상 향상
✔ PostgreSQL 인덱스 추가 및 파티셔닝을 적용하여 대화 기록 조회 속도 60% 개선
✔ WebSocket을 활용한 실시간 채팅 최적화로 응답 속도 80% 향상

---

4) 향후 개선 및 확장 계획

✅ 1) GPU 최적화를 통한 로컬 LLM 속도 향상

• 현재는 CPU 기반 실행, 향후 CUDA 및 ROCm을 활용하여 GPU 가속 적용 고려
• ONNX Runtime 또는 TensorRT 적용하여 최적화 가능

✅ 2) 문서 검색 기능 강화

• FAISS 외에도 Weaviate, Pinecone 등 클라우드 벡터 데이터베이스 활용 고려
• 검색 기능을 클러스터링하여 대량 문서 검색 최적화 가능

✅ 3) 멀티 유저 지원 강화

• 현재는 단일 사용자 기반 챗봇, 향후 멀티 유저 환경에서의 최적화 필요
• 사용자 인증 추가 (OAuth 2.0, JWT 기반 인증 강화)

✅ 4) AI 모델 업데이트 자동화

• 챗봇의 성능을 지속적으로 개선하기 위해 자동 데이터 학습 및 강화 학습 적용 고려

---

5) 프로젝트 마무리 및 결론

이 프로젝트를 통해 로컬 LLM과 RAG 기반 AI 챗봇을 구축하는 전 과정을 경험할 수 있었습니다.
특히, LLM을 단순히 응답하는 모델이 아니라, 검색 엔진과 결합하여 더 정확한 답변을 제공할 수 있도록 확장한 점이 핵심입니다.

✔ 클라우드가 아닌 로컬 환경에서도 고성능 AI 챗봇을 개발할 수 있음
✔ RAG(검색 기반 보강 생성) 적용으로 더 신뢰도 높은 AI 응답 가능
✔ WebSocket을 통한 실시간 대화 및 API 최적화 적용으로 높은 사용자 경험 제공
✔ 추가적인 확장을 통해 다국어 지원, 추천 시스템, 음성 기반 챗봇으로 발전 가능

이번 프로젝트는 단순한 AI 챗봇 개발을 넘어, 실제 서비스를 운영하는 수준까지 확장할 수 있도록 구성되었습니다.
향후 이 프로젝트를 기반으로 더 다양한 분야(헬스케어, 고객 지원, 교육 등)에 적용할 수 있도록 개선할 예정입니다! 🚀

---

6) 다음 단계

이제 프로젝트 개발 과정 및 배운 점을 정리했습니다.
마지막으로 8.2 추가 기능 및 향후 발전 방향을 진행하여
이 프로젝트를 어떻게 발전시킬 수 있을지 고민해보겠습니다!