TwentyTwentyOne

로컬 LLM + RAG 기반 AI 채팅봇 만들기8.2 추가 기능 및 향후 발전 방향이번 장에서는 프로젝트를 확장할 수 있는 추가 기능과 미래 발전 가능성을 살펴보겠습니다.현재 구축된 챗봇을 더 발전시키기 위해 성능 개선, AI 모델 업데이트, 새로운 기술 도입 등의 전략을 고민해 봅니다.1) 고급 검색 기능 추가 (강화된 RAG 적용)✅ ① 현재 RAG 검색 방식의 한계현재 FAISS 기반 벡터 검색 엔진을 활용하여 문서를 검색하지만,→ 정확도가 부족할 수 있으며 대량의 문서 검색 시 속도가 저하될 수 있음더 정교한 검색이 필요할 경우 하이브리드 검색 기법 적용 가능✅ ② 하이브리드 검색 (벡터 검색 + 키워드 검색 결합)벡터 검색(FAISS) + Elasticsearch 키워드 검색을 함께 사용하여 더..

로컬 LLM + RAG 기반 AI 채팅봇 만들기7.2 데이터베이스 성능 최적화이제 AI 챗봇의 데이터베이스 성능을 최적화하여 쿼리 실행 속도를 향상시키겠습니다.PostgreSQL을 기반으로 쿼리 성능 튜닝, 캐싱, 파티셔닝, 인덱스 최적화 등의 기법을 적용하여대규모 데이터 환경에서도 원활한 서비스를 제공할 수 있도록 최적화합니다.1) 데이터베이스 성능 저하 요인 분석✅ 데이터베이스 성능이 저하되는 주요 원인대량의 대화 기록 저장 및 조회 시 응답 속도 저하비효율적인 SQL 쿼리 및 잘못된 인덱스 설정동일한 요청이 반복적으로 발생하면서 불필요한 DB 부하 발생대화 기록이 지속적으로 증가하면서 테이블 크기 비대화2) 쿼리 성능 튜닝 (EXPLAIN ANALYZE 활용)✅ ① 느린 쿼리 분석PostgreSQL..

로컬 LLM + RAG 기반 AI 채팅봇 만들기7.1 API 응답 속도 개선이제 배포가 완료되었으므로, AI 챗봇의 응답 속도를 최적화하여 사용자 경험을 향상시키겠습니다.이번 단계에서는 LLM 모델 최적화 및 비동기 처리 최적화를 적용하여 API 성능을 개선하는 방법을 살펴봅니다.1) API 응답 속도를 저하시킬 수 있는 요소✅ 주요 성능 저하 요인LLM 모델 호출 지연 → Llama3 모델 응답 시간이 길어질 수 있음비효율적인 데이터베이스 쿼리 → 대화 기록을 조회할 때 성능 저하 가능비동기 처리 부족 → API 응답을 동기 방식으로 처리하면 대기 시간이 증가2) LLM 모델 최적화 (양자화 모델 활용)✅ ① 양자화(Quantization)란?LLM 모델을 경량화하여 메모리 사용량을 줄이고, 실행 속도..

로컬 LLM + RAG 기반 AI 채팅봇 만들기6.3 배포 후 점검 사항이제 Ktor 백엔드와 SvelteKit 프론트엔드를 배포 완료했습니다.이번 단계에서는 배포된 서비스의 정상 동작 여부를 확인하고, 모니터링 및 에러 대응 전략을 구축하겠습니다.1) 배포 후 확인해야 할 사항✅ ① 프론트엔드와 백엔드 연결 확인브라우저에서 배포된 프론트엔드 URL에 접속AI 챗봇과 대화 시도API 호출이 정상적으로 동작하는지 개발자 도구(DevTools)에서 확인fetch("https://backend-url.com/api/chat/send", { method: "POST", headers: { "Content-Type": "application/json" }, body: JSON.stringify({..

로컬 LLM + RAG 기반 AI 채팅봇 만들기6.1 백엔드 Docker 컨테이너화 및 배포이제 Ktor 기반의 백엔드 서버를 Docker 컨테이너로 패키징하여 배포 가능하도록 설정합니다.Docker를 활용하면 환경에 관계없이 쉽게 배포하고, 운영 중인 서버를 일관성 있게 유지할 수 있습니다.1) Docker를 사용하는 이유✅ Docker 배포의 장점환경 일관성 유지 → 운영 체제(OS)와 관계없이 동일한 환경에서 실행 가능간편한 배포 → 컨테이너 이미지를 사용하면 배포가 용이확장성 향상 → 여러 컨테이너를 병렬 실행하여 성능 확장 가능2) Docker 설치 및 기본 설정✅ ① Docker 설치Windows / Mac: Docker 공식 사이트에서 설치Linux (Ubuntu):sudo apt updat..

로컬 LLM + RAG 기반 AI 채팅봇 만들기5.3 WebSocket 테스트 (웹 브라우저 콘솔 활용)이제 WebSocket을 활용하여 AI 챗봇과 실시간으로 메시지를 주고받는 기능이 정상적으로 동작하는지 테스트해야 합니다.이번 단계에서는 웹 브라우저 콘솔 및 Postman을 사용하여 WebSocket이 정상적으로 연결되고 메시지를 주고받을 수 있는지 검증하겠습니다.1) WebSocket 테스트의 중요성✅ WebSocket 테스트가 필요한 이유WebSocket 연결이 정상적으로 이루어지는지 확인사용자가 메시지를 입력했을 때, 서버에서 올바른 응답을 반환하는지 검증WebSocket이 다중 사용자 환경에서도 안정적으로 작동하는지 테스트서버가 WebSocket 연결을 안정적으로 유지하며, 비정상 종료 시 복..

로컬 LLM + RAG 기반 AI 채팅봇 만들기5.2 API 테스트 (Postman 사용)이제 RESTful API가 정상적으로 동작하는지 검증하기 위해,Postman을 활용하여 API 테스트를 진행하겠습니다.1) API 테스트의 중요성✅ API 테스트가 필요한 이유프론트엔드와 백엔드가 정상적으로 연동되는지 확인WebSocket과 RESTful API가 제대로 동작하는지 검증API 요청 및 응답 데이터를 예상대로 반환하는지 테스트2) Postman 설치 및 기본 설정✅ ① Postman 다운로드 및 설치Postman 공식 웹사이트: https://www.postman.com/운영체제에 맞는 버전을 다운로드하고 설치3) Postman을 이용한 API 테스트✅ ① AI 챗봇 메시지 전송 테스트 (POST /..

로컬 LLM + RAG 기반 AI 채팅봇 만들기5.1 챗봇 API 설계이제 백엔드와 프론트엔드가 WebSocket을 통해 실시간으로 통신할 수 있도록 구현했습니다.이번 단계에서는 RESTful API를 활용하여 챗봇 기능을 확장하고, API 문서화를 진행하겠습니다.1) 챗봇 API 설계 개요✅ 왜 REST API를 추가해야 하는가?WebSocket은 실시간 메시지 전송에 적합하지만 대화 이력 조회 및 관리 기능이 부족RESTful API를 통해 대화 이력을 저장하고, 특정 세션의 대화를 불러오는 기능 추가API 문서화를 진행하여 프론트엔드 및 외부 시스템과의 연동을 쉽게 지원2) API 엔드포인트 설계📌 챗봇 관련 API 엔드포인트HTTP 메서드 엔드포인트 설명POST/api/chat/send메시지 전..

로컬 LLM + RAG 기반 AI 채팅봇 만들기4.3 WebSocket을 활용한 실시간 채팅 기능 구현이제 프론트엔드에서 사용자가 입력한 메시지를 WebSocket을 통해 백엔드(Ktor)로 전송하고,AI 챗봇의 응답을 받아 실시간으로 화면에 표시하는 기능을 구현하겠습니다.1) WebSocket을 활용한 실시간 채팅 흐름1️⃣ [사용자] 웹 UI에서 메시지를 입력 2️⃣ [프론트엔드] WebSocket을 통해 메시지를 백엔드(Ktor)로 전송 3️⃣ [백엔드] AI 챗봇이 메시지를 받아 LLM 모델에 요청 4️⃣ [백엔드] LLM 응답을 받아 WebSocket을 통해 클라이언트로 전송 5️⃣ [프론트엔드] AI 응답을 받아 채팅 UI에 표시 2) WebSocket을 통한 메시지 전송 및 응답 처..

로컬 LLM + RAG 기반 AI 채팅봇 만들기4.2 챗봇 UI 설계 및 Tailwind CSS 적용이제 SvelteKit을 활용하여 사용자가 AI 챗봇과 직접 상호작용할 수 있는 UI를 설계하고 구현합니다.이번 단계에서는 채팅 인터페이스의 디자인을 정의하고, Tailwind CSS를 적용하여 스타일을 구성합니다.1) 챗봇 UI 설계 개요✅ 요구사항 정의1️⃣ 실시간 채팅 인터페이스 구현2️⃣ 사용자가 입력한 메시지를 WebSocket을 통해 서버로 전송3️⃣ 서버에서 AI 응답을 받아 채팅 화면에 표시4️⃣ Tailwind CSS를 활용하여 UI 스타일링✅ 챗봇 UI 와이어프레임┌──────────────────────────┐│ AI Chatbot │├──────────────..