TwentyTwentyOne

로컬 LLM + RAG 기반 AI 채팅봇 만들기3.5.3 데이터 정규화 및 성능 최적화이제 PostgreSQL을 활용하여 대화 기록을 저장하고 조회하는 기능을 구현했습니다.하지만 데이터가 많아질수록 저장 및 검색 속도가 느려질 수 있기 때문에 성능 최적화가 필요합니다.이번 단계에서는 데이터 정규화 및 성능 최적화 기법을 적용하여보다 빠르고 효율적인 대화 기록 관리 시스템을 구축하겠습니다.1) 데이터 정규화란?데이터 정규화(Normalization)는 중복을 최소화하고 데이터 일관성을 유지하기 위한 데이터베이스 설계 기법입니다.이를 통해 데이터 저장 공간을 절약하고 검색 속도를 최적화할 수 있습니다.✅ 기존 대화 기록 테이블의 문제점user_id가 여러 테이블에 중복 저장됨 → 사용자 테이블과 참조 관계 ..

로컬 LLM + RAG 기반 AI 채팅봇 만들기FAISS 기반 벡터 검색과 LLM 응답 결합을 성공적으로 구현했다면, 이제 검색 성능을 모니터링하고 최적화하는 단계로 넘어가야 합니다.이번 단계에서는 FAISS 및 LLM의 검색 성능을 측정하는 방법과 성능을 개선하는 기법을 다룹니다.1) 검색 성능 모니터링이 중요한 이유✅ 벡터 검색 성능을 측정해야 하는 이유검색 속도가 느려지면 실시간 응답이 어렵고 사용자 경험 저하대규모 데이터에서 FAISS 인덱스가 최적화되지 않으면 과부하 발생검색된 문서가 부정확하면 AI 응답의 신뢰도 하락✅ LLM 응답 속도 최적화 필요성LLM이 검색된 문서를 처리하는 속도가 사용자 경험에 직접적인 영향입력 문맥을 최적화하면 불필요한 LLM 처리 비용 감소검색 결과의 문맥 적합도를..

로컬 LLM + RAG 기반 AI 채팅봇 만들기FAISS를 활용하여 검색된 문서를 로컬 LLM (Llama 3)과 결합하여 더욱 정확한 응답을 생성하는 과정을 구현합니다.이 과정에서 RAG (Retrieval-Augmented Generation) 기법을 적용하여 검색된 문서를 기반으로 LLM이 답변을 생성하도록 만듭니다.1) 검색된 문서 + LLM 결합 방식✅ 기존 LLM 방식의 문제점LLM 단독으로 응답을 생성할 경우, 사전 학습된 데이터만 사용최신 정보가 포함되지 않아 정확성이 낮을 수 있음문맥과 관련 없는 답변이 생성될 가능성 있음✅ RAG 적용 후 기대 효과검색된 문서를 참고하여 LLM이 보다 정확한 응답 생성최신 정보를 포함할 수 있어 업데이트된 답변 제공 가능불필요한 환각(Hallucinat..