TwentyTwentyOne

로컬 LLM + RAG 기반 AI 채팅봇 만들기FAISS 기반 벡터 검색과 LLM 응답 결합을 성공적으로 구현했다면, 이제 검색 성능을 모니터링하고 최적화하는 단계로 넘어가야 합니다.이번 단계에서는 FAISS 및 LLM의 검색 성능을 측정하는 방법과 성능을 개선하는 기법을 다룹니다.1) 검색 성능 모니터링이 중요한 이유✅ 벡터 검색 성능을 측정해야 하는 이유검색 속도가 느려지면 실시간 응답이 어렵고 사용자 경험 저하대규모 데이터에서 FAISS 인덱스가 최적화되지 않으면 과부하 발생검색된 문서가 부정확하면 AI 응답의 신뢰도 하락✅ LLM 응답 속도 최적화 필요성LLM이 검색된 문서를 처리하는 속도가 사용자 경험에 직접적인 영향입력 문맥을 최적화하면 불필요한 LLM 처리 비용 감소검색 결과의 문맥 적합도를..

로컬 LLM + RAG 기반 AI 채팅봇 만들기FAISS를 활용하여 검색된 문서를 로컬 LLM (Llama 3)과 결합하여 더욱 정확한 응답을 생성하는 과정을 구현합니다.이 과정에서 RAG (Retrieval-Augmented Generation) 기법을 적용하여 검색된 문서를 기반으로 LLM이 답변을 생성하도록 만듭니다.1) 검색된 문서 + LLM 결합 방식✅ 기존 LLM 방식의 문제점LLM 단독으로 응답을 생성할 경우, 사전 학습된 데이터만 사용최신 정보가 포함되지 않아 정확성이 낮을 수 있음문맥과 관련 없는 답변이 생성될 가능성 있음✅ RAG 적용 후 기대 효과검색된 문서를 참고하여 LLM이 보다 정확한 응답 생성최신 정보를 포함할 수 있어 업데이트된 답변 제공 가능불필요한 환각(Hallucinat..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 – 3.2.3 Next.js의 데이터 페칭 전략 (App Router 방식)이번 글에서는 Next.js 13+ App Router에서 데이터를 가져오는 방법과 함께 React Query 사용 시 발생하는 No QueryClient set 오류를 해결하는 방법을 다룹니다.✅ 서버 컴포넌트 및 클라이언트 컴포넌트에서 데이터 패칭을 수행하는 최적의 방법을 설명합니다.✅ React Query에서 QueryClientProvider를 올바르게 설정하는 방법을 실습합니다.📌 1. Next.js 13+ App Router에서의 데이터 패칭 개요Next.js 13+ App Router에서는 서버 컴포넌트와 클라이언트 컴포넌트를 명확하게 구분해야 합니다.서버 사이드..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 벡터 임베딩 저장 및 검색 구현이번 글에서는 pgvector를 활용하여 FastAPI에서 벡터 데이터를 저장하고 유사도 검색을 수행하는 방법을 다룹니다.✅ LangChain을 사용한 벡터 임베딩 생성 → 벡터 데이터를 PostgreSQL에 저장 → 유사도 검색을 통한 RAG 구현 순서로 진행됩니다.📌 1. PostgreSQL에 벡터 저장을 위한 테이블 생성📌 PostgreSQL 내부에서 SQL 실행CREATE TABLE IF NOT EXISTS documents ( id SERIAL PRIMARY KEY, content TEXT NOT NULL, embedding vector(768) NOT NULL -- 768차원 벡..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.3.2 Docker를 활용한 PostgreSQL 및 pgvector 설정이번 글에서는 Docker를 사용하여 PostgreSQL 및 pgvector를 설치하고 설정하는 방법을 다룹니다.✅ Docker로 PostgreSQL + pgvector 컨테이너 실행 → PostgreSQL 환경 설정 → FastAPI에서 PostgreSQL 연결 순서로 진행됩니다.📌 1. Docker를 활용하는 이유PostgreSQL 및 pgvector를 Docker로 실행하면 다음과 같은 장점이 있습니다.✅ 빠른 설치 및 실행 → 시스템에 직접 설치하지 않아도 간편하게 컨테이너 실행✅ 환경 격리 → 개발 환경과 운영 환경을 분리하여 충돌 방지✅ 손쉬운 유지보수 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 –  PostgreSQL 및 pgvector 개요이번 글에서는 PostgreSQL과 pgvector의 개념과 역할을 설명하고, FastAPI에서 pgvector를 활용하는 방법을 다룹니다.✅ PostgreSQL이란? → pgvector의 개념과 역할 → FastAPI에서 pgvector 활용 방법 순서로 진행됩니다.📌 1. PostgreSQL이란?✅ PostgreSQL 개요PostgreSQL은 **오픈소스 관계형 데이터베이스(RDBMS)**로, 높은 확장성과 성능을 제공하는 데이터베이스 시스템입니다.💡 특히 대규모 데이터 처리, JSON 지원, 트랜잭션 안정성 등이 뛰어나 많은 애플리케이션에서 사용됩니다.✅ PostgreSQL의 주요 특징:..