TwentyTwentyOne

로컬 LLM + RAG 기반 AI 채팅봇 만들기8.2 추가 기능 및 향후 발전 방향이번 장에서는 프로젝트를 확장할 수 있는 추가 기능과 미래 발전 가능성을 살펴보겠습니다.현재 구축된 챗봇을 더 발전시키기 위해 성능 개선, AI 모델 업데이트, 새로운 기술 도입 등의 전략을 고민해 봅니다.1) 고급 검색 기능 추가 (강화된 RAG 적용)✅ ① 현재 RAG 검색 방식의 한계현재 FAISS 기반 벡터 검색 엔진을 활용하여 문서를 검색하지만,→ 정확도가 부족할 수 있으며 대량의 문서 검색 시 속도가 저하될 수 있음더 정교한 검색이 필요할 경우 하이브리드 검색 기법 적용 가능✅ ② 하이브리드 검색 (벡터 검색 + 키워드 검색 결합)벡터 검색(FAISS) + Elasticsearch 키워드 검색을 함께 사용하여 더..

로컬 LLM + RAG 기반 AI 채팅봇 만들기8.1 프로젝트 개발 과정 정리이번 장에서는 로컬 LLM과 RAG 기반 AI 챗봇 프로젝트의 개발 과정과 주요 기술을 정리합니다.또한, 프로젝트를 진행하면서 배운 점과 개선할 점을 정리하여향후 프로젝트 확장 및 최적화 방향을 고민해보겠습니다.1) 프로젝트 개요 및 목표✅ 프로젝트 목표클라우드가 아닌 로컬 환경에서 실행되는 LLM 기반 AI 챗봇 개발RAG(Retrieval-Augmented Generation) 기술을 활용한 검색 기반 보강 생성 적용WebSocket을 통한 실시간 채팅 지원PostgreSQL 및 FAISS를 활용한 대화 기록 및 벡터 검색 엔진 구축SvelteKit을 활용한 사용자 친화적인 UI 구현 및 배포✅ 주요 사용 기술 스택카테고리 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 벡터 임베딩 저장 및 검색 구현이번 글에서는 pgvector를 활용하여 FastAPI에서 벡터 데이터를 저장하고 유사도 검색을 수행하는 방법을 다룹니다.✅ LangChain을 사용한 벡터 임베딩 생성 → 벡터 데이터를 PostgreSQL에 저장 → 유사도 검색을 통한 RAG 구현 순서로 진행됩니다.📌 1. PostgreSQL에 벡터 저장을 위한 테이블 생성📌 PostgreSQL 내부에서 SQL 실행CREATE TABLE IF NOT EXISTS documents ( id SERIAL PRIMARY KEY, content TEXT NOT NULL, embedding vector(768) NOT NULL -- 768차원 벡..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.3.2 Docker를 활용한 PostgreSQL 및 pgvector 설정이번 글에서는 Docker를 사용하여 PostgreSQL 및 pgvector를 설치하고 설정하는 방법을 다룹니다.✅ Docker로 PostgreSQL + pgvector 컨테이너 실행 → PostgreSQL 환경 설정 → FastAPI에서 PostgreSQL 연결 순서로 진행됩니다.📌 1. Docker를 활용하는 이유PostgreSQL 및 pgvector를 Docker로 실행하면 다음과 같은 장점이 있습니다.✅ 빠른 설치 및 실행 → 시스템에 직접 설치하지 않아도 간편하게 컨테이너 실행✅ 환경 격리 → 개발 환경과 운영 환경을 분리하여 충돌 방지✅ 손쉬운 유지보수 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 –  PostgreSQL 및 pgvector 개요이번 글에서는 PostgreSQL과 pgvector의 개념과 역할을 설명하고, FastAPI에서 pgvector를 활용하는 방법을 다룹니다.✅ PostgreSQL이란? → pgvector의 개념과 역할 → FastAPI에서 pgvector 활용 방법 순서로 진행됩니다.📌 1. PostgreSQL이란?✅ PostgreSQL 개요PostgreSQL은 **오픈소스 관계형 데이터베이스(RDBMS)**로, 높은 확장성과 성능을 제공하는 데이터베이스 시스템입니다.💡 특히 대규모 데이터 처리, JSON 지원, 트랜잭션 안정성 등이 뛰어나 많은 애플리케이션에서 사용됩니다.✅ PostgreSQL의 주요 특징:..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – FastAPI에서 Ollama API 호출 구현이번 글에서는 FastAPI에서 Ollama API를 호출하는 기능을 구현합니다.✅ FastAPI 엔드포인트 생성 → Ollama API 요청 코드 작성 → API 실행 및 테스트 순서로 진행됩니다.📌 1. FastAPI에서 Ollama API 호출 방식FastAPI가 Ollama API를 호출하는 방식은 다음과 같습니다.사용자 → (1) FastAPI → (2) Ollama API → (3) FastAPI 응답 → (4) 사용자에게 결과 반환1️⃣ 사용자 → FastAPI에 POST /chat/ 요청을 보냄2️⃣ FastAPI → Ollama API(http://localhost:11434/..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.2.1 FastAPI에서 Ollama API 호출 개요이번 글에서는 FastAPI와 Ollama를 연동하는 개념과 방식을 살펴봅니다.✅ Ollama API 개념 → FastAPI와 Ollama의 연동 방식 → Ollama API 활용 가능성 순서로 설명합니다.📌 1. Ollama API란?✅ Ollama 개요Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama 및 LLaMA3 모델 설정이 글에서는 Ollama를 설치하고 LLaMA3-Korean-Blossom 모델을 FastAPI와 연동하는 과정을 다룹니다.✅ Ollama 설치 → LLaMA3 모델 다운로드 → 모델 등록 및 테스트 순서로 진행됩니다.📌 1. Ollama란?Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 → LLaMA3, Mistral, ..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – LangChain 및 RAG 개념과 활용1.2.3 LangChain 및 RAG 개념 소개이번 글에서는 **LangChain과 RAG(Retrieval-Augmented Generation)**의 개념을 살펴보고, 이를 활용하여 LLM의 응답 정확도를 향상시키는 방법을 알아봅니다.1. LangChain이란?🔹 LangChain 개요LangChain은 LLM 애플리케이션을 쉽게 개발할 수 있도록 지원하는 오픈소스 프레임워크입니다.주요 역할은 LLM과 데이터베이스, 외부 API, 문서 저장소 등을 연동하여 보다 정교한 AI 애플리케이션을 구축하는 것입니다.✅ LangChain의 핵심 기능LLM과 외부 데이터 연동 (RAG 구현)LLM 응답 최적화 및..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama를 활용한 로컬 LLM 개념 및 활용1.2.2 Ollama를 활용한 로컬 LLM 개념 및 활용🔹 Ollama란?Ollama는 로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 지원하는 경량화된 오픈소스 LLM 실행 프레임워크입니다. 클라우드 없이 DeepSeek-R1, LLaMA3, Mistral, Phi-2 등 다양한 모델을 실행할 수 있으며, FastAPI와 결합하여 강력한 로컬 챗봇을 구축하는 데 최적화되어 있습니다.✅ Ollama의 주요 특징1️⃣ 로컬에서 AI 모델 실행 가능 – 데이터 유출 없이 오프라인에서 LLM을 활용2️⃣ 최적화된 모델 로딩 및 가속화 지원 – MPS(Apple Silicon), CUDA(NV..