TwentyTwentyOne

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 벡터 임베딩 저장 및 검색 구현이번 글에서는 pgvector를 활용하여 FastAPI에서 벡터 데이터를 저장하고 유사도 검색을 수행하는 방법을 다룹니다.✅ LangChain을 사용한 벡터 임베딩 생성 → 벡터 데이터를 PostgreSQL에 저장 → 유사도 검색을 통한 RAG 구현 순서로 진행됩니다.📌 1. PostgreSQL에 벡터 저장을 위한 테이블 생성📌 PostgreSQL 내부에서 SQL 실행CREATE TABLE IF NOT EXISTS documents ( id SERIAL PRIMARY KEY, content TEXT NOT NULL, embedding vector(768) NOT NULL -- 768차원 벡..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.3.2 Docker를 활용한 PostgreSQL 및 pgvector 설정이번 글에서는 Docker를 사용하여 PostgreSQL 및 pgvector를 설치하고 설정하는 방법을 다룹니다.✅ Docker로 PostgreSQL + pgvector 컨테이너 실행 → PostgreSQL 환경 설정 → FastAPI에서 PostgreSQL 연결 순서로 진행됩니다.📌 1. Docker를 활용하는 이유PostgreSQL 및 pgvector를 Docker로 실행하면 다음과 같은 장점이 있습니다.✅ 빠른 설치 및 실행 → 시스템에 직접 설치하지 않아도 간편하게 컨테이너 실행✅ 환경 격리 → 개발 환경과 운영 환경을 분리하여 충돌 방지✅ 손쉬운 유지보수 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 –  PostgreSQL 및 pgvector 개요이번 글에서는 PostgreSQL과 pgvector의 개념과 역할을 설명하고, FastAPI에서 pgvector를 활용하는 방법을 다룹니다.✅ PostgreSQL이란? → pgvector의 개념과 역할 → FastAPI에서 pgvector 활용 방법 순서로 진행됩니다.📌 1. PostgreSQL이란?✅ PostgreSQL 개요PostgreSQL은 **오픈소스 관계형 데이터베이스(RDBMS)**로, 높은 확장성과 성능을 제공하는 데이터베이스 시스템입니다.💡 특히 대규모 데이터 처리, JSON 지원, 트랜잭션 안정성 등이 뛰어나 많은 애플리케이션에서 사용됩니다.✅ PostgreSQL의 주요 특징:..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – FastAPI에서 Ollama API 호출 구현이번 글에서는 FastAPI에서 Ollama API를 호출하는 기능을 구현합니다.✅ FastAPI 엔드포인트 생성 → Ollama API 요청 코드 작성 → API 실행 및 테스트 순서로 진행됩니다.📌 1. FastAPI에서 Ollama API 호출 방식FastAPI가 Ollama API를 호출하는 방식은 다음과 같습니다.사용자 → (1) FastAPI → (2) Ollama API → (3) FastAPI 응답 → (4) 사용자에게 결과 반환1️⃣ 사용자 → FastAPI에 POST /chat/ 요청을 보냄2️⃣ FastAPI → Ollama API(http://localhost:11434/..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.2.1 FastAPI에서 Ollama API 호출 개요이번 글에서는 FastAPI와 Ollama를 연동하는 개념과 방식을 살펴봅니다.✅ Ollama API 개념 → FastAPI와 Ollama의 연동 방식 → Ollama API 활용 가능성 순서로 설명합니다.📌 1. Ollama API란?✅ Ollama 개요Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – FastAPI 프로젝트 구조 및 설정이 글에서는 FastAPI 프로젝트 구조를 설계하고, 환경 변수 설정과 PostgreSQL 연결을 설정하는 과정을 다룹니다.✅ 프로젝트 폴더 구조 → .env 설정 → PostgreSQL 연결 → FastAPI의 Dependency Injection 활용 순서로 진행됩니다.📌 1. FastAPI 프로젝트 폴더 구조 구성FastAPI 프로젝트의 구조를 체계적으로 구성하면 유지보수와 확장성이 쉬워집니다.다음과 같은 폴더 구조를 사용합니다.fastapi-llm-chatbot/│── app/│ ├── api/ # API 라우터 관리│ │ ├── v1/│ │ │ ├..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama 및 LLaMA3 모델 설정이 글에서는 Ollama를 설치하고 LLaMA3-Korean-Blossom 모델을 FastAPI와 연동하는 과정을 다룹니다.✅ Ollama 설치 → LLaMA3 모델 다운로드 → 모델 등록 및 테스트 순서로 진행됩니다.📌 1. Ollama란?Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 → LLaMA3, Mistral, ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Python 및 필수 라이브러리 설치FastAPI를 활용하여 로컬 LLM + RAG 챗봇을 개발하기 위해 필요한 Python 환경 및 필수 라이브러리를 설치하는 과정을 다룹니다.📌 1. Python 설치 및 환경 설정✅ 1️⃣ Python 버전 확인 및 설치FastAPI 및 LangChain을 사용하려면 Python 3.8 이상이 필요합니다.아래 명령어로 Python 버전을 확인하세요.python --version✅ Python이 설치되지 않은 경우공식 사이트에서 최신 버전을 다운로드하여 설치하세요.✅ Python이 이미 설치된 경우최신 버전으로 업데이트하려면:python -m ensurepip --default-pippython -m p..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – LangChain 및 RAG 개념과 활용1.2.3 LangChain 및 RAG 개념 소개이번 글에서는 **LangChain과 RAG(Retrieval-Augmented Generation)**의 개념을 살펴보고, 이를 활용하여 LLM의 응답 정확도를 향상시키는 방법을 알아봅니다.1. LangChain이란?🔹 LangChain 개요LangChain은 LLM 애플리케이션을 쉽게 개발할 수 있도록 지원하는 오픈소스 프레임워크입니다.주요 역할은 LLM과 데이터베이스, 외부 API, 문서 저장소 등을 연동하여 보다 정교한 AI 애플리케이션을 구축하는 것입니다.✅ LangChain의 핵심 기능LLM과 외부 데이터 연동 (RAG 구현)LLM 응답 최적화 및..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama를 활용한 로컬 LLM 개념 및 활용1.2.2 Ollama를 활용한 로컬 LLM 개념 및 활용🔹 Ollama란?Ollama는 로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 지원하는 경량화된 오픈소스 LLM 실행 프레임워크입니다. 클라우드 없이 DeepSeek-R1, LLaMA3, Mistral, Phi-2 등 다양한 모델을 실행할 수 있으며, FastAPI와 결합하여 강력한 로컬 챗봇을 구축하는 데 최적화되어 있습니다.✅ Ollama의 주요 특징1️⃣ 로컬에서 AI 모델 실행 가능 – 데이터 유출 없이 오프라인에서 LLM을 활용2️⃣ 최적화된 모델 로딩 및 가속화 지원 – MPS(Apple Silicon), CUDA(NV..