TwentyTwentyOne

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – FastAPI에서 Ollama API 호출 구현이번 글에서는 FastAPI에서 Ollama API를 호출하는 기능을 구현합니다.✅ FastAPI 엔드포인트 생성 → Ollama API 요청 코드 작성 → API 실행 및 테스트 순서로 진행됩니다.📌 1. FastAPI에서 Ollama API 호출 방식FastAPI가 Ollama API를 호출하는 방식은 다음과 같습니다.사용자 → (1) FastAPI → (2) Ollama API → (3) FastAPI 응답 → (4) 사용자에게 결과 반환1️⃣ 사용자 → FastAPI에 POST /chat/ 요청을 보냄2️⃣ FastAPI → Ollama API(http://localhost:11434/..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 2.2.1 FastAPI에서 Ollama API 호출 개요이번 글에서는 FastAPI와 Ollama를 연동하는 개념과 방식을 살펴봅니다.✅ Ollama API 개념 → FastAPI와 Ollama의 연동 방식 → Ollama API 활용 가능성 순서로 설명합니다.📌 1. Ollama API란?✅ Ollama 개요Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – FastAPI 프로젝트 구조 및 설정이 글에서는 FastAPI 프로젝트 구조를 설계하고, 환경 변수 설정과 PostgreSQL 연결을 설정하는 과정을 다룹니다.✅ 프로젝트 폴더 구조 → .env 설정 → PostgreSQL 연결 → FastAPI의 Dependency Injection 활용 순서로 진행됩니다.📌 1. FastAPI 프로젝트 폴더 구조 구성FastAPI 프로젝트의 구조를 체계적으로 구성하면 유지보수와 확장성이 쉬워집니다.다음과 같은 폴더 구조를 사용합니다.fastapi-llm-chatbot/│── app/│ ├── api/ # API 라우터 관리│ │ ├── v1/│ │ │ ├..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama 및 LLaMA3 모델 설정이 글에서는 Ollama를 설치하고 LLaMA3-Korean-Blossom 모델을 FastAPI와 연동하는 과정을 다룹니다.✅ Ollama 설치 → LLaMA3 모델 다운로드 → 모델 등록 및 테스트 순서로 진행됩니다.📌 1. Ollama란?Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 → LLaMA3, Mistral, ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Python 및 필수 라이브러리 설치FastAPI를 활용하여 로컬 LLM + RAG 챗봇을 개발하기 위해 필요한 Python 환경 및 필수 라이브러리를 설치하는 과정을 다룹니다.📌 1. Python 설치 및 환경 설정✅ 1️⃣ Python 버전 확인 및 설치FastAPI 및 LangChain을 사용하려면 Python 3.8 이상이 필요합니다.아래 명령어로 Python 버전을 확인하세요.python --version✅ Python이 설치되지 않은 경우공식 사이트에서 최신 버전을 다운로드하여 설치하세요.✅ Python이 이미 설치된 경우최신 버전으로 업데이트하려면:python -m ensurepip --default-pippython -m p..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – LangChain 및 RAG 개념과 활용1.2.3 LangChain 및 RAG 개념 소개이번 글에서는 **LangChain과 RAG(Retrieval-Augmented Generation)**의 개념을 살펴보고, 이를 활용하여 LLM의 응답 정확도를 향상시키는 방법을 알아봅니다.1. LangChain이란?🔹 LangChain 개요LangChain은 LLM 애플리케이션을 쉽게 개발할 수 있도록 지원하는 오픈소스 프레임워크입니다.주요 역할은 LLM과 데이터베이스, 외부 API, 문서 저장소 등을 연동하여 보다 정교한 AI 애플리케이션을 구축하는 것입니다.✅ LangChain의 핵심 기능LLM과 외부 데이터 연동 (RAG 구현)LLM 응답 최적화 및..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama를 활용한 로컬 LLM 개념 및 활용1.2.2 Ollama를 활용한 로컬 LLM 개념 및 활용🔹 Ollama란?Ollama는 로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 지원하는 경량화된 오픈소스 LLM 실행 프레임워크입니다. 클라우드 없이 DeepSeek-R1, LLaMA3, Mistral, Phi-2 등 다양한 모델을 실행할 수 있으며, FastAPI와 결합하여 강력한 로컬 챗봇을 구축하는 데 최적화되어 있습니다.✅ Ollama의 주요 특징1️⃣ 로컬에서 AI 모델 실행 가능 – 데이터 유출 없이 오프라인에서 LLM을 활용2️⃣ 최적화된 모델 로딩 및 가속화 지원 – MPS(Apple Silicon), CUDA(NV..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 주요 기술 스택 소개1.2 주요 기술 스택 소개이 프로젝트에서는 FastAPI, Ollama, LangChain, PostgreSQL + pgvector, React를 활용하여 보안성과 성능이 뛰어난 로컬 LLM + RAG 챗봇을 개발합니다. 각 기술 스택의 개념과 장점을 상세히 살펴보겠습니다.1.2.1 FastAPI 개요 및 장점🔹 FastAPI란?FastAPI는 Python 기반의 비동기(Asynchronous) 웹 프레임워크로, 빠른 API 개발과 자동 문서화 기능을 제공하는 최신 프레임워크입니다. RESTful API 개발에 최적화되어 있으며, 동기(Synchronous) 방식과 비동기(Asynchronous) 방식을 모두 지원합니다.기..

FastAPI 기반 로컬 LLM과 RAG를 활용한 챗봇 개발 소개최근 ChatGPT와 같은 대규모 언어 모델(LLM)의 등장으로 챗봇 기술은 비약적으로 발전했습니다. 하지만 클라우드 기반 서비스는 개인정보 보호나 보안상의 이유로 활용이 제한될 수 있습니다. 이런 상황에서 로컬 환경에서 LLM을 구동하는 챗봇은 강력한 대안으로 떠오르고 있습니다.본 시리즈에서는 FastAPI, Ollama, LangChain, PostgreSQL + pgvector를 활용하여 완벽한 로컬 환경에서 구동되는 LLM 기반의 RAG(Retrieval-Augmented Generation) 챗봇을 직접 구현하는 방법을 단계별로 소개합니다.📌 주요 기술 스택 소개FastAPIPython 기반의 빠르고 효율적인 API 개발 프레임워..