TwentyTwentyOne

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama 및 LLaMA3 모델 설정이 글에서는 Ollama를 설치하고 LLaMA3-Korean-Blossom 모델을 FastAPI와 연동하는 과정을 다룹니다.✅ Ollama 설치 → LLaMA3 모델 다운로드 → 모델 등록 및 테스트 순서로 진행됩니다.📌 1. Ollama란?Ollama는 로컬에서 LLM(대형 언어 모델, Large Language Model)을 실행할 수 있도록 지원하는 프레임워크입니다.이를 통해 클라우드 의존도를 줄이고, 로컬 환경에서 AI 모델을 쉽게 배포 및 실행할 수 있습니다.✅ Ollama의 주요 기능:로컬 LLM 실행 → 인터넷 없이도 AI 모델 사용 가능다양한 모델 지원 → LLaMA3, Mistral, ..

🚀 FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Python 및 필수 라이브러리 설치FastAPI를 활용하여 로컬 LLM + RAG 챗봇을 개발하기 위해 필요한 Python 환경 및 필수 라이브러리를 설치하는 과정을 다룹니다.📌 1. Python 설치 및 환경 설정✅ 1️⃣ Python 버전 확인 및 설치FastAPI 및 LangChain을 사용하려면 Python 3.8 이상이 필요합니다.아래 명령어로 Python 버전을 확인하세요.python --version✅ Python이 설치되지 않은 경우공식 사이트에서 최신 버전을 다운로드하여 설치하세요.✅ Python이 이미 설치된 경우최신 버전으로 업데이트하려면:python -m ensurepip --default-pippython -m p..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – LangChain 및 RAG 개념과 활용1.2.3 LangChain 및 RAG 개념 소개이번 글에서는 **LangChain과 RAG(Retrieval-Augmented Generation)**의 개념을 살펴보고, 이를 활용하여 LLM의 응답 정확도를 향상시키는 방법을 알아봅니다.1. LangChain이란?🔹 LangChain 개요LangChain은 LLM 애플리케이션을 쉽게 개발할 수 있도록 지원하는 오픈소스 프레임워크입니다.주요 역할은 LLM과 데이터베이스, 외부 API, 문서 저장소 등을 연동하여 보다 정교한 AI 애플리케이션을 구축하는 것입니다.✅ LangChain의 핵심 기능LLM과 외부 데이터 연동 (RAG 구현)LLM 응답 최적화 및..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – Ollama를 활용한 로컬 LLM 개념 및 활용1.2.2 Ollama를 활용한 로컬 LLM 개념 및 활용🔹 Ollama란?Ollama는 로컬 환경에서 대형 언어 모델(LLM)을 실행할 수 있도록 지원하는 경량화된 오픈소스 LLM 실행 프레임워크입니다. 클라우드 없이 DeepSeek-R1, LLaMA3, Mistral, Phi-2 등 다양한 모델을 실행할 수 있으며, FastAPI와 결합하여 강력한 로컬 챗봇을 구축하는 데 최적화되어 있습니다.✅ Ollama의 주요 특징1️⃣ 로컬에서 AI 모델 실행 가능 – 데이터 유출 없이 오프라인에서 LLM을 활용2️⃣ 최적화된 모델 로딩 및 가속화 지원 – MPS(Apple Silicon), CUDA(NV..

FastAPI 기반 로컬 LLM + RAG 챗봇 만들기 – 주요 기술 스택 소개1.2 주요 기술 스택 소개이 프로젝트에서는 FastAPI, Ollama, LangChain, PostgreSQL + pgvector, React를 활용하여 보안성과 성능이 뛰어난 로컬 LLM + RAG 챗봇을 개발합니다. 각 기술 스택의 개념과 장점을 상세히 살펴보겠습니다.1.2.1 FastAPI 개요 및 장점🔹 FastAPI란?FastAPI는 Python 기반의 비동기(Asynchronous) 웹 프레임워크로, 빠른 API 개발과 자동 문서화 기능을 제공하는 최신 프레임워크입니다. RESTful API 개발에 최적화되어 있으며, 동기(Synchronous) 방식과 비동기(Asynchronous) 방식을 모두 지원합니다.기..

FastAPI 기반 로컬 LLM과 RAG를 활용한 챗봇 개발 소개최근 ChatGPT와 같은 대규모 언어 모델(LLM)의 등장으로 챗봇 기술은 비약적으로 발전했습니다. 하지만 클라우드 기반 서비스는 개인정보 보호나 보안상의 이유로 활용이 제한될 수 있습니다. 이런 상황에서 로컬 환경에서 LLM을 구동하는 챗봇은 강력한 대안으로 떠오르고 있습니다.본 시리즈에서는 FastAPI, Ollama, LangChain, PostgreSQL + pgvector를 활용하여 완벽한 로컬 환경에서 구동되는 LLM 기반의 RAG(Retrieval-Augmented Generation) 챗봇을 직접 구현하는 방법을 단계별로 소개합니다.📌 주요 기술 스택 소개FastAPIPython 기반의 빠르고 효율적인 API 개발 프레임워..

FastAPI ResponseBody Model 만들기 https://fastapi.tiangolo.com/ko/tutorial/response-model/ 응답 모델 - FastAPI FastAPI framework, high performance, easy to learn, fast to code, ready for production fastapi.tiangolo.com 1. ResponseModel from typing import Optional, List from pydantic import Field, BaseModel class ResponseModel(BaseModel): msg:str = Field("", description="응답메세지") isOk:bool = Field(True, ..

화면 만들어보기 #3 fetch 로 데이터 불러와서 뿌려주기 이제 이전에 만들었던 FastAPI 서버와 통신해 데이터를 가져와보자. NextJs 는 13버전 에서 부터 SSG, SSR, ISR의 Data Fetching 을 fetch api 를 통해 사용 할 수 있게 되었다. https://nextjs.org/docs/app/building-your-application/data-fetching/fetching-caching-and-revalidating Data Fetching: Fetching, Caching, and Revalidating | Next.js Learn how to fetch, cache, and revalidate data in your Next.js application. next..

fastapi 엑셀 파일 불러와서 뿌려주기 #4 - 검색 이제 단어 검색을 통해서 검색어에 해당하는 데이터만 보여주는 기능을 추가해봅니다. 문자열 검색의 경우에는 Series.str.contains 와 DataFrame.apply를 사용합니다. https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.str.contains.html pandas.Series.str.contains — pandas 2.2.1 documentation Fill value for missing values. The default depends on dtype of the array. For object-dtype, numpy.nan is used. For..

fastapi 엑셀 파일 불러와서 뿌려주기 #3 - Refactoring """ main.py @제목: 메인 실행 파일 @설명: 메인 실행 파일 작성일자 작성자 ----------------------- 2024.03.14 hiio420 """ import math import pandas as pd from fastapi import FastAPI,Depends from db.initDB import SessionLocal,get_user from sqlalchemy.orm import sessionmaker,declarative_base,relationship,Session # 엑셀 파일 불러오기 xlsx = pd.ExcelFile("F:\\[01]project\\commonStandardTerm\\..