TwentyTwentyOne

2장｜Ollama 설치와 첫 실행 — 내 컴퓨터가 AI를 말하기 시작한다들어가며이제 본격적으로 실습을 시작합니다.이번 장의 목표는 “내 컴퓨터에서 LLM이 실제로 돌아가는 순간을 만드는 것” 입니다.Ollama를 설치하고, LLaMA3 모델을 불러오고,직접 한 문장을 던져 응답을 받는 과정을 단계별로 진행합니다.1. Ollama란 무엇인가Ollama는 로컬에서 대형 언어 모델(LLM) 을 실행하기 위한 런타임입니다.Python이나 Node.js 없이도 단독으로 동작하며,내 PC의 GPU·CPU 리소스를 그대로 활용합니다.한마디로,“ChatGPT를 내 컴퓨터에서 직접 실행할 수 있게 해주는 프로그램”입니다.Ollama는 llama.cpp 기반으로 만들어져 있어서,메타의 LLaMA, Mistral, Phi,..

1장｜LangChain + Ollama 기초 학습 — 로컬 LLM의 첫걸음들어가며요즘 AI 서비스를 공부하다 보면 “OpenAI 키가 필요합니다.”, “API 사용량이 초과되었습니다.” 같은 문구를 자주 보게 됩니다.하지만 로컬에서도 충분히 LLM을 학습하고 실험할 수 있다는 걸 아는 사람은 많지 않아요.이 시리즈는 클라우드에 의존하지 않고, 내 컴퓨터에서 LLM을 직접 실행하고 조합하는 방법을 다룹니다.그 중심에 두 가지 핵심 도구가 있습니다:Ollama: 로컬에서 LLM을 띄우고, 관리하고, 빠르게 테스트할 수 있는 런타임LangChain: LLM을 구성요소처럼 조합할 수 있게 해주는 파이썬 프레임워크1. 로컬 LLM이란 무엇인가LLM(Large Language Model)은 원래 클라우드에서만 실행..

📄 2025년 Ollama 사용 가능 OCR 모델 랭킹 TOP 10– 비전과 언어의 융합, 로컬 AI가 문서를 읽기 시작했다 –🥇 1위 – Llama 3.2-Vision (Meta)특징: Ollama에서 가장 안정적으로 실행되는 멀티모달 모델강점: 이미지 → 텍스트 변환 정확도 높음 / 한국어 포함 다국어 OCR 지원활용: PDF 문서, 스캔 이미지, 영수증, 서류 인식최신 트렌드: ollama pull llama3.2-vision 명령으로 바로 사용 가능검색 키워드: Llama3Vision, MetaAI, OCRAI, VisionLanguage, Ollama🥈 2위 – MiniCPM-V 2.5 (OpenBMB)특징: 경량 멀티모달 모델 / GPU 자원 적게 사용강점: 이미지 캡션 + 문서 OCR ..

6장｜처음부터 끝까지: LLaMA3.2 SLM 파인튜닝 → 평가 → GGUF 변환 → Ollama 실행 (풀 코드)이 장은 완전 자급자족 버전입니다.독자가 이 글만 보고도 처음부터 실행할 수 있도록, 4장(학습)과 5장(평가), 6장(배포: LoRA 병합 → GGUF 변환 → Ollama 실행)까지 한 번에 마칩니다.모델은 meta-llama/Llama-3.2-1B-Instruct 를 사용합니다. (GGUF/Ollama 호환)원칙(중요): 파인튜닝에서는 토크나이저 어휘를 절대 바꾸지 않습니다.pad_token은 “추가(add)”가 아니라 eos를 pad로 “지정”만 하세요. 어휘가 변하면 GGUF 변환에서 체크섬이 실패합니다.0) 환경 준비# (선택) 가상환경python -m venv venv && so..

4–5장｜LoRA 파인튜닝과 모델 성능 평가 — SLM + Hugging Face + Ollama 실습 완결판앞선 장에서 우리는 SLM(Small Language Model)과 Ollama 환경을 구축하고,Hugging Face 모델을 불러오는 과정을 모두 끝냈다.이제는 그 모델을 내 데이터로 파인튜닝(fine-tuning) 하고,그 결과를 Perplexity 및 생성 예시로 평가한다.이번 장은 두 파트로 구성된다.구분 내용4장LoRA/QLoRA 기반 파인튜닝 수행5장학습 결과 모델의 정량·정성 평가 및 로그 관리PART 1 — 4장 : LoRA 파인튜닝 수행1. 환경 설정pip install -U transformers datasets peft accelerate bitsandbytestransform..

4장｜SLM 파인튜닝 실습1. 환경 준비(필수 패키지)pip install -U transformers datasets peft accelerate bitsandbytes# GPU가 없다면 bitsandbytes는 생략 가능(QLoRA 미사용)Python 3.10+ 권장. GPU가 없으면 QLoRA 대신 LoRA만 시도하세요(속도 이슈 고려).2. 데이터 불러오기(3장의 train.jsonl 사용)3장에서 만든 train.jsonl(한 줄에 {"text": "..."} 형태)을 그대로 사용한다.from datasets import load_datasetdataset = load_dataset("json", data_files="train.jsonl")# 작은 샘플로 먼저 확인하고 싶다면:# dataset..

3장｜데이터 준비와 전처리 – Hugging Face + Ollama 파인튜닝 실습언어모델을 잘 학습시키는 데에는 “좋은 데이터”가 필수다.데이터는 모델의 지식, 스타일, 응답 품질을 결정짓는다.이 장에서는 Hugging Face datasets를 이용한 데이터 준비와,Ollama로 학습 가능한 포맷(GGUF · GGML 변환 전 단계) 을 만드는 과정을 다룬다.1. 데이터 구조 설계파인튜닝을 위한 데이터는 보통 아래 세 가지 형태 중 하나로 구성된다.목적 입력 구조 출력 구조 예시대화형(Chat)instruction / inputresponse“질문-답변”, “프롬프트-출력”분류(Classification)textlabel감정, 주제, 긍정/부정요약(Summarization)documentsummary..

2장｜학습을 위한 환경 준비와 Hugging Face 모델 불러오기언어모델을 학습하거나 파인튜닝하려면 먼저 환경을 통일해야 한다.모델을 불러오고, 데이터를 전처리하고, 학습 결과를 저장하는 과정은 모두 환경 설정에 좌우된다.이 장에서는 로컬 환경에서 Ollama와 Hugging Face 모델을 함께 사용할 준비를 완료한다.1. 개발 환경 구성모델을 훈련하거나 튜닝할 때 반드시 맞춰야 하는 요소는 다음 네 가지다.항목 설명Python 버전3.10 이상 권장. 3.8 이하에서는 일부 라이브러리 충돌 발생.CUDA / GPUNVIDIA GPU가 있으면 좋지만, CPU 학습도 가능. 단, 속도 차이는 10배 이상 발생.RAM/디스크최소 16 GB RAM, 모델과 데이터 저장용 20 GB 이상 여유 권장.가상환경..

1장 ｜ SLM & Ollama 입문이 글은 개발 초심자의 시선으로 작성된 기록이다. 내 PC에서도 언어모델을 직접 돌려보겠다는 목표로 시작한다. 앞으로 이어질 장들에서는 환경 설정 → 모델 선택 → 데이터 준비 → 학습 및 튜닝 → 활용까지 순서대로 나아간다.1. SLM(Small Language Model)이란 무엇인가언어모델 분야에서 “SLM”이라는 개념이 중요해지고 있다. 간단히 말하면, 대형 언어모델(LLM: Large Language Model)의 일부 특징을 유지하면서도 더 작고, 덜 무겁게, 덜 자원으로 실행될 수 있게 설계된 모델이다.특징파라미터(Parameter)의 수가 비교적 적다 → 모델 크기와 연산량이 적다. (mlsysbook.ai)특정 도메인(예: 내부 보고서 요약, 코드 리뷰..

gpt-oss:20b를 Ollama로 돌리는 가장 빠른 방법 (실전 명령 포함)한 줄 요약: **ollama pull gpt-oss:20b → ollama run gpt-oss:20b**면 바로 로컬에서 돌아갑니다. 아래는 신뢰 가능한 공식 레퍼런스 기준으로 깔끔하게 정리한 실전 가이드입니다. (Ollama, OpenAI)1) 사전 준비Ollama 최신 버전 설치 (macOS/Windows/Linux). gpt‑oss가 정식 라이브러리에 올라와 있어 추가 변환 없이 바로 사용 가능합니다. (Ollama)권장 하드웨어: 16GB급 VRAM(또는 통합 메모리)에서 동작하도록 설계된 20B(스파스/MoE). 더 큰 120B는 80GB급 GPU 단일 노드 권장. (OpenAI, Sebastian Raschka'..