Ollama 설치 및 기본 사용법 (로컬 LLM 실행하기)

Ollama 설치 및 기본 사용법 (로컬 LLM 실행하기)

Manus 스타일 AI 에이전트를 개발하려면 Ollama를 활용하여 로컬에서 AI 모델을 실행하는 것이 중요합니다.
이번 글에서는 Ollama 설치부터 기본 사용법까지 실습하며,
이후 CrewAI와 함께 활용할 수 있도록 로컬 LLM 환경을 구축해 보겠습니다.

---

🔹 1. Ollama란?

📌 Ollama 개요

Ollama는 로컬에서 대규모 언어 모델(LLM)을 실행할 수 있도록 지원하는 프레임워크입니다.
이것을 활용하면 인터넷 없이 AI 모델을 실행할 수 있으며,
빠르고 안정적인 AI 환경을 구축할 수 있습니다.

✅ Ollama의 주요 기능

• 로컬에서 실행 가능 (인터넷 연결 없이 AI 사용)
• 다양한 LLM 지원 (Mistral, Llama3, Gemma 등)
• FastAPI, CrewAI와 쉽게 연동 가능
• Docker를 활용한 배포 최적화 가능

✅ Manus 스타일 AI 개발에서 Ollama가 필요한 이유

• CrewAI와 함께 로컬 환경에서 맞춤형 AI 시스템 구축
• FastAPI와 연동하여 웹 서비스로 AI 제공
• 네트워크에 의존하지 않는 자율적인 AI 에이전트 구현 가능

---

🔹 2. Ollama 설치 및 실행

📌 1. Ollama 설치하기

✅ MacOS / Linux 설치

터미널에서 다음 명령어를 실행합니다.

curl -fsSL https://ollama.com/install.sh | sh

✅ Windows 설치

Windows에서는 **WSL(Windows Subsystem for Linux)**이 필요합니다.
1️⃣ WSL 설치 방법 참고
2️⃣ Ubuntu WSL 환경에서 Linux 설치 명령어 실행

---

📌 2. Ollama 기본 실행

설치 후 Ollama를 실행하려면 다음 명령어를 사용합니다.

ollama run mistral

💡 실행 결과: Ollama가 Mistral 모델을 다운로드한 후 AI 챗봇을 실행

---

🔹 3. Ollama 모델 다운로드 및 실행

📌 1. 사용할 LLM 모델 다운로드

Ollama는 다양한 언어 모델을 지원합니다.

✅ 대표적인 모델 종류

모델 특징

mistral	빠르고 가벼운 범용 LLM
llama3	Meta에서 개발한 강력한 LLM
gemma	Google에서 개발한 LLM (최적화 모델)

✅ 모델 다운로드 방법

반응형

ollama pull mistral

💡 실행 결과: mistral 모델이 다운로드됨

ollama pull llama3

💡 실행 결과: llama3 모델이 다운로드됨

✅ 다운로드한 모델 목록 확인

ollama list

---

📌 2. Ollama 모델 실행하기

✅ Mistral 모델 실행 (기본 대화형 실행)

ollama run mistral

💡 실행 결과: Mistral AI 챗봇이 실행됨

✅ Llama3 모델 실행

ollama run llama3

✅ 프롬프트를 직접 입력하여 실행

ollama run mistral "Python에서 비동기 프로그래밍을 설명해줘."

💡 실행 결과: Ollama가 Python 비동기 프로그래밍 개념을 설명

---

🔹 4. Ollama + CrewAI 연동 (기본 테스트)

이제 Ollama가 정상적으로 실행되었는지 확인하기 위해 CrewAI와 연동하여 간단한 AI Agent를 실행해봅니다.

🔹 Python 코드 (CrewAI + Ollama 연동 테스트)

from crewai import Agent, Task, Crew
import ollama

# Ollama 프롬프트 실행 함수
def query_ollama(prompt):
    response = ollama.chat(model="mistral", messages=[{"role": "user", "content": prompt}])
    return response["message"]["content"]

# CrewAI 기반의 AI Agent 생성
ai_agent = Agent(
    name="Python 전문가",
    role="Python 개발 관련 질문을 답변하는 AI",
    backstory="10년 경력의 Python 개발자로서 AI 관련 기술을 연구함",
    model="mistral"
)

# AI에게 질문할 Task 생성
task = Task(
    description="Python에서 비동기 프로그래밍을 설명해줘.",
    agent=ai_agent
)

# Crew 생성 및 실행
crew = Crew(agents=[ai_agent], tasks=[task])
result = crew.kickoff()

print("📌 AI 응답:")
print(result)

📌 실행 결과: Python 비동기 프로그래밍 개념이 출력됨

✅ 이 코드에서 확인할 점

• Ollama의 Mistral 모델을 활용하여 AI Agent 실행
• CrewAI를 사용하여 AI가 특정 역할을 수행하도록 설정
• 실제 AI 서비스 개발을 위한 기반 테스트 완료

---

🔹 5. Ollama 설치 및 실행 정리

✅ Ollama는 로컬에서 AI 모델을 실행할 수 있는 LLM 프레임워크이다.
✅ Mistral, Llama3 등의 모델을 다운로드하여 실행 가능하다.
✅ CrewAI와 연동하면 AI Agent 시스템을 개발할 수 있다.
✅ FastAPI와 연동하여 API 기반 AI 서비스를 구축할 수 있다.

---

🚀 다음 글 미리보기:

👉 "CrewAI란? 다중 AI 에이전트 시스템 이해하기"
👉 Manus 스타일 AI 시스템을 만들기 위한 CrewAI의 핵심 개념을 배워봅니다.