Ollama란? Ollama 사용법: 내 PC에서 무료로 LLM 실행하기

April 21, 2024 · 8 min read

최근 ChatGPT, GPT-4 등 대형 언어 모델(Large Language Model, LLM)이 크게 주목받고 있습니다. 하지만 이런 LLM을 사용하려면 보통 클라우드 API를 통해 접근해야 하고 비용도 만만치 않습니다. 만약 무료로, 그것도 내 PC에서 직접 LLM을 돌릴 수 있다면 어떨까요? 바로 그런 필요를 실현시켜주는 오픈소스 프로젝트가 Ollama입니다. 이 글에서는 Ollama가 무엇인지, 어떻게 설치하고 사용하는지 자세히 알아보겠습니다.

Ollama 홈페이지

Ollama란?

Ollama는 오픈소스 LLM을 로컬 PC에서 쉽게 실행할 수 있게 해주는 도구입니다. Mistral, Llama 3 등 다양한 오픈소스 LLM을 지원하죠. 모델 가중치, 설정, 데이터셋을 하나의 패키지로 묶어서 Modelfile로 관리합니다.

주요 특징은 다음과 같습니다:

무료 오픈소스
로컬 PC에서 실행 가능
Llama 2, Mistral 등 다양한 모델 지원
사용자 정의 프롬프트로 모델 커스터마이징 가능
REST API 제공

지원 모델

Ollama는 다양한 LLM을 지원합니다. 주요 모델은 다음과 같습니다:

모델	설명	다운로드
Llama 3	가장 인기있는 범용 모델	`ollama run llama3`
Mistral	Mistral AI에서 공개한 70억 파라미터 모델	`ollama run mistral`
CodeLlama	코드 생성에 특화된 모델	`ollama run codellama`
Llama 2 Uncensored	검열되지 않은 Llama 2 모델	`ollama run llama2-uncensored`
Orca Mini	입문용 30억 파라미터 모델	`ollama run orca-mini`

이 외에도 LLaVA, Gemma, Solar 등 다양한 모델을 지원합니다. 전체 목록은 Ollama 모델 라이브러리에서 확인할 수 있습니다.

Ollama 설치 방법

macOS

다운로드 페이지에서 macOS용 파일을 다운로드 합니다.
다운로드한 zip 파일의 압축을 풉니다.
터미널을 열고 압축 해제한 폴더로 이동합니다.
./ollama 명령어로 실행합니다.

Linux

터미널에서 아래 명령어를 실행합니다:

curl -fsSL https://ollama.com/install.sh | sh

Windows

Windows는 현재 프리뷰 버전만 지원합니다. 다운로드 페이지에서 설치 파일을 받아 실행하세요.

Docker

공식 Docker 이미지 ollama/ollama를 사용할 수 있습니다.

Ollama 사용 방법

모델 실행하기

ollama run 명령어로 원하는 모델을 실행할 수 있습니다. 예를 들어 Llama 3 모델을 실행하려면:

ollama run llama3

만약 해당 모델이 설치되어 있지 않다면 자동으로 다운로드 후 실행됩니다.

대화하기

모델이 실행되면 프롬프트가 나타납니다. 여기에 질문을 입력하면 모델이 답변을 생성합니다.

>>> 하늘은 왜 파란가요?
하늘이 파랗게 보이는 이유는 빛의 산란 때문입니다. 태양 빛 중 파장이 짧은 푸른색 계열의 빛이 대기 중 입자에 의해 강하게 산란되어 우리 눈에 많이 들어오기 때문이죠. 반면 파장이 긴 빨간색 계열은 대기를 통과해 직진하는 경향이 있습니다. 이런 레일리 산란 현상 때문에 하늘은 푸르게 보이는 것입니다.

멀티라인 입력

긴 문장을 입력하고 싶다면 """ 로 감싸면 됩니다.

>>> """
안녕하세요.
오늘도 좋은 하루 되세요!
"""

이미지 입력

일부 멀티모달 모델은 이미지 입력도 지원합니다.

>>> 이 이미지에 무엇이 있나요? /path/to/image.png
이미지에는 푸른 하늘을 배경으로 한 해바라기 꽃이 클로즈업되어 있습니다. 노란 꽃잎이 선명하게 보이고, 가운데 꽃술도 잘 보이네요. 매우 생동감 있는 사진입니다.

모델 커스터마이징

Ollama 라이브러리의 모델은 프롬프트로 커스터마이징할 수 있습니다. 예를 들어 llama3 모델을 수정하려면:

모델 다운로드
```
ollama pull llama3
```

Modelfile 생성

FROM llama3
# 온도 설정 (높을수록 창의적, 낮을수록 정확함)  
PARAMETER temperature 1
# 시스템 메시지 설정
SYSTEM """
당신은 슈퍼마리오입니다. 마리오처럼 대답해주세요.
"""

모델 생성 및 실행

ollama create mario -f ./Modelfile
ollama run mario

API로 접근

Ollama는 모델 실행과 관리를 위한 REST API도 제공합니다.

응답 생성

curl http://localhost:11434/api/generate -d '{
  "model": "llama3", 
  "prompt": "하늘은 왜 파란가요?"
}'

채팅

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {"role": "user", "content": "하늘은 왜 파란가요?"}
  ]  
}'

커뮤니티 통합

Ollama는 다양한 플랫폼 및 라이브러리와 통합되어 사용할 수 있습니다.

웹 및 데스크톱: LibreChat, Bionic GPT, Enchanted 등
터미널: oterm, Ellama, gen.nvim 등
데이터베이스: MindsDB, chromem-go 등
라이브러리: LangChain, LlamaIndex, OllamaSharp, Ollama-rs 등
모바일: Enchanted, Maid 등
확장 및 플러그인: Raycast, Discollama, Obsidian, Logseq, Telegram 등

자세한 목록은 커뮤니티 통합 문서를 참고하세요.

결론

Ollama를 사용하면 누구나 무료로 자신의 PC에서 강력한 LLM을 실행할 수 있습니다. 설치와 사용법도 간단하죠. 다양한 모델을 지원하고 사용자 정의 프롬프트로 커스터마이징할 수 있어 활용 범위도 넓습니다. 웹, 모바일, 데이터베이스 등 여러 플랫폼과 연동할 수 있는 것도 큰 장점입니다.

이제 여러분도 Ollama로 자신만의 AI 어시스턴트를 만들어보는 건 어떨까요? LLM의 놀라운 성능을 직접 경험해 볼 수 있을 것입니다. 코딩, 글쓰기, 질의응답 등 다양한 분야에 활용해 보세요. Ollama와 함께라면 누구나 AI의 힘을 자유롭게 이용할 수 있습니다.

Ollama란?​

지원 모델​

Ollama 설치 방법​

macOS​

Linux​

Windows​

Docker​

Ollama 사용 방법​

모델 실행하기​

대화하기​

멀티라인 입력​

이미지 입력​

모델 커스터마이징​

API로 접근​

응답 생성​

채팅​

커뮤니티 통합​

결론​