Ollama 설치부터 모델 커스텀까지, 비개발자도 이해하는 이용 가이드
클라우드 API를 호출할 때마다 드는 비용 걱정, 사내 코드를 외부 AI 서비스에 보내는 찜찜함, 인터넷이 불안정할 때마다 멈춰버리는 개발 환경. 생성형 AI를 적극적으로 활용하고 싶은 개발자라면 누구나 한 번쯤 겪어봤을 불편함입니다. 만약 이 모든 제약 없이, 내 PC 안에서 자유롭게 LLM을 실행하고 테스트할 수 있다면 어떨까요?
이러한 개발자들의 갈증을 해소해 주는 최고의 솔루션으로 'Ollama'가 부상하고 있습니다. Ollama는 Llama 3, Mistral 등 강력한 오픈소스 LLM을 단 몇 줄의 명령어로 내 컴퓨터에 설치하고 실행할 수 있게 해주는 놀라운 도구입니다. 데이터는 내 PC 밖으로 절대 나가지 않으며, 비용도, 인터넷 연결도 필요 없습니다.
이 글에서는 개발자의 관점에서 Ollama를 설치하고, 핵심 기능을 익히고, 나만의 모델로 커스터마이징하여 최종적으로 내 애플리케이션과 연동하는 기초까지, 로컬 LLM 개발의 전체적인 그림을 완벽하게 마스터할 수 있도록 안내합니다.
1. Ollama, 3분 만에 설치하고 시작하기
Ollama의 가장 큰 장점은 압도적으로 간단한 설치 과정입니다. 복잡한 환경 설정 없이 각 운영체제에 맞는 방법으로 설치를 진행하세요.
1-1. Windows에 설치하기
Ollama 공식 홈페이지에 접속하여 'Download for Windows' 버튼을 클릭해 설치 파일을 다운로드합니다.
다운로드한
OllamaSetup.exe파일을 실행하고 안내에 따라 설치를 완료합니다.설치가 완료되면 Ollama는 백그라운드 서비스로 자동 실행됩니다. 터미널(CMD 또는 PowerShell)을 열고 다음 명령어를 입력해 보세요.
ollama --version버전 정보가 정상적으로 출력된다면 설치에 성공한 것입니다.
1-2. macOS에 설치하기
Ollama 공식 홈페이지에서 'Download for macOS'를 클릭합니다.
다운로드한
Ollama-darwin.zip파일의 압축을 풀고 Ollama 앱을 '응용 프로그램' 폴더로 옮깁니다.앱을 실행하면 메뉴 막대에 Ollama 아이콘이 나타나며 백그라운드에서 실행됩니다. 터미널을 열고 동일하게 버전 확인 명령어를 실행합니다.
ollama --version
1-3. Linux에 설치하기
Linux에서는 터미널에 아래 명령어 한 줄만 입력하면 설치가 완료됩니다.
curl -fsSL <https://ollama.com/install.sh> | sh이제 모든 준비가 끝났습니다. 본격적으로 LLM을 다뤄볼 시간입니다.
2. 터미널에서 LLM 조련하기: Ollama 핵심 명령어
Ollama는 직관적인 CLI(Command-Line Interface)를 통해 모델을 관리합니다. 가장 중요한 명령어 4가지만 기억하면 됩니다.
2-1. 모델 실행 및 다운로드: run
가장 기본이 되는 명령어입니다. 원하는 모델을 지정하여 실행하면, 해당 모델이 로컬에 없는 경우 자동으로 다운로드한 후 실행합니다. 가장 인기 있는 Meta의 Llama 3 모델을 실행해 보겠습니다.
ollama run llama3명령을 실행하면 모델 다운로드가 시작되고, 완료되면 >>> Send a message (/? for help) 라는 프롬프트가 나타납니다. 이제 자유롭게 질문을 던져보세요.
2-2. 모델 미리 다운로드: pull
run 명령어는 다운로드와 실행을 한 번에 처리하지만, 미리 필요한 모델을 받아두고 싶을 때도 있습니다. 이때 pull 명령어를 사용합니다.
# 코딩에 특화된 codellama 모델을 미리 다운로드
ollama pull codellama2-3. 설치된 모델 목록 확인: list
내 PC에 어떤 모델들이 설치되어 있는지 확인하고 싶다면 list 명령어를 사용하세요. 모델 이름, ID, 크기, 수정 시간 등의 정보를 한눈에 볼 수 있습니다.
ollama list2-4. 모델 삭제: rm
더 이상 사용하지 않는 모델을 삭제하여 디스크 공간을 확보하려면 rm 명령어를 사용합니다.
ollama rm codellama
3. 나만의 AI 비서 만들기: Modelfile 커스터마이징
Ollama의 진정한 강력함은 모델을 내 입맛에 맞게 커스터마이징할 수 있다는 점에서 드러납니다. Docker 사용 경험이 있다면 Dockerfile과 매우 유사한 Modelfile을 통해 이 작업을 수행할 수 있습니다.
Modelfile은 기반이 될 모델을 지정하고, 시스템 프롬프트나 파라미터 등을 사전에 설정하여 새로운 커스텀 모델을 만드는 설계도입니다. 예를 들어, 파이썬 코드 리뷰만 전문적으로 수행하는 '리뷰어 봇'을 만들어 보겠습니다.
1단계: Modelfile 개념 이해
Modelfile을 'AI를 위한 맞춤 설정 레시피' 또는 'AI 캐릭터 설정집'이라고 생각하면 완벽합니다.
기존 방식:
ollama run llama3를 실행하면, 우리는 매번 대화를 시작할 때마다 "너는 이제부터 친절한 개발자 비서야. 한국어로만 대답해." 와 같은 지시사항을 반복해서 입력해야 합니다.Modelfile방식: 이 '캐릭터 설정집' 파일 안에 "너의 기본 모델은 llama3이고, 너의 역할은 친절한 개발자 비서이며, 항상 한국어로만 대답해야 해" 라는 설정을 미리 저장해 둡니다. 그리고 이 설정집을 바탕으로 **나만의 AI 모델*을 새로 만드는 것입니다.
핵심 장점: 한번 만들어두면, 매번 긴 지시사항을 입력할 필요 없이, 내가 만든 AI를 불러내기만 하면 항상 똑같은 설정으로 작동합니다.
2단계: Modelfile 만들기 (실제 파일 생성)
이제 '레시피'를 담을 빈 파일을 만들어 보겠습니다.
프로젝트 폴더로 이동: 터미널에서 현재 작업 중인 프로젝트 폴더로 이동합니다.
빈 파일 생성: 아래 명령어를 터미널에 입력하여
Modelfile이라는 이름의 빈 파일을 만듭니다. (가장 중요: 확장자가 없습니다.Modelfile.txt가 아니라 그냥Modelfile입니다.)touch Modelfile(또는 VS Code와 같은 코드 에디터에서 직접 '새 파일 만들기'로
Modelfile을 생성해도 됩니다.)
3단계: Modelfile 안에 내용 작성하기
Modelfile이 있는 폴더 혹은 VS Code로 Modelfile을 열고, 그 안에 AI에게 내릴 지시사항을 적어줍니다. 가장 기본적이고 필수적인 3가지 명령어가 있습니다.
A. FROM (기반 모델 지정)
의미: "어떤 기본 AI 모델을 커스텀할 것인가?"를 정합니다. 레시피의 가장 기본 재료와 같습니다.
작성법: (이것은 '최신 버전의 llama3 모델을 기반으로 만들겠다'는 뜻입니다.)
FROM llama3:latest
B. SYSTEM (역할 및 지시사항 부여)
의미: AI에게 영구적으로 적용될 기본 지시사항이나 역할을 부여합니다. AI의 '성격'이나 '세계관'을 정해주는 것과 같습니다.
작성법: (따옴표 세 개(
""")를 사용하면 여러 줄의 긴 지시사항을 쓸 수 있어 편리합니다.)SYSTEM """ You are a professional front-end developer assistant. Your primary role is to help users with React, TypeScript, and Git. Always provide answers in Korean. Provide clear, concise code examples when necessary. """
C. PARAMETER (세부 설정 조정)
의미: AI의 행동을 미세하게 조정하는 '설정값'입니다. 예를 들어 AI의 '창의성' 수치를 조절할 수 있습니다.
작성법 (가장 많이 쓰는
temperature예시):PARAMETER temperature 0.7temperature(온도): AI의 답변이 얼마나 창의적이고 무작위적일지를 결정합니다.0에 가까울수록: 매우 사실적이고 결정론적인 답변을 합니다. (보고서 작성 등)1에 가까울수록: 매우 창의적이고 예측 불가능한 답변을 합니다. (소설 쓰기 등)보통
0.5~0.7사이를 많이 사용합니다.
4단계: '나만의 AI' 생성하기
이제 완성된 Modelfile을 저장 후 Ollama에게 주고, 새로운 모델을 만들어달라고 요청할 차례입니다.
명령어:
ollama create {my-assistant} -f ./Modelfile명령어 분석:
ollama create: "새로운 모델을 만들어줘!"my-assistant: 내가 새로 만들 AI 모델의 이름입니다. (원하는 대로 지으면 됩니다.)f ./Modelfile:f는 file을 의미하며, "이 레시피(Modelfile)를 사용해서 만들어줘!" 라는 뜻입니다.
이 명령어를 실행하면, 터미널에 진행 상태가 표시되면서 새로운 모델이 생성됩니다.
5단계: '나만의 AI' 사용하기 (모델 실행)
이제 모든 준비가 끝났습니다! 터미널에 아래 명령어를 입력해 보세요.
ollama run my-assistant이제 나타나는 채팅창에서 AI에게 말을 걸면, Modelfile에 저장했던 모든 지시사항(개발자 비서 역할, 한국어 사용, 창의성 0.7 등)이 자동으로 적용된 상태로 대답할 것입니다. 더 이상 매번 긴 프롬프트를 입력할 필요가 없습니다.
이제 당신의 아이디어를 펼칠 시간
지금까지 Ollama를 통해 로컬 PC에 강력한 LLM을 설치하고, 터미널 명령어로 자유롭게 다루며, Modelfile로 나만의 AI를 만드는 첫걸음까지 내디뎠습니다.
Ollama는 데이터 프라이버시, 비용, 인터넷 제약으로부터 개발자를 해방시키는 강력한 도구입니다. 개인용 코드 조수부터 복잡한 자연어 처리 기능이 필요한 애플리케이션의 프로토타이핑까지, 이제 여러분의 손에는 상상하는 무엇이든 만들어볼 수 있는 강력한 '엔진'이 쥐어졌습니다.
물론 오늘 다룬 내용은 로컬 LLM의 무한한 가능성을 향한 시작점일 뿐입니다. 이 강력한 엔진을 활용해 실제 프로덕션 수준의 시스템을 구축하는 여정에는 더 많은 기술적 과제들이 기다리고 있을 것입니다.
이제 여러분의 아이디어를 로컬 LLM 위에서 마음껏 펼쳐보세요.
Happy Hacking!