Ollama 로컬 LLM 2026 — 실측 속도·메모리 한계·한국어 성능

# Ollama 로컬 LLM 2026 — 실측 속도·메모리 한계·한국어 성능

Ollama란 무엇인가 — 3줄 요약

명령어 하나로 LLM을 내 컴퓨터에서 돌리는 도구다. 모델 다운로드, 실행 환경 구성, API 서버까지 한 번에 해결한다.

```bash

ollama run qwen2.5-coder:7b

```

이 한 줄이면 모델을 받아 대화가 시작된다. 설치와 실행의 진입 장벽이 사실상 없는 것이 Ollama가 확산된 이유다.

핵심 트레이드오프는 성능과 통제권이다. 데이터를 밖으로 낼 수 없는 조직이 가장 먼저 검토하는 선택지다.

실측 — M1 Pro 16GB에서 얼마나 나오는가

벤치마크 수치는 많지만 대부분 고사양 장비 기준이다. 실제 개발자가 쓰는 노트북에서 재봤다.

측정 환경: Apple M1 Pro / 통합 메모리 16GB / Ollama 0.23.4

21 tok/s는 사람이 읽는 속도보다 빠르다. 대화형으로 쓰기에 답답하지 않은 수준이다. 다만 긴 문서를 통째로 생성하는 작업이라면 기다림이 체감된다.

⚠️ 첫 실행이 느린 것에 속지 말 것. 모델을 처음 메모리에 올릴 때 오래 걸리고, 그 뒤로는 1.3초다. "느리다"는 평가 대부분이 첫 실행만 보고 내려진다.

한국어는 되는가

같은 모델에 한국어로 물었다.

> 질문: 한 문장으로 답해줘: 파이썬에서 리스트와 튜플의 차이는?

> 응답: 파이썬에서 리스트는 변경 가능한 가변 자료형이고, 튜플은 불변한 고정된 자료형입니다.

> 질문: 한 문장으로: REST와 GraphQL의 차이는?

> 응답: REST는 자원에 대한 상태 변경을 정의하는 HTTP 메소드를 사용하지만, GraphQL은 클라이언트가 필요로 하는 특정 데이터만 요청할 수 있는 쿼리 언어입니다.

7B 코딩 모델인데도 한국어 문장이 자연스럽고 내용도 정확하다. 최근 오픈소스 모델은 한국어를 별도 튜닝 없이도 상당 수준 처리한다.

다만 전문 용어의 한국어 표기나 긴 문서의 문체 일관성은 대형 상용 모델과 차이가 난다. 초안 생성에는 충분하고, 그대로 배포할 문서에는 검토가 필요하다.

메모리가 진짜 제약이다

Ollama에서 실패하는 지점은 대부분 속도가 아니라 메모리다.

실제로 같은 장비에서 9.6GB 모델을 돌리자 2분이 지나도 응답이 오지 않았다. 모델이 메모리에 다 올라가지 못하면 디스크 스와핑이 일어나 속도가 급락한다. 되긴 되지만 쓸 수 없는 상태가 된다.

16GB 장비라면 7B가 실질 상한이다. 그 이상을 원하면 램을 늘리거나 양자화된 버전을 쓴다.

양자화를 이해해야 한다

같은 7B 모델이라도 태그에 따라 크기가 다르다. 정밀도를 낮춰(양자화) 메모리를 줄인 버전들이다.

• Q4 — 크기가 가장 작고 빠르다. 대부분의 실무 용도에 충분하다
• Q8 — 원본에 가깝지만 메모리를 두 배 쓴다
• fp16 — 원본. 연구·평가 목적

Ollama 기본 태그는 대개 Q4다. 의도적으로 바꾸지 않았다면 이미 양자화된 모델을 쓰고 있다.

사내망 도입을 검토한다면

Ollama가 기업 환경에서 검토되는 이유는 성능이 아니라 데이터가 나가지 않는다는 점이다. 다만 도입 전에 확인할 것이 있다.

① API 서버로 쓸 수 있다

Ollama는 실행 시 `localhost:11434`에 HTTP API를 연다. OpenAI 호환 엔드포인트도 제공하므로, 기존 코드에서 base URL만 바꿔 붙일 수 있는 경우가 많다.

```bash

curl http://localhost:11434/api/generate \

-d '{"model":"qwen2.5-coder:7b","prompt":"...","stream":false}'

```

② 동시 사용자를 감당하지 못한다

노트북 한 대의 Ollama는 한 번에 하나의 요청을 처리한다고 봐야 한다. 팀 단위로 쓰려면 GPU 서버에 올리고 큐를 두는 구조가 필요하다. 이 지점부터는 Ollama가 아니라 vLLM 같은 서빙 프레임워크의 영역이다.

③ 모델 라이선스를 확인한다

오픈 가중치라고 모두 상업적 이용이 자유롭지는 않다. 모델마다 라이선스가 다르고, 일부는 사용자 수나 용도에 제한을 둔다. 사내 배포 전에 해당 모델의 라이선스를 직접 읽어야 한다.

④ 업데이트 경로를 정한다

클라우드 API는 벤더가 모델을 개선하지만, 로컬은 직접 받아 교체해야 한다. 누가 언제 어떤 기준으로 갱신할지 정하지 않으면 1년 뒤 뒤처진 모델을 쓰게 된다.

로컬이 답이 아닌 경우

데이터 반출 제약이 없다면 대부분 클라우드 API가 낫다. 정직하게 말해서 그렇다.

"비용 절감"을 이유로 로컬을 택할 때는 계산해 봐야 한다. GPU 서버 임대료와 운영 인건비가 API 요금을 넘는 경우가 흔하다. 월 처리량이 충분히 크지 않으면 클라우드가 싸다.

FAQ

GPU 없이 CPU만으로 되나요?

동작은 한다. 다만 속도가 크게 떨어져 대화형으로 쓰기 어렵다. Apple Silicon은 통합 메모리를 GPU처럼 쓰므로 별도 그래픽카드 없이도 위 실측처럼 나온다.

어떤 모델부터 시작해야 하나요?

7B급 최신 모델 하나로 시작해 실제 작업에 써보는 편이 낫다. 처음부터 큰 모델을 받으면 메모리 문제로 평가 자체가 불가능해진다.

Ollama와 LM Studio는 뭐가 다른가요?

Ollama는 CLI와 API 중심, LM Studio는 GUI 중심이다. 자동화나 서비스 연동이 목적이면 Ollama, 모델을 이것저것 시험해 보는 용도면 GUI 쪽이 편하다.

같은 모델인데 왜 크기가 여러 개인가요?

양자화 수준이 다르다. 태그의 Q4·Q8 같은 표기가 그것이고, 숫자가 작을수록 메모리를 적게 쓰고 품질이 조금 떨어진다.

정리

Ollama는 로컬에서 LLM을 돌리는 가장 낮은 진입 장벽이다. M1 Pro 16GB에서 7B 모델이 21 tok/s로 돌고 한국어도 실용 수준이다.

다만 메모리가 실질 상한을 정한다. 16GB에서는 7B가 한계이고, 그 이상은 장비를 바꾸거나 서버로 가야 한다. 그리고 데이터 반출 제약이 없다면 클라우드가 대체로 낫다 — 로컬의 가치는 성능이 아니라 통제권에 있다.

관련해서, 사내 데이터를 다루는 AI 도입 전반의 점검 항목은 데이터 거버넌스 체크리스트에, 온프레미스 LLM 구축의 판단 기준은 온프레미스 LLM 구축 가이드에 정리했다.