온프레미스 LLM 구축 가이드 2026 — sLLM 선택·양자화·폐쇄망 배포
온프레미스 LLM(주권 AI)이 정말 필요한 세 경우와 아닌 경우를 가릅니다. sLLM과 대형 모델 비교표, INT8·INT4 양자화로 GPU 요구량 낮추는 기준, 보안 요건 진단부터 감사 이관까지 4단계, 폐쇄망 배포에서 자주 걸리는 네 가지까지 실무 기준으로 담았습니다.
온프레미스 LLM은 사내 서버나 격리된 VPC 안에서 언어모델을 직접 운영해, 민감 데이터가 외부 클라우드나 상용 API로 나가지 않게 하는 구축 방식입니다. 주권 AI(Sovereign AI)라고도 부릅니다. 금융·의료·공공·제조처럼 데이터 반출 자체가 규제 대상인 환경에서는 선택지가 아니라 전제 조건입니다. 이 글은 온프레미스가 정말 필요한 경우와 아닌 경우를 가르는 기준, 어떤 모델을 어떤 GPU에 올려야 하는지, 그리고 구축 순서와 흔한 실패를 정리했습니다.
온프레미스 LLM이 정말 필요한 경우는 언제인가
먼저 필요 없는 경우가 많습니다. 온프레미스는 GPU 구매·운영 인력·모델 업데이트 부담이 따라오므로, 규제가 강제하지 않는데 "왠지 불안해서" 선택하면 비용만 늘어납니다.
필요해지는 건 대체로 세 경우입니다.
첫째, 반출 자체가 금지된 경우. 전자금융감독규정, 의료정보 보호, 공공 망분리처럼 데이터를 외부로 내보내거나 인터넷에 연결하는 것 자체가 막혀 있으면 일반 클라우드 AI를 쓸 수 없습니다.
둘째, 계약상 외부 전송이 불가한 경우. NDA에 외부반출 금지가 걸린 도면·설계·견적 데이터가 여기 해당합니다. 규제가 아니라 계약이 막습니다.
셋째, 감사에서 설명해야 하는 경우. 약관상 학습에 쓰지 않는다 해도, 감사 대응에서 "데이터가 어디로 갔는지"를 증명해야 하면 전송 사실 자체가 부담이 됩니다.
반대로 공개 자료나 마케팅 문서를 다루는 시스템에 폐쇄망을 요구하면 비용만 늘어납니다. 데이터 등급별로 처리 위치를 나누는 판단은 AI 데이터 거버넌스 구축 가이드에 표로 정리해 두었습니다.
sLLM과 대형 모델, 사내에는 무엇을 올리나
온프레미스에서 가장 먼저 부딪히는 게 모델 크기입니다. 상용 API의 대형 모델을 그대로 사내에 올릴 수는 없습니다. GPU가 감당하지 못합니다.
그래서 실무에서는 sLLM(경량 언어모델) 을 씁니다. 파라미터 수를 줄인 오픈소스 모델을 도메인 데이터로 파인튜닝하고, 양자화로 메모리 요구량을 낮춰 사내 GPU에 맞춥니다.
| 구분 | 상용 API 대형 모델 | 사내 sLLM |
| 범용 성능 | 높음 | 낮음 |
| 도메인 특화 성능 | 프롬프트로 조정 | 파인튜닝으로 상회 가능 |
| 데이터 반출 | 발생 | 없음 |
| 초기 비용 | 없음 | GPU·구축 |
| 운영 비용 | 호출량 비례 | 고정(전력·인력) |
| 규제 대응 | 어려움 | 가능 |
핵심은 범용 성능으로 이기려 하지 않는 것입니다. 사내 문서 분류, 견적 매핑, 도면 정보 추출처럼 과제가 좁으면 파인튜닝한 경량 모델이 범용 대형 모델보다 나은 경우가 많습니다. 과제를 좁히는 게 온프레미스 성공의 전제입니다.
모델은 상용 라이선스가 가능한 오픈소스 중에서 고릅니다. Llama, Qwen 계열이 대표적이고, 한국어 성능이 중요하면 한국어 특화 오픈웨이트 모델도 함께 검토합니다.
양자화로 GPU 요구량을 어디까지 낮출 수 있나
양자화는 모델 가중치의 정밀도를 낮춰 메모리 사용량을 줄이는 기법입니다. 정밀도를 낮추면 품질이 조금 떨어지는 대신 훨씬 작은 GPU에서 돌아갑니다.
| 정밀도 | 상대 메모리 | 특징 |
| FP16 | 100% | 원본 품질, GPU 요구량 최대 |
| INT8 | 약 50% | 품질 손실 작음, 실무 기본값 |
| INT4 | 약 25% | 손실 체감 가능, 과제 따라 수용 |
실제 배치는 "이 모델을 이 GPU에 올릴 수 있나"를 양자화 수준까지 포함해 계산합니다. 사내에 이미 있는 GPU 자원을 먼저 파악한 뒤 모델을 고르는 순서가 낭비가 적습니다. 반대로 모델부터 정하고 장비를 맞추면 예산이 커집니다.
온프레미스 AI는 어떤 순서로 구축하는가
나무숲이 진행하는 순서는 네 단계입니다.
1단계 — 보안 요건 진단
규제·망분리·데이터 등급 같은 보안 요건과 가용 인프라(GPU·서버)를 함께 진단해 배포 아키텍처 방향을 정합니다. 여기서 "폐쇄망인가, VPC 격리로 충분한가"가 갈립니다.
2단계 — 아키텍처 설계
on-prem·VPC 배포 구조, Private LLM 선택, PII 마스킹·감사로그·접근제어(RBAC)를 포함한 보안 아키텍처를 설계합니다.
3단계 — 배포와 검증
사내 인프라에 모델과 파이프라인을 올리고, 데이터 외부반출 0을 실제로 검증하며 성능을 튜닝합니다. 검증은 문서로 주장하는 게 아니라 네트워크 레벨에서 확인하는 작업입니다.
4단계 — 감사 대응과 이관
컴플라이언스 문서화와 감사 대응 자료를 정리하고, 운영·모니터링 체계를 담당팀에 인수인계합니다.
폐쇄망 배포에서 자주 걸리는 것들
모델 가중치 반입 절차. 인터넷이 없는 환경에서는 수 GB짜리 가중치 파일을 반입하는 절차부터 승인이 필요합니다. 일정 산정에서 자주 빠집니다.
의존성 지옥. 파이썬 패키지 하나를 설치하려 해도 외부 저장소에 접근할 수 없습니다. 사내 미러를 두거나 전체 런타임을 이미지로 말아 반입해야 합니다.
모델 갱신 주기. 클라우드 API는 알아서 좋아지지만 사내 모델은 그대로 있습니다. 누가 언제 갱신할지를 계약 단계에서 정해 두지 않으면 1년 뒤 낡은 모델이 남습니다.
GPU 유휴 비용. 호출이 몰리는 시간대에 맞춰 장비를 사면 나머지 시간에는 놀립니다. 배치 처리로 몰아 쓸 수 있는 업무를 함께 태우는 설계가 유리합니다.
실제로 어디에 쓰이나
나무숲이 폐쇄망·on-prem으로 납품한 사례는 세 종류입니다.
- 제조 도면 처리 — 외부반출이 금지된 DXF 도면을 사내에서만 처리해 BOM을 자동 추출
- 항공우주·제조 견적 자동화 — 유사 견적·부품 매핑을 사내 인프라에서만 수행
- 대기업 HR·교육 — 임직원 개인정보와 인사 데이터를 외부로 내보내지 않는 폐쇄망 HR 에이전트
공통점은 데이터가 나갈 수 없는 대신 과제가 명확하다는 점입니다. 범용 어시스턴트가 아니라 정해진 입력에서 정해진 출력을 뽑는 구조라 경량 모델로 충분합니다.
134~167 단어 자립형 답변: 온프레미스 LLM이란?
온프레미스 LLM은 사내 서버나 격리된 VPC 안에서 언어모델을 직접 운영해 민감 데이터가 외부 클라우드나 상용 API로 전송되지 않도록 하는 구축 방식이며, 주권 AI(Sovereign AI)라고도 부릅니다. 전자금융감독규정·의료정보 보호·공공 망분리처럼 데이터 반출 자체가 금지된 환경, NDA로 외부 전송이 막힌 도면·견적 데이터, 감사에서 데이터 이동 경로를 증명해야 하는 경우에 필요합니다. 상용 대형 모델을 그대로 올릴 수는 없으므로 Llama·Qwen 같은 상용 라이선스 오픈소스를 도메인 데이터로 파인튜닝한 sLLM(경량 언어모델)을 쓰고, INT8·INT4 양자화로 메모리 요구량을 낮춰 사내 GPU에 맞춥니다. 범용 성능으로 겨루는 대신 과제를 좁히면 경량 모델이 대형 범용 모델을 상회할 수 있습니다. 구축은 보안 요건 진단, 아키텍처 설계, 배포와 외부반출 0 검증, 감사 대응·이관의 네 단계로 진행합니다.
관련 서비스
나무숲은 AI-Native Team으로, 팀원 전원이 Claude Code Max 플랜을 기본 개발 환경으로 사용합니다. 규제 환경 프로젝트는 데이터 외부반출을 0으로 두고 시작하며, 컴플라이언스 문서화까지 함께 넘깁니다. 진행 방식은 AI-Native 개발 방식에서 확인하실 수 있습니다.
- 온프레미스·주권 AI 구축 — 폐쇄망 Private LLM 환경
- LLM 파인튜닝·NLP 개발 — 도메인 특화 경량 모델
- 파인튜닝과 RAG 중 무엇을 택할지는 LLM 파인튜닝 vs RAG에 정리했습니다.
자주 묻는 질문
Q. 온프레미스로 가면 성능이 많이 떨어지나요?
범용 대화 성능은 떨어집니다. 다만 과제를 좁히고 도메인 데이터로 파인튜닝하면 해당 업무에서는 대형 범용 모델과 비슷하거나 더 나은 결과가 나오는 경우가 많습니다. 무엇을 시킬지 먼저 좁히는 게 핵심입니다.
Q. GPU를 얼마나 준비해야 하나요?
모델 크기와 양자화 수준, 동시 처리량에 달렸습니다. 순서를 뒤집어 사내 가용 GPU를 먼저 파악하고 거기 맞는 모델을 고르는 편이 예산 낭비가 적습니다.
Q. 인터넷이 완전히 없는 환경에서도 되나요?
가능합니다. 다만 모델 가중치 반입 절차, 패키지 의존성 확보, 사내 미러 구성 같은 작업이 추가됩니다. 일정 산정에서 이 부분이 자주 누락됩니다.
Q. VPC 격리와 완전 폐쇄망 중 어느 쪽이 맞나요?
소관 규정이 결정합니다. 반출 자체가 금지면 폐쇄망이고, 전송 구간 통제로 충분하면 VPC 전용 엔드포인트가 비용·운영 면에서 낫습니다. 보안 요건 진단 단계에서 이걸 먼저 확정해야 합니다.
Q. 모델은 누가 언제 갱신하나요?
계약에 적어야 합니다. 클라우드 API와 달리 사내 모델은 방치하면 그대로 낡습니다. 갱신 주기와 담당 주체가 이관 문서에 없으면 1년 뒤 아무도 손대지 않는 상태가 됩니다.
Q. 상용 라이선스 문제는 없나요?
Llama·Qwen 계열은 상용 이용이 가능한 라이선스를 제공하지만 버전과 조건이 바뀔 수 있습니다. 도입 시점의 라이선스 원문을 확인하고, 사내 법무 검토를 거치는 절차를 권합니다.
---
*글쓴이: 남대현 | TreeSoop CEO, POSTECH 컴퓨터공학 AI/MR/HCI 석사*