작은 모델이 Mythos급 취약점을 찾아낸 비결 — AI 서비스에서 오케스트레이션이 모델 크기를 이기는 이유

작은 AI 모델이 대형 모델과 같은 취약점을 찾아낸 이유

AI 보안 서비스 개발에서 오케스트레이션(orchestration)은 여러 AI 모델과 도구를 체계적으로 연결해 하나의 자율적 워크플로우로 작동시키는 설계 방식입니다. 2026년 4월 Anthropic이 공개한 Project Glasswing과 Claude Mythos가 제로데이 취약점을 자율적으로 발견하면서 AI 보안이 큰 화제가 됐지만, 곧바로 공개된 독립 분석에서 오픈웨이트 소형 모델들도 동일한 취약점을 찾아냈다는 결과가 나왔습니다. 핵심 차이는 모델 크기가 아니라 시스템 오케스트레이션 설계에 있었습니다. AI 서비스를 구축할 때 가장 비싼 모델을 선택하는 것보다, 도구 호출·컨텍스트 관리·피드백 루프를 어떻게 설계하느냐가 실제 성능을 좌우합니다.

오케스트레이션이 모델 크기를 이기는 구조적 이유는?

aisle.com의 분석에 따르면, Mythos가 찾은 취약점과 동일한 결과를 소형 오픈웨이트 모델 기반 시스템이 재현했습니다. 비결은 단순합니다. 대형 모델 하나에 모든 것을 맡기는 대신, 여러 소형 모델이 각자 역할을 분담하고 결과를 검증하는 멀티 에이전트 루프를 구성한 것입니다.

이 패턴은 보안 분야에만 국한되지 않습니다. AI 서비스 개발 전반에서 동일한 원리가 작동합니다.

AI 서비스 개발에서 오케스트레이션 설계가 중요한 3가지 이유

1. 비용 구조가 근본적으로 달라진다

GPT-4o나 Claude 같은 대형 모델의 API 비용은 토큰당 소형 모델의 10~50배입니다. Anthropic의 공식 가격 페이지 기준, 소형 모델로 전처리·분류·검증을 수행하고 핵심 추론만 대형 모델에 맡기면 전체 비용을 60~80% 절감할 수 있습니다.

2. 단일 모델의 한계를 시스템으로 극복한다

아무리 뛰어난 모델도 할루시네이션, 컨텍스트 길이 제한, 도메인 지식 부족 같은 한계가 있습니다. 오케스트레이션은 각 단계의 출력을 다음 에이전트가 검증하는 구조를 만들어, 단일 모델에서는 불가능한 신뢰도를 확보합니다.

3. 기술 종속 없이 최신 모델을 활용할 수 있다

특정 모델에 의존하면 가격 인상이나 API 변경에 취약합니다. 오케스트레이션 레이어를 잘 설계해두면 각 노드의 모델을 자유롭게 교체할 수 있어, 새로운 오픈웨이트 모델이 나올 때마다 즉시 적용할 수 있습니다.

실전에서 오케스트레이션을 설계하는 방법은?

효과적인 AI 서비스 오케스트레이션은 다음 요소를 포함합니다:

• Tool Use 패턴: 모델이 외부 API, 데이터베이스, 코드 실행기를 직접 호출하는 구조
• ReAct 루프: 추론(Reasoning)과 행동(Acting)을 반복하며 결과를 점진적으로 개선
• HITL(Human-in-the-Loop): 고위험 의사결정에서 사람의 승인을 거치는 안전장치
• MCP(Model Context Protocol): 모델과 도구 사이의 표준 통신 프로토콜로 통합 복잡도를 낮춤

나무숲은 AI-Native Team으로, 팀원 전원이 Claude Code Max 플랜을 기본 개발 환경으로 사용합니다. Anthropic Superpowers 프레임워크의 Brainstorming·Writing-plans·Subagent 스킬을 실전 개발 루프에 적용해, 오케스트레이션 설계부터 프로덕션 배포까지 일반 외주 대비 2~3배 빠르게 진행합니다.

모델 선택보다 시스템 설계에 투자해야 하는 시대

Mythos 사례가 보여준 교훈은 명확합니다. 가장 크고 비싼 모델을 쓰는 것이 최선이 아니라, 모델들을 어떻게 조합하고 검증 루프를 어떻게 구성하느냐가 AI 서비스의 품질과 비용을 결정합니다. AI 서비스 개발을 계획하고 있다면, 모델 선택에 앞서 오케스트레이션 아키텍처를 먼저 설계하는 것이 올바른 순서입니다.

AI 에이전트 개발 외주를 찾고 계시다면 AI-Native 개발사 나무숲에 문의해보세요.

---

Q: 오케스트레이션 기반 AI 서비스 개발 비용은 얼마나 절감되나요?

소형 모델로 전처리·분류를 처리하고 핵심 추론만 대형 모델에 맡기는 하이브리드 구조를 적용하면, API 호출 비용 기준 60~80% 절감이 가능합니다. 다만 초기 시스템 설계 비용이 추가되므로, 월 API 비용이 100만 원 이상인 서비스부터 ROI가 분명해집니다.

Q: 오픈웨이트 모델만으로 프로덕션 서비스를 만들 수 있나요?

가능합니다. 다만 인프라 운영 역량이 필요합니다. GPU 서버 관리, 모델 업데이트, 모니터링 체계를 자체적으로 구축해야 하므로, 팀 내 MLOps 역량이 부족하다면 클라우드 API와 오픈웨이트 모델을 혼합하는 하이브리드 전략이 현실적입니다.

Q: AI 서비스 개발에서 MCP는 어떤 역할을 하나요?

MCP(Model Context Protocol)는 AI 모델과 외부 도구(DB, API, 브라우저 등) 사이의 표준 통신 규격입니다. MCP를 적용하면 도구 통합 코드를 모델별로 따로 작성할 필요 없이, 한 번의 연동으로 여러 모델에서 동일한 도구를 사용할 수 있어 개발 속도와 유지보수 효율이 크게 올라갑니다.

Q: 오케스트레이션 설계 시 가장 흔한 실수는 무엇인가요?

가장 흔한 실수는 에이전트 간 역할 분담 없이 모든 작업을 하나의 프롬프트에 담는 것입니다. 각 에이전트가 명확한 입력/출력 스펙을 가지고, 실패 시 재시도 로직과 타임아웃을 갖춰야 프로덕션에서 안정적으로 운영됩니다.