STT란? 모델·솔루션 유형 비교 2026 — 클라우드·오픈소스·커스텀 선택 기준

AI 음성인식(STT, Speech-to-Text)이란 사람의 음성을 실시간으로 텍스트로 변환하는 기술로, 최근에는 LLM과 결합해 단순 전사를 넘어 요약, 분류, 구조화된 데이터 추출까지 수행한다. 콜센터 자동화, 회의록 생성, 의료 기록 음성 입력, 차량 내 보이스 커맨드, 고객 응대 분석까지 적용 범위가 빠르게 확장되고 있다.

오픈소스 진영이 이 분야를 빠르게 끌어올렸다. OpenAI Whisper는 GitHub 스타 10만 개를 넘기며 STT 오픈소스의 사실상 기준이 됐고, Microsoft가 공개한 VibeVoice도 5만 개를 넘어섰다(2026-08 기준). 고품질 음성 AI를 구축할 수 있는 환경이 급격히 좋아진 만큼, 서비스 개발을 전문 팀에 맡길 때 선택 기준을 제대로 알고 접근해야 한다.

AI 음성인식 서비스, 왜 지금 만들어야 하나요?

오픈소스 확산으로 비용 구조가 달라졌다

불과 2~3년 전만 해도 고품질 STT는 Google, Amazon, 네이버 같은 대형 플랫폼의 클라우드 API에 의존할 수밖에 없었다. 지금은 Whisper, Voxtral, VibeVoice 같은 오픈소스 모델들이 상용 API에 근접하거나 일부 도메인에서 앞서는 성능을 보여준다. 온프레미스 배포, 보안 격리 환경에서의 STT 구현이 현실적인 선택지가 됐다.

기업 보안 요구가 증가했다

의료, 법률, 금융 도메인에서는 외부 클라우드 API로 오디오를 전송하는 것 자체가 규정 위반이 될 수 있다. 자체 서버 또는 폐쇄망에서 돌아가는 STT 파이프라인 수요가 여기서 나온다.

도메인 특화 정확도가 경쟁력이 됐다

일반 STT 모델은 일상 대화에는 강하지만, 의학 용어, 법률 용어, 제조 현장 용어가 섞이면 인식률이 급락한다. 커스텀 파인튜닝과 후처리 NLP가 결합된 맞춤 솔루션이 필요한 이유다.

실시간인가 배치인가 — 견적이 여기서 갈린다

STT 발주에서 가장 먼저 확정해야 할 것은 모델이 아니라 처리 방식이다. 같은 「음성 인식」인데 구조·비용·난이도가 전부 다르다.

정확도가 필요하면 배치, 즉시성이 필요하면 실시간이다. 둘 다 요구하면 비용이 두 배가 아니라 그 이상이 된다 — 실시간으로 받고 사후에 배치로 다시 돌려 보정하는 구조가 되기 때문이다.

⚠️ 「실시간으로 해주세요」가 정말 실시간이 필요한 경우는 생각보다 적다. 회의가 끝난 뒤 5분 안에 회의록이 나오면 되는 요구를 실시간으로 만들면, 정확도는 떨어지고 비용은 오른다. 결과를 언제 봐야 하는지를 초 단위로 물어보면 대개 배치로 정리된다.

한국어 STT에서 실제로 문제가 되는 것

영어 벤치마크 수치를 그대로 믿으면 안 된다. 한국어에서 정확도를 깎는 요인이 따로 있다.

• 고유명사·사내 용어 — 제품명·부서명·약어는 기본 모델이 못 알아듣는다. 어휘 사전(커스텀 보캐뷸러리) 지원 여부를 반드시 확인한다
• 숫자·단위 표기 — 「삼천오백」을 3500으로 쓸지 그대로 둘지, 「십오 프로」를 15%로 바꿀지가 후처리 영역이다
• 다중 화자 겹침 — 회의에서 두 명이 동시에 말하면 어느 모델이든 무너진다. 마이크 배치가 모델 선택보다 큰 변수다
• 방언·억양 — 표준어 학습 데이터에 치우쳐 있어 지역 억양에서 정확도가 눈에 띄게 떨어진다

WER(단어 오류율) 수치를 받을 때는 어떤 음원으로 잰 것인지 함께 묻는다. 스튜디오 녹음과 실제 콜센터 통화의 WER은 두 배 이상 차이 난다. 우리 실제 녹음 파일로 시범 테스트를 요구하는 것이 가장 확실한 검증이다.

화자 분리가 필요하면 화자 분리 Whisper에 붙이기에 pyannote 구축과 DER 읽는 법을 정리했다.

요금 구조를 비교 가능하게 만든다

업체마다 과금 단위가 달라 견적서를 나란히 놓아도 비교가 안 된다. 같은 단위로 환산해서 본다.

⚠️ 월 사용량을 먼저 계산하고 견적을 받는다. 「하루 통화 200건 × 평균 4분 = 월 24,000분」처럼 숫자를 내밀면 업체가 실제 금액을 낸다. 안 그러면 최저 구간 단가만 적힌 견적서가 온다.

온프레미스는 손익분기를 계산한다. 서버·라이선스 초기비용을 클라우드 월 요금으로 나누면 몇 개월 만에 회수되는지 나온다. 월 사용량이 적으면 클라우드가 몇 년을 써도 싸다. 반대로 개인정보·보안 규정 때문에 음성이 외부로 나갈 수 없는 조직이라면 손익분기와 무관하게 온프레미스가 유일한 선택지가 된다 — 그 경우 비교 대상은 클라우드가 아니라 직접 구축 vs 구축 외주다.

AI 음성인식 개발 업체 선택 기준 5가지

1. 실제 음성 AI 개발 경험이 있는가?

"AI 챗봇 개발"이 아니라 "음성인식 서비스 개발" 경험이 있는 팀인지 구체적으로 물어봐야 한다. STT 모델 파인튜닝, 오디오 전처리 파이프라인, 실시간 스트리밍 처리, 다중 화자 분리(Speaker Diarization) 경험이 있는지 포트폴리오로 확인해야 한다.

2. 도메인 특화 파인튜닝 가능 여부

서비스에 특화된 용어나 발화 패턴이 있다면 범용 모델만으로는 부족하다. 커스텀 학습 데이터 구성, 파인튜닝, 성능 평가 프로세스를 직접 수행할 수 있는지 확인해야 한다.

3. 온프레미스/클라우드 배포 모두 가능한가?

외부 API 의존형 솔루션만 제공하는 업체라면 보안 규정이 까다로운 환경에서는 쓸 수 없다. 자체 GPU 서버 배포, 폐쇄망 환경 지원 여부를 계약 전에 확인해야 한다.

4. 후처리 NLP 파이프라인 구성 역량

STT의 출력은 전사 텍스트다. 이를 요약, 분류, 구조화된 데이터로 변환하는 NLP 파이프라인이 함께 필요한 경우가 많다. 회의록이라면 액션 아이템 추출, 콜센터라면 이슈 분류, 의료라면 SOAP 노트 생성 등—후처리 역량이 STT만큼 중요하다.

5. 투명한 커뮤니케이션

AI 개발 외주에서 흔히 나오는 불만이 "중간에 어떻게 돌아가는지 모르겠다"다. 개발 진행 상황 공유 방식, 이슈 발생 시 대응 프로세스, 중간 산출물 확인 방법을 미리 합의해야 한다.

2026년 AI 음성인식 솔루션 유형 비교

규모·상황별 최적 파트너

빠른 프로토타입, 일반 도메인: 네이버 클로바나 Google Cloud Speech-to-Text API로 빠르게 붙이는 것이 효율적이다. 특수 요건이 없다면 API 비용이 개발 비용보다 훨씬 저렴하다.

보안 필수, 내부 기술팀 보유: OpenAI Whisper나 VibeVoice를 내부 서버에 배포하는 방식이 장기적으로 비용 효율적이다. 단, GPU 서버 운영 역량이 필요하다.

전문 도메인 + 완성형 서비스 필요: 의료·법률·금융 등 특수 용어가 많고, STT부터 후처리 NLP까지 통합된 서비스가 필요하다면 커스텀 외주가 적합하다. 트리숲(음성 AI 개발 서비스)은 Asimula 음성인식 서비스 개발 경험을 바탕으로, 파인튜닝부터 실시간 스트리밍 서버 구축까지 풀 스택으로 제공한다.

트리숲이 적합하지 않은 경우: 단순 API 연동으로 충분한 일반 도메인 서비스라면 클라우드 API가 더 빠르고 저렴하다. 내부 ML 팀이 있다면 오픈소스 자체 구축도 좋은 선택이다.

도입 전 핵심 체크리스트

견적을 받기 전에 이 항목들을 우리 쪽에서 먼저 정해 두면 업체 비교가 가능해진다. 비워 두면 업체마다 다른 가정으로 견적을 내고, 그 견적서는 나란히 놓아도 의미가 없다.

음원 종류가 첫 칸인 이유는 그것이 정확도 상한을 정하기 때문이다. 전화 음성은 8kHz로 압축돼 있어 같은 모델이라도 회의 마이크 녹음보다 오류가 많다. 「정확도 95%」를 약속받았는데 그 숫자가 스튜디오 녹음 기준이면 우리 콜센터에서는 재현되지 않는다.

보관 위치는 업체 후보를 통째로 바꾼다. 개인정보나 의료 정보가 섞인 음성을 외부 클라우드로 보낼 수 없는 조직이 많다. 그 경우 클라우드 API 업체는 처음부터 후보가 아니고, 온프레미스 구축 가능한 쪽만 남는다. 견적을 받고 나서 알게 되면 비교 작업을 처음부터 다시 한다.

업체에게 확인할 것

위가 우리 쪽에서 정할 것이라면, 아래는 업체에게 물을 것이다. 코드블록이 아니라 목록으로 둔 것은 그대로 복사해 쓰도록 한 것이다.

• ☐실제 STT 프로젝트 포트폴리오 — 우리와 같은 음원 종류를 다룬 건이 있는가
• ☐커스텀 파인튜닝 경험 — 어떤 데이터로, 어떤 도메인에서 했는가
• ☐실시간 스트리밍 처리 가능 여부와 지연(latency) 실측값
• ☐다중 화자 분리 지원 여부와 그때의 DER 수치
• ☐온프레미스·폐쇄망 배포 경험 — 사내망 요구가 있으면 필수
• ☐후처리 파이프라인 구성 경험 — 요약·분류까지 갈 경우
• ☐용어 사전(커스텀 보캐뷸러리) 적용 방식과 갱신 주기
• ☐개발 일정과 커뮤니케이션 방식
• ☐납품 후 유지보수·모델 업데이트 계획과 비용

첫 항목이 가장 중요하다. 「STT 프로젝트 경험 있습니다」는 거의 모든 업체가 답할 수 있다. 우리가 전화 음성을 다룰 거라면 전화 음성 8kHz 를 다룬 건이 있는지 물어야 한다. 회의 녹음 경험만 있는 팀은 같은 모델로도 다른 결과를 낸다.

AI 음성인식/STT 서비스 개발을 검토 중이라면 카카오톡으로 문의하세요.

STT 도입 한 건을 끝까지 — 콜센터 통화 녹취

항목을 나열해도 막상 발주하려면 막힌다. 작은 건 하나를 요구사항부터 검수 기준까지 끝까지 적어 본다.

전제 — 상담원 20석 콜센터. 하루 통화 600건, 평균 4분. 통화 내용을 텍스트로 남겨 검색하고, 불만 통화를 자동으로 찾아내고 싶다. 통화 녹음은 이미 사내 서버에 쌓이고 있다.

1단계 — 체크리스트를 채운다

월 52,800분이라는 숫자가 나오면 과금 비교가 가능해진다. 분당 과금 업체와 월 정액 업체의 견적을 같은 축에 놓을 수 있다.

2단계 — 모노 녹음이 과업을 하나 늘린다

상담원과 고객이 한 채널에 섞여 있으면 「누가 말했는지」를 모델이 추정해야 한다. 스테레오로 분리 녹음돼 있으면 이 과업이 사라진다.

그래서 발주 전에 녹음 장비 설정을 먼저 확인하는 편이 싸다. 스테레오로 바꿀 수 있으면 그게 가장 값싼 정확도 개선이다. 화자 분리를 붙여야 한다면 구축 방법과 DER 읽는 법은 화자 분리 Whisper에 붙이기에 정리했다.

3단계 — 정확도 기준을 숫자로 만든다

「정확도 95% 이상」은 판정 기준이 아니다. 무엇을 95%로 볼지가 비어 있다.

측정 단위를 고르는 것이 핵심이다. 한국어는 어절 단위 WER보다 문자 단위 CER이 실제 품질에 가깝다. 조사 하나 틀린 것과 명사가 틀린 것이 WER에서는 같은 1개 오류로 세어지기 때문이다. 그리고 검색이 목적이라면 명사 정확도가 전체 정확도보다 중요하다 — 조사가 틀려도 검색은 된다.

샘플은 우리가 고른다. 업체가 고른 음원으로 측정하면 좋은 숫자가 나온다. 조용한 통화·긴 통화·잡음 통화·사투리 통화를 섞어 50건을 우리가 지정하고, 그 목록을 과업지시서에 별첨으로 붙인다.

4단계 — 과업과 검수 문장

정리하면 과업지시서에 이렇게 들어간다.

월 52,800분 규모의 전화 음성(8kHz 모노)을 배치 전사한다. 화자 분리를 포함하며, 전 구간 사내망에서 처리한다. 발주처가 지정한 통화 50건 샘플 기준으로 CER 8% 이하, 별첨 용어 사전 200개의 정확 일치 90% 이상, 2인 통화 화자 분리 DER 15% 이하를 만족한다. 불만 분류는 발주처가 라벨한 100건 기준 재현율 80% 이상으로 한다. 측정에 쓴 샘플·원시 결과·오류 목록을 제출물에 포함한다.

성능·정확도 기준을 발주 문서에 숫자로 넣는 일반적인 방법은 부하테스트 가이드의 판정 문장 절에, 검수 기준을 문서화하는 방법은 테스트 케이스 작성과 검수 기준에 정리했다.

5단계 — 이 건에서 틀리기 쉬운 것

---

STT 솔루션은 어떻게 고르나?

STT(Speech-to-Text, 음성인식)는 음성을 텍스트로 변환하는 기술이며, 최근에는 LLM과 결합해 전사에 더해 요약·분류·구조화 추출까지 수행합니다. 도입 방식은 크게 세 가지로 갈립니다. 클라우드 API는 초기 구축이 빠르고 운영 부담이 적지만 호출량에 비례해 비용이 늘고 음성 데이터가 외부로 전송됩니다. 오픈소스(Whisper 계열)는 자체 인프라에서 돌려 데이터 반출이 없고 호출 비용이 들지 않는 대신 GPU와 운영 인력이 필요합니다. 커스텀 개발은 도메인 용어와 화자 환경에 맞춰 파인튜닝하므로 전문 용어가 많은 의료·법무·콜센터에서 정확도가 가장 높지만 구축 기간과 비용이 큽니다. 선택 기준은 세 가지입니다. 음성 데이터를 외부로 보낼 수 있는가, 월 처리량이 얼마인가, 도메인 전문 용어 비중이 높은가. 반출이 막혀 있으면 오픈소스나 온프레미스가 전제 조건이 됩니다.

회의록처럼 발언자 구분이 필요하면 전사와 별개로 화자 분리를 붙여야 한다. 구성 방법은 화자 분리 가이드에서 다뤘다.

업체를 고르는 것과 직접 구축하는 것 사이에서 고민 중이라면, 트리숲의 AI-Native 개발 방식은 PoC를 먼저 짧게 돌려 판단 근거를 만드는 순서로 진행합니다.

자주 묻는 질문 (FAQ)

Q: AI 음성인식/STT 서비스 개발 비용은 얼마인가요?

A: 범위에 따라 크게 다르다. 클라우드 API 연동 기반 프로토타입은 수백만 원, 커스텀 STT 파이프라인 구축은 3,000만~7,000만 원, 도메인 특화 파인튜닝과 실시간 스트리밍 서버까지 포함하면 1억 원 이상이 될 수 있다. 요건을 명확히 정의한 후 견적을 받는 것이 중요하다.

Q: AI 음성인식 개발 기간은 얼마나 걸리나요?

A: 기본 STT + 요약 파이프라인 프로토타입은 4~6주, 도메인 파인튜닝과 실서비스 배포까지는 3~6개월이 일반적이다. 가장 시간이 걸리는 부분은 학습용 음성 데이터 수집·정제와 파인튜닝 반복 검증이다. 데이터 준비가 미리 되어 있으면 일정을 크게 단축할 수 있다.

Q: 한국어 음성인식 품질은 얼마나 되나요?

A: 2026년 기준 주요 오픈소스 모델(Whisper large-v3, VibeVoice 7B)의 일반 한국어 인식률은 WER(단어 오류율) 5~10% 수준으로 상용 API와 비교해도 손색없다. 단, 전문 용어가 많은 의료·법률 도메인에서는 파인튜닝 없이 WER 20~30%가 나오는 경우도 있어 도메인 특화 학습이 필수다.

Q: 사내 보안 환경(폐쇄망)에서도 STT 서비스 구축이 가능한가요?

A: 가능하다. OpenAI Whisper나 VibeVoice 같은 오픈소스 모델은 온프레미스 GPU 서버에 배포해 외부 인터넷 없이 운영할 수 있다. 폐쇄망 환경이라면 초기 모델 다운로드와 업데이트 방식을 별도로 협의해야 한다. GPU 서버가 없다면 프라이빗 클라우드(KT 클라우드, NAVER 클라우드 등) 내부 배포도 선택지다.

Q: STT와 LLM을 어떻게 함께 활용하나요?

A: 일반적인 통합 파이프라인은 음성 → STT(전사) → LLM(요약/분류/응답 생성) 순서다. 콜센터라면 통화 내용을 전사 후 LLM이 이슈를 자동 분류하고 대응 스크립트를 생성한다. 회의록이라면 전사 텍스트를 LLM이 안건별로 요약하고 액션 아이템을 추출한다. 이 파이프라인 설계와 각 단계 최적화 경험이 있는 업체를 찾는 것이 중요하다.

---

글쓴이: 남대현 | TreeSoop CEO, POSTECH 컴퓨터공학 AI/MR/HCI 석사 AI 전환 전략부터 프로덕션 배포까지 50+ 프로젝트를 리드했습니다. AI 음성인식 서비스 개발이 필요하시면 카카오톡으로 문의하세요.