LTX 2.3과 Helios, 오픈소스 AI 비디오 생성의 판도를 바꾸다

# LTX 2.3과 Helios, 오픈소스 AI 비디오 생성의 판도를 바꾸다

작년까지만 해도 AI 비디오 생성은 Sora, Runway, Kling 같은 유료 서비스의 영역이었습니다. 고품질 영상을 만들려면 월정액을 내거나, 클립당 수천 원을 지불해야 했죠. 직접 모델을 돌려보려면 아무리 작은 모델이라도 A100 같은 고사양 GPU가 필요했고요.

그런데 2026년 3월에 상황이 달라졌습니다. LTX 2.3과 Helios, 두 개의 오픈소스 AI 비디오 생성 모델이 연달아 공개되면서 "AI 비디오 생성이 일반 개발자에게도 열리는가"라는 질문이 실제로 테스트되고 있습니다.

LTX 2.3: 4K 영상을 소비자 하드웨어에서

LTX 2.3은 이스라엘 AI 기업 Lightricks가 공개한 22B 파라미터 DiT(Diffusion Transformer) 모델입니다. 스펙만 보면 단번에 눈에 띄는 숫자들이 있습니다. 4K 해상도, 최대 50fps, 오디오 동기화 지원입니다.

더 흥미로운 건 하드웨어 요건입니다. 공식 발표에 따르면 RTX 4090이나 M2 Pro MacBook 수준의 소비자 하드웨어에서 동작합니다. 물론 4K 풀 품질을 최대 성능으로 돌리려면 더 좋은 사양이 유리하지만, 데이터센터급 GPU 없이도 쓸 수 있다는 점이 핵심입니다.

개발자 입장에서 중요한 건 API 접근성입니다. Lightricks는 LTX API를 별도로 제공해서, 직접 모델을 호스팅하지 않아도 영상 생성 기능을 서비스에 통합할 수 있습니다. 모델 가중치도 공개되어 있어 자체 서버에서 운영하는 것도 가능합니다.

Helios: 60초 영상을 H100 한 장으로

Helios는 ByteDance, 베이징대(PKU), Canva 공동 연구팀이 만든 14B 파라미터 모델입니다. 숫자보다 중요한 건 무엇을 했냐는 거죠. H100 GPU 한 장에서 60초짜리 영상(1,440 프레임)을 19.5fps로 생성한다는 게 핵심 주장입니다.

보통 긴 영상을 만들 때는 KV 캐시나 양자화 같은 최적화 기법을 써서 메모리를 줄입니다. Helios는 그런 트릭 없이 풀 품질로 60초를 만들어냈다고 주장합니다. 이 부분이 특히 연구자들 사이에서 화제가 된 이유입니다.

모든 코드와 가중치가 GitHub과 Hugging Face에 공개되어 있어 재현 가능성도 높습니다. GitHub에서 PKU-YuanGroup/Helios 저장소의 스타 수가 공개 직후 빠르게 늘고 있는 것도 커뮤니티 관심도를 보여줍니다.

두 모델을 비교하면

LTX 2.3은 품질과 접근성의 균형을 잡았고, Helios는 긴 영상 생성에서의 효율성을 보여줬습니다. 두 모델이 커버하는 영역이 조금 다르죠.

실제로 어디에 쓸 수 있나?

이 모델들이 나왔다고 해서 당장 Sora나 Runway를 대체할 수 있냐고 묻는다면, 아직은 아닙니다. 일관성, 물리 시뮬레이션, 프롬프트 따르기 능력 등에서 상용 최고 수준 모델들과 차이가 있습니다.

그렇지만 다음 시나리오에서는 지금 당장 활용할 수 있는 수준이라고 생각합니다.

콘텐츠 마케팅 자동화: 제품 이미지를 받아서 짧은 소개 영상으로 변환하는 파이프라인. 완벽한 품질보다 빠른 속도와 비용이 중요한 상황에서 유용합니다.

프로토타입 영상 제작: 광고나 콘텐츠의 초안 영상을 AI로 빠르게 만들어 방향을 잡고, 최종 편집은 사람이 하는 워크플로우. 이미 일부 영상 에이전시에서 시도하고 있는 방식입니다.

교육/트레이닝 콘텐츠: 설명 영상을 텍스트 스크립트에서 자동으로 생성하는 시스템. 정확한 표현이 중요하지만 높은 시각적 완성도가 필수가 아닌 경우에 적합합니다.

AI 서비스 개발에서의 활용: 텍스트-투-비디오 기능을 사용자에게 제공하는 AI 서비스를 만들려는 팀에게 오픈소스 모델은 API 비용 없이 자체 서비스를 구축할 수 있는 선택지가 됩니다.

오픈소스 AI 비디오의 앞으로

AI 이미지 생성의 역사가 힌트를 줍니다. 2022년에 Stable Diffusion이 공개됐을 때도 비슷한 반응이 있었습니다. "Midjourney보다 품질이 낮다"는 평가와 함께 "그래도 오픈소스라 활용도가 다르다"는 반응이 공존했죠. 그리고 2년 뒤, Stable Diffusion 기반의 파인튜닝 모델들이 특정 분야에서 상용 모델을 넘어서는 수준이 됐습니다.

AI 비디오도 비슷한 경로를 밟을 가능성이 높습니다. 커뮤니티가 파인튜닝, 최적화, 새로운 응용을 쏟아내면서 오픈소스와 상용의 격차가 좁혀질 것입니다. 지금 시점은 이 생태계가 어떻게 발전하는지 주의 깊게 관찰하고, 자신의 서비스나 워크플로우에 어떻게 통합할지 실험해보기 좋은 때입니다.

AI 비디오 생성 기능을 서비스에 통합하거나, 관련 AI 제품 개발이 필요하다면 나무숲 블로그에서 더 많은 AI 기술 인사이트를 확인하실 수 있습니다.

---

*참고: LTX 2.3 공식 발표(Lightricks, 2026년 3월), Helios GitHub 공개(PKU-YuanGroup, 2026년 3월) 기준.*