2026년 9월 11일 AI 뉴스 — 에이전트 테스트 벤치마크, 나비에-스토크스, 루프 트랜스포머

오늘 AI 뉴스는 "에이전트를 어떻게 굴려야 실제로 나아지는가"에 대한 실증 데이터가 유난히 많습니다. 좋은 테스트 기법을 알려줬더니 오히려 정확도가 떨어졌다는 26종 벤치마크, 오픈AI 내부에서 코딩 에이전트가 사람 노동량을 넘어선 시점을 기록한 자료, 그리고 논란까지 함께 몰고 온 밀레니엄 문제 해답이 나란히 올라왔습니다. 여기에 GPT-6 아스트라의 구조 분석과 큐원 3.8 양자화 실측, 팀 단위 AI 도구들이 이어집니다.

테스트 기법 알려주면 에이전트 더 틀린다

댄 루가 AI 에이전트에게 러스트로 Zstd 압축을 구현시키면서 26가지 테스트·검증 기법을 벤치마크했습니다. TDD, 퍼징, 차분 테스트, 변이 테스트, 프로퍼티 기반 테스트(QuickCheck, Proptest)부터 Verus, Lean 4, Creusot, ACL2, TLA+, Kani 같은 정형 검증까지 폭넓게 다뤘고, 조건당 약 80회씩 시행해 숨겨진 테스트 스위트로 정확도를 측정했습니다.

결과는 반직관적입니다. 아무 지시도 하지 않은 기본 상태가 대부분의 전문 기법보다 정확도가 높았습니다. TDD는 사람 기준의 모범 사례임에도 눈에 띄게 성적이 나빴고, 정형 검증은 이론적 엄밀함과 무관하게 거의 도움이 되지 않았습니다. 에이전트가 실제 코드 대신 무관한 성질을 증명해 버리는 패턴이 반복됐기 때문입니다. 퍼징은 160건 중 5건에서만 쓸 만한 구조적 랜덤 테스트를 만들어냈습니다.

더 뼈아픈 대목은 널리 추천되는 스킬들이 오히려 정확도를 떨어뜨렸다는 점입니다. 반대로 가장 좋은 성적을 낸 것은 기법을 가르치는 대신 에이전트의 기본 행동에서 벗어나도록 살짝 밀어주는 커스텀 스킬이었습니다. 기법 이름을 프롬프트에 적어 넣는 것만으로는 원리가 전달되지 않는다는 결론입니다.

https://danluu.com/agentic-testing/

오픈AI, 나비에-스토크스 해답 공개

오픈AI가 밀레니엄 문제 중 하나인 나비에-스토크스 존재성·매끄러움 문제에 대한 해답을 공개했습니다. 사내 AI 모델이 88시간 동안, 최대 1만 개의 에이전트를 사실상 동시에 굴려 도출했고, Lean으로 작성된 정형 증명을 함께 냈습니다. 결과는 긍정적 해결이 아니라 유한 시간 폭발(finite-time blowup)입니다. 에너지는 유계로 유지되면서도 소용돌이가 점점 조여들며 무한히 빨라지는 구성을 제시했습니다.

정형 증명을 첨부했다는 점이 이 발표의 핵심입니다. 사람이 일일이 검토하지 않아도 증명 검증기가 논리적 정합성을 확인할 수 있어, "AI가 수학 문제를 풀었다"는 주장의 검증 비용이 크게 떨어집니다.

다만 논란도 같이 왔습니다. 오픈AI는 9월 1일 소문을 듣고 작업을 시작해 9월 6일 Lean 검증까지 마친 뒤 원 연구자들에게 공동 발표를 제안했는데, 그제서야 상대 연구가 나비에-스토크스가 아니라 강제 오일러 방정식이라는 인접한 별개 문제였음을 알게 됐다고 밝혔습니다. 클레이 수학연구소는 여전히 이 문제를 미해결로 분류하고 있습니다. 공식 인정에는 적격 학술지 게재 후 2년 이상 유지와 수학계의 일반적 수용이 필요합니다.

https://openai.com/index/navier-stokes-solution

오픈AI, 에이전트가 바꾼 연구 속도 공개

오픈AI가 사내에서 코딩 에이전트가 AI 연구 자체를 어떻게 바꾸고 있는지 내부 데이터를 공개했습니다. 숫자가 구체적입니다. 2026년 8월 기준 연구자 1인당 실험 횟수는 2025년 1월 추적 시작 이래 최고치를 찍었고, 8월 중순에는 사람 근무일 1일당 에이전트 근무일 3.1일이 돌아가고 있었습니다. 2026년 6월 이전까지만 해도 연구 조직 전체의 에이전트 총 가동 시간은 사람 노동량보다 적었는데, 그 관계가 역전된 겁니다.

같은 시점 중간값 연구자는 매일 에이전트를 업무에 끼워 넣고 있었고, API 정가 기준 하루 600달러 이상의 추론을 소비했습니다. 위임되는 작업의 성격도 바뀌어, 더 높은 수준의 장기 과제로 옮겨가는 추세라고 합니다. 사내 연구 인프라 트러블슈팅에서 특히 잘 통해서, 실험 문제 해결을 돕던 팀들의 오피스아워 참석률이 2026년 들어 눈에 띄게 줄었고 한 팀은 아예 세션을 접었습니다.

오픈AI는 이 데이터가 "연구가 사람 없이 굴러간다"는 뜻은 아니라고 선을 그었습니다. 다만 프론티어 랩의 일상 운영에서 에이전트 보조 작업이 이미 실질적인 비중을 차지한다는 점은 분명해졌습니다.

https://openai.com/index/research-acceleration-view-inside-openai

GPT-6 아스트라, 루프 트랜스포머 해부

세바스찬 라슈카가 GPT-6 아스트라에 적용됐다고 알려진 루프형 트랜스포머 구조를 정리했습니다. 서로 다른 블록을 층층이 쌓는 대신 같은 블록을 여러 번 통과시키는 방식입니다. 예컨대 난베이지는 22개 블록을 두 번 적용해 실질 44층을 확보하면서 가중치는 22개 분량만 저장합니다. 새로운 아이디어는 아니고 2018년 유니버설 트랜스포머까지 거슬러 올라가지만, 최근 모델들이 다시 채택하면서 주목받고 있습니다.

아스트라 적용 여부는 아직 확정되지 않았습니다. 디인포메이션 보도에서 순환 깊이 개념이 언급됐고, 오픈AI 수석과학자는 아스트라를 포함한 현 프론티어 모델의 계산 그래프 깊이가 GPT-4의 두 배 이내라고만 말했을 뿐 루프 사용을 명시하지는 않았습니다.

라슈카의 핵심 주장은 추론 체인이 짧아진 것을 "숨겨진 추론"으로 읽지 말라는 것입니다. 더 유능한 모델일수록 같은 문제를 더 적은 토큰으로 푸는 게 자연스럽고, 실력 있는 학생이 시험지 여백을 덜 쓰는 것과 같다는 비유를 듭니다. 이미 GPT-5.6 솔이 비슷한 성능에서 루나보다 훨씬 적은 토큰을 쓰고 있고, 루프 구조가 오해를 유발하는 추론 흔적을 만든다는 증거도 없다는 설명입니다.

https://magazine.sebastianraschka.com/p/gpt-6-astra-looped-transformers-and

큐원 3.8 양자화, 1비트는 무너졌다

큐원 3.8 27B를 양자화 수준별로 벤치마크한 결과가 나왔습니다. BF16 원본(55GB)을 기준으로 8비트 Q8_0(29GB), 4비트 Q4_K_M(17GB), 2비트 UD-Q2_K_XL(10.7GB), 1비트 UD-IQ1_S(6.2GB)를 GPQA Diamond, IFBench, Terminal-Bench 2.1로 비교했습니다.

4비트가 놀랄 만큼 잘 버팁니다. GPQA Diamond에서 BF16이 약 93%일 때 4비트가 약 92%, 에이전트 코딩 과제인 Terminal-Bench 2.1에서도 BF16 약 77%에 4비트가 약 76%로 사실상 동률입니다. 2비트부터 GPQA 약 90%, Terminal-Bench 약 70%로 눈에 띄게 떨어지기 시작합니다.

1비트에서는 붕괴합니다. GPQA Diamond 약 50%로 사실상 찍는 것보다 못한 수준이고, 지시 이행 능력도 심각하게 망가집니다. 열화가 선형이 아니라는 점이 실무적으로 중요합니다. VRAM을 아끼려고 단계를 하나씩 내리다 보면 어느 지점에서 갑자기 무너지는데, 이 자료가 그 경계를 구체적인 숫자로 보여줍니다.

https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/

텐센트, 팀 전체 AI화 CLI 공개

텐센트가 teamai-cli를 오픈소스로 공개했습니다. 개인 생산성 도구가 아니라, 팀 전체가 같은 규칙과 스킬로 에이전트를 굴리게 만드는 관리 도구입니다.

동작은 깃 워크플로 그대로입니다. 스킬·규칙·문서를 저장소에 모아두고 push한 뒤 머지 리퀘스트로 리뷰하고, 승인되면 팀원들의 로컬 AI 도구로 자동 동기화됩니다. 클로드 코드, 커서, 코덱스, 오픈코드 등 10개 안팎의 플랫폼을 지원해서, 팀원마다 쓰는 도구가 달라도 같은 표준이 적용됩니다.

베타 기능 두 가지도 눈에 띕니다. 팀 컨텍스트는 세션에서 문제가 발생하면 AI가 교훈을 문서화하도록 제안하고, 리콜 서브에이전트가 작업 시작 전에 축적된 지식을 먼저 뒤집니다. 팀 개선 기능은 대시보드로 사용량과 지식베이스 상태를 보여줘서 실제로 쓰이는 자산이 무엇인지 파악하게 해줍니다. 개별 에이전트 최적화가 아니라 거버넌스와 지식 공유에 초점을 둔 설계입니다.

https://github.com/Tencent/teamai-cli

플레이라이트 CLI, 토큰 확 줄었다

플레이라이트가 코딩 에이전트에서 직접 호출할 수 있는 CLI를 내놨고, 클로드 코드 사용자들이 토큰 절감 효과를 보고하고 있습니다. 기존 브라우저 스킬 방식은 크롬에서 확장 프로그램을 테스트하는 동안 페이지 상태를 통째로 컨텍스트에 밀어 넣어야 해서 소모가 컸습니다.

CLI 방식은 명령을 실행하고 결과만 돌려받기 때문에 컨텍스트 낭비가 훨씬 적습니다. 브라우저 테스트를 에이전트에게 맡기면서 토큰 한도에 시달렸다면 바꿔볼 만한 경로입니다.

https://www.reddit.com/r/ClaudeCode/comments/1wbwpwv/fiy_playwrite_released_a_cli_that_cc_can_interact/

PI-Desktop, 로컬 우선 코딩 에이전트

PI-Desktop은 클라우드 릴레이나 계정 없이도 돌아가는 AI 코딩 에이전트 데스크톱 앱입니다. 작업 방식을 세 가지 모드로 나눈 게 특징인데, 에이전트 모드는 즉시 실행하며 반복하고, 플랜 모드는 실행 전에 계획을 승인받으며, 골 모드는 결과만 정해주면 방법은 에이전트가 정합니다.

구조는 네 층으로 분리돼 있습니다. 리액트 렌더러가 UI를, 일렉트론 메인이 데스크톱 동작을, 러스트 호스트 코어가 권한과 파일시스템 접근을, pi 에이전트 사이드카가 모델 상호작용과 추론 루프를 맡습니다. 권한 관리를 러스트 코어로 격리한 설계라 파일 접근 통제가 명확한 편입니다.

여기서 말하는 로컬 우선은 대화와 설정을 JSONL·SQLite로 로컬에 저장하고, API 자격증명은 OS 키체인에 넣으며, PI가 운영하는 릴레이를 거치지 않는다는 뜻입니다. 자체 텔레메트리도 수집하지 않습니다. 다만 원격 모델 제공자로 보내는 요청은 당연히 해당 업체 정책을 따르므로, 완전한 오프라인을 뜻하지는 않습니다. 확장은 스킬, MCP 서버, 서브에이전트, 플러그인 네 갈래로 열려 있습니다.

https://github.com/vastsa/PI-Desktop

마치며

오늘 소식을 관통하는 흐름은 명확합니다. 에이전트를 쓰는 것 자체는 이미 기본값이고, 관심사는 "어떻게 지시해야 실제로 나아지는가"로 옮겨갔습니다. 댄 루의 벤치마크는 좋은 방법론을 말로 알려주는 것만으로는 오히려 나빠질 수 있음을 보여줬고, 오픈AI의 사내 데이터는 효과가 실험 회전율 같은 지표에서 드러난다는 걸 숫자로 확인해 줬습니다. 나비에-스토크스 발표에 정형 증명이 따라붙은 것도 같은 맥락입니다. 결과를 검증할 수 있는 형태로 내놓는 쪽이 결국 신뢰를 얻습니다.

나무숲은 이런 변화를 매일 추적하면서 실제로 쓸 수 있는 형태로 정리하고 있습니다. 매일 아침 AI 뉴스를 받아보고 싶다면 treesoop.com을 확인해 보세요.