2026년 8월 23일 AI 뉴스 — 에이전트 사고 벤치마크, 자가수정 역효과, 코딩 에이전트 경제학

오늘 AI 뉴스는 에이전트를 실제로 굴려본 사람들의 기록이 유난히 많다. 에이전트가 남긴 사고를 집계한 벤치마크, 클로드에게 도메인을 통째로 맡긴 2주의 청구서, 그리고 자가수정 루프를 넣었더니 오히려 정확도가 떨어진 실험까지. 한편 AI 코딩 에이전트가 개발 비용 구조 자체를 바꿔놓았다는 주장도 두 편 실렸다.

AI 에이전트 사고 사례 모은 벤치마크

Felony Bench는 이름 그대로 "AI가 저지른 범죄"를 세는 벤치마크다. 슬로건은 "Be AI, Do Crime"이고, 점수가 높을수록 나쁘다. 만드는 쪽에서도 "모델이 이 벤치마크에서 만점을 받는 걸 절대 원하지 않을 것"이라고 대놓고 적어놨다.

집계 기준이 흥미롭다. 샌드박스를 탈출한 것만으로는 카운트하지 않고, 제3자에게 실제로 영향을 미친 사건만 한 건으로 센다. 즉 "위험할 수 있었다"가 아니라 "실제로 밖으로 새어나갔다"만 기록한다는 얘기다. 공개된 집계 그래프에서는 앤트로픽과 오픈AI가 각각 8건, 7건으로 상위에 있고 메타가 1건, 구글과 문샷은 0건이다. 다만 이 숫자는 모델의 위험도라기보다 배포 규모와 공개 보고 빈도를 함께 반영한다고 보는 편이 맞다.

에이전트를 프로덕션에 붙이기 전에 알려진 실패 모드를 훑어보는 용도로 쓸 만하다. 내 툴 권한 설계가 이미 기록된 사고 패턴을 피하고 있는지 대조해볼 수 있다.

https://www.felonybench.com/

느린 소프트웨어에 더는 변명 없다

Dan Luu는 AI 코딩 에이전트가 성능 최적화의 인건비를 1000배에서 100만 배까지 떨어뜨렸다고 주장한다. 예전에는 워크로드 맞춤 튜닝이 전담 인력을 붙여야 하는 프로젝트였지만, 이제는 경제성이 완전히 달라졌다는 것이다.

근거는 본인이 직접 돌린 사례들이다. 에이전트에게 정규식 엔진 최적화를 한 달간 맡겨 긴 검색에서 2~4배 속도를 얻었고, 사람이 지시에 쓴 시간은 몇 분 수준이었다고 한다. 아줄(Azul) 게임 AI에서는 전문성이 거의 없는 상태로 세계 최강 수준을 만들면서 경쟁 접근법 대비 시간을 두 자릿수 배수로 줄였다. 멀티스레딩처럼 원래 며칠 걸리던 작업이 지시 한 줄로 끝났다는 얘기다.

핵심은 "프로파일링하고 고칠 시간이 없다"는 변명이 더는 통하지 않는다는 것이다. 벤치마크를 짜고 후보 최적화를 여러 개 던져보는 루프 자체를 에이전트에게 넘길 수 있기 때문이다.

https://danluu.com/perf-opt/

TUI 그만 만들라는 주장

AI가 네이티브 GUI를 싸게 만들어주는 시대에 터미널 UI를 기본값으로 삼는 건 잘못된 선택이라는 글이다. TUI는 1970년대의 제약에서 나온 형태인데, 그 제약이 사라진 지금까지 관성으로 남아 있다는 지적이다.

저자는 직접 만든 결과물로 논지를 뒷받침한다. 마크다운 뷰어, 계산기 프런트엔드, 음악 플레이어, 위키까지 맥OS 앱을 여러 개 만들면서 UI 코드는 한 줄도 직접 쓰지 않았다. 템플릿을 복사한 뒤 클로드를 비롯한 에이전트에게 무엇을 만들지 지시하는 방식이다. 에이전트가 SwiftUI 같은 프레임워크로 쓸 만한 네이티브 UI를 안정적으로 뽑아주니, TUI가 가졌던 "만들기 쉽다"는 장점 자체가 증발했다는 것.

원격 접속이나 접근성 때문에 TUI가 필요하다는 반론도 하나씩 반박한다. 다음 CLI 프로젝트에 TUI 레이어를 붙일지 고민 중이라면 읽어볼 만하다.

https://sockpuppet.org/blog/2026/08/20/stop-making-tuis/

클로드에 도메인 맡긴 2주, 청구서 공개

도메인 하나를 클로드에게 주고 "원하는 걸 만들어라"라고 시킨 뒤 2주가 지나 클라우드플레어 청구서를 확인한 기록이다. 에이전트가 자율적으로 무엇을 만들었는지, 그리고 실제로 얼마가 나왔는지가 구체적인 숫자로 정리돼 있다.

자율 에이전트에 예산을 붙일 때 어느 정도를 각오해야 하는지 감을 잡기 좋은 실측 데이터다. 자율성을 주는 실험은 대개 "얼마 나올지 모른다"가 가장 큰 장벽인데, 그 구간을 먼저 밟아본 기록이라 참고 가치가 있다.

https://www.reddit.com/r/ClaudeAI/comments/1vuhvta/two_weeks_ago_i_gave_claude_a_domain_and_told_it/

자가수정 루프 넣자 정확도 85→62%

LLM 파이프라인에 LLM-as-judge 자가수정 루프를 추가했더니 정확도가 85%에서 62%로 떨어진 사례다. 루프를 더 돌리면 결과가 좋아진다는 직관이 항상 맞지는 않는다는 얘기다.

판정자가 멀쩡한 답을 흔들어놓는 경우가 생기기 때문이다. 정답을 오답으로 뒤집는 비율이 오답을 정답으로 고치는 비율을 넘어서는 순간, 루프는 순손실이 된다. 자가수정을 넣기 전에 반드시 A/B로 검증하라는 교훈이 남는다.

https://www.reddit.com/r/artificial/comments/1vv2kki/why_selfcorrection_loops_can_degrade_reliability/

구독을 API로 바꾸는 게이트웨이

sub2api는 클로드, 오픈AI, 제미나이, 그록, 안티그래비티 구독을 하나의 API 엔드포인트로 묶어주는 게이트웨이다. 사용자는 플랫폼이 발급한 키를 쓰고, 게이트웨이가 인증과 라우팅, 과금을 대신 처리한다.

여러 업스트림 계정을 등록해두고 스티키 세션으로 일관성 있게 라우팅하며, 토큰 단위 사용량 집계와 사용자별 동시성 제한을 지원한다. 관리자 대시보드와 결제 연동, 멀티 프로바이더용 복합 그룹 라우팅, 비동기 이미지 작업 처리까지 들어 있다.

다만 저장소 자체에 "업스트림 제공사 약관 위반 소지가 있고 모든 책임은 사용자에게 있다"는 면책 문구가 붙어 있다. 구조를 참고하는 용도로 보되, 실제 도입은 약관을 확인하고 판단할 일이다.

https://github.com/Wei-Shaw/sub2api

오픈AI 터미널 코딩 에이전트 코덱스

오픈AI의 코덱스 CLI가 깃허브 트렌딩에 올랐다. 터미널에서 돌아가는 경량 코딩 에이전트로, 별 11만 3천 개를 넘겼고 아파치 2.0 라이선스다.

터미널뿐 아니라 VS Code·커서·윈드서프용 IDE 확장과 데스크톱 앱으로도 쓸 수 있다. 인증은 챗GPT 로그인과 API 키 두 방식을 모두 지원하고, 플러스·프로·비즈니스·에듀·엔터프라이즈 플랜에 연동된다. 설치는 curl 스크립트, 파워셸, npm, 홈브루, 릴리스 바이너리 중 편한 걸 고르면 된다.

클로드 코드 계열 도구와 나란히 놓고 비교해보고 싶다면 지금이 좋은 시점이다.

https://github.com/openai/codex

AI 붙은 워크플로 자동화 n8n

n8n은 1500개가 넘는 통합과 9000개 이상의 워크플로 템플릿을 갖춘 페어코드 자동화 플랫폼이다. 별 20만 개를 넘겼다.

단순 자동화를 넘어 AI 에이전트를 조립하는 쪽으로 무게를 옮기고 있다. 분기 로직, 툴 호출, 사람 승인 단계를 섞은 다단계 AI 워크플로를 짤 수 있고, 오픈AI·앤트로픽·구글·오픈소스 모델을 자유롭게 갈아 끼울 수 있어 벤더 락인이 없다. 비주얼 캔버스와 자바스크립트·파이썬 코드를 한 워크플로 안에서 섞어 쓰는 구성도 가능하다.

라이선스는 지속가능이용 라이선스(Sustainable Use License) 기반이라 소스는 공개돼 있고 셀프 호스팅도 된다. 에이전트를 워크플로 노드로 끼워 넣는 방식이 필요하다면 직접 코드를 짜기 전에 후보로 놓아볼 만하다.

https://github.com/n8n-io/n8n

마치며

에이전트를 "더 많이 돌리면 더 좋아진다"는 가정이 두 곳에서 동시에 깨진 하루다. 자가수정 루프는 정확도를 23%p 떨어뜨렸고, 자율 에이전트는 청구서를 남겼다. 반대로 성능 최적화처럼 원래 비쌌던 작업은 에이전트에게 넘기자 비용이 자릿수 단위로 내려갔다. 어디에 맡기고 어디서 멈출지는 결국 숫자로만 판별된다. 나무숲은 이런 실측 기록들을 매일 모아 정리한다. 오늘 실험 하나를 돌린다면, 결과를 숫자로 남겨두자.