프론티어 모델이 SWE-Bench Pro에서 23.3%에서 80.3%로 8개월 만에 3배 이상 뛰었다. 평가자들은 "AI 코딩의 변곡점"이라 썼다. 그런데 OpenAI가 2026년 7월 이 벤치마크를 직접 감사한 결과, 공개 태스크의 약 30%가 broken이다. 권고도 철회했다. AI 코딩 도구 순위표의 숫자는 과연 무엇을 측정하고 있었을까.

731건 태스크, 249건 broken — OpenAI 감사가 발견한 것

OpenAI는 2026년 7월 8일 SWE-Bench Pro의 공개 태스크 731건을 감사했다. 자동 파이프라인이 200건(27.4%), 엔지니어 5명의 교차 검증이 249건(34.1%)을 broken으로 판정했다. 최종 추정치는 약 30%다. 실패 모드는 네 가지다. 가장 많은 유형은 과도하게 엄격한 테스트(14.4%)다. 프롬프트에 없는 구현 세부사항을 테스트가 강제해 올바른 코드가 탈락하는 구조다. 두 번째는 불충분한 프롬프트(7.5%). 문제 설명에 필수 요구사항이 빠져 있어 정답을 도출할 수 없다. 테스트 커버리지가 낮은 태스크(4.1%)는 불완전한 수정도 통과시킨다. 잘못된 방향을 가리키는 프롬프트(1.9%)도 있다. 근본 원인은 태스크 설계 방식이다. SWE-Bench Pro의 태스크는 실제 GitHub PR 이력에서 추출됐다. 그런데 PR에 붙은 테스트는 일반적 정답 기준이 아니라 특정 변경을 검증하려고 작성된 것이다. 문제 의도와 테스트 의도가 일치하지 않는 태스크가 30%다. 23.3%에서 80.3%로의 상승곡선은 모델의 실력 향상과 벤치마크의 결함이 섞인 숫자였다.

추천하고 철회한 아이러니 — 평가 인프라의 신뢰가 흔들린다

더 문제는 이 사건의 전개 방식이다. OpenAI는 2026년 초 SWE-bench Verified가 데이터 오염과 설계 결함으로 더 이상 유효한 신호를 주지 못한다며 폐기를 권고했다. 동시에 SWE-Bench Pro로 전환하라고 커뮤니티에 제안했다. 그런데 몇 달 뒤 자신들이 추천한 Pro에서 30% broken을 발견하고 권고를 철회했다. 커뮤니티는 이 기간 동안 검증된 기준 하나 없이 연속된 권고와 철회를 따라온 셈이다. 마케팅은 이미 이 위에 세워졌다. 같은 시기 Grok 4.5는 SWE-Bench Pro 85.2%를 앞세워 출시됐다. 어떤 모델이 80%를 달성했다는 발표는 "80% 미라지"라는 조롱을 받았다. 독립 감사도 비슷한 결론이다. june.kim의 결정성 감사는 공개 태스크 728건 중 15.0%가 문제 정의만으로는 답을 결정할 수 없는 underdetermined 상태라고 집계했다. 평가 하네스에 따라 같은 모델의 점수가 45.9%에서 55.4%까지 움직인 실측도 있다. 모델 간 차이보다 하네스 차이가 더 큰 셈이다. 벤치마크 점수는 모델 실력이 아니라 모델과 벤치마크 버그와 평가 파이프라인의 합성값이다.

순위표 말고 사내 태스크 20개 — 실무 평가가 답이다

B2B 실무자에게 이 사건은 분명한 교훈을 준다. 판매사가 제시하는 벤치마크 점수는 참고용일 뿐 구매 근거가 아니다. 태스크당 평균 1.2개 파일을 건드리는 벤치마크와 4.1개 파일을 건드리는 벤치마크는 완전히 다른 게임이다. 자사 코드베이스에 가까운 쪽은 대부분 후자도 아니다. 레거시 코드, 오래된 빌드 시스템, 테스트 커버리지가 낮은 프로젝트는 어떤 공개 벤치마크도 대표하지 못한다. 내부 레포지토리에서 태스크 20개를 선정해 직접 평가하는 방식이 순위표보다 낫다. 2~4주 동안 평가 하네스를 튜닝하는 비용은 잘못된 도구 계약보다 싸다. 도입 결정은 자사 코드로 검증한 데이터만으로 내려야 한다. 벤치마크가 부서지면 판매사 슬라이드의 숫자도 같이 부서진다.

숫자가 말을 멈췄을 때

AI 코딩 도구의 순위표 숫자를 그대로 믿던 시대가 끝났다. OpenAI가 자신이 만든 기준을 폐기하고, 자신이 추천한 기준마저 broken으로 판정했다. 커뮤니티에는 검증된 기준이 하나도 남지 않았다. 이것은 AI 평가의 실패이자 기회다. 벤치마크 점수표 대신 사내 태스크 20개를 준비하라. 그 숫자가 진짜 실력이다. 순위표는 마케팅 자료일 뿐이고, 자사 코드로 검증한 데이터만이 도입 결정의 근거가 된다.