Prime Agent 공개, ARC-AGI-3에서 95.5% 기록

Prime Agent 공개, ARC-AGI-3에서 95.5% 기록

Prime Intellect가 2026년 8월 코딩·리서치 하네스 Prime Agent를 MIT 라이선스로 공개했고, Opus 5를 붙인 ARC-AGI-3 실행에서 RHAE Best@1 95.5%를 기록했다.

같은 지표의 인간 전문가 기준선은 95.4%이고, 보고된 세 번의 실행값은 95.0·95.2·95.5로 갈렸다. 설계의 핵심은 도구를 늘리는 대신 세션 내내 살아 있는 IPython 커널 하나로 줄이고, 서브에이전트 호출을 rlm("하위 작업")이라는 함수 호출로 바꾼 점이다. 여기에 실행 도중 자기 프롬프트·스킬·메모리·서브에이전트 정의를 직접 고치는 Continual Harness가 얹혔다. 코드는 github.com/PrimeIntellect-ai/prime-agent에 올라와 있고, 구독 계정·API 키·자체 호스팅 모델을 모두 받는다.

• ARC-AGI-3 · Opus 5 조합에서 RHAE Best@1 95.5%, Best@3 99.97%, 인간 전문가 기준선 95.4%

• 같은 조건 3회 실행값 95.0 / 95.2 / 95.5 — 편차 0.5%p로 기준선과의 격차 0.1%p보다 크다

• 도구는 사실상 1개다. 세션 내내 유지되는 IPython 커널이고, 스킬과 서브에이전트는 미리 import된 모듈로 노출된다

• 하네스 상태를 H = (ρ, G, K, M) 네 축(프롬프트·서브에이전트·스킬·메모리)으로 정의하고, 각 축에 생성·조회·수정·삭제 창구를 뒀다

• 라이선스는 MIT, Linux와 macOS에 한 줄 명령으로 설치된다. 장문맥 평가 9종에서는 GLM-5.2가 Pi-mono를 8개 항목에서 앞섰다

■ 도구 목록을 커널 하나로 줄인 이유

하네스(harness)는 모델을 실제 작업에 붙여 돌리는 실행 껍데기다. 어떤 함수를 부를 수 있는지 정의하고, 대화가 길어지면 무엇을 남기고 무엇을 버릴지 정하고, 끝날 때까지 루프를 도는 코드가 전부 여기에 들어간다. 지금까지 대부분의 코딩 에이전트는 이 껍데기를 두 가지 장치로 만들어 왔다. 하나는 고정된 도구 스키마, 즉 파일 읽기·쉘 실행·검색처럼 미리 확정된 함수 목록이고, 다른 하나는 컨텍스트 압축, 즉 대화가 창을 넘기면 앞부분을 요약해 잘라내는 처리다.

Prime Agent는 이 두 장치를 모두 문제로 본다. 고정 스키마는 모델이 할 수 있는 일의 상한을 설계 시점에 못박고, 압축은 나중에 필요해질지 모르는 중간 결과를 되돌릴 수 없게 지운다. 그래서 노출하는 도구를 지속되는 IPython 커널 하나로 줄였다. IPython 커널은 파이썬 대화형 실행 환경으로, 한 번 만든 변수와 함수가 세션이 끝날 때까지 그대로 남는다.

구조가 바뀌면 에이전트가 일하는 방식도 바뀐다. 조건 분기와 반복이 자연어 지시가 아니라 실제 파이썬 코드가 되고, 중간 산출물은 요약문이 아니라 변수로 남는다. 스킬과 서브에이전트가 미리 import된 모듈로 올라와 있으므로, 새 능력을 붙이는 일은 새 도구 스키마를 협의하는 일이 아니라 모듈에 함수를 하나 더 두는 일이 된다.

■ rlm() 호출과 서브에이전트 트리

Recursive Language Model(RLM), 우리말로 재귀 언어 모델은 컨텍스트를 변수로 취급하는 발상이다. 수십만 자짜리 로그나 코드베이스를 프롬프트에 통째로 밀어 넣는 대신 커널 변수에 담아 두고, 그때그때 필요한 조각만 꺼내 쓴다. 원본은 커널에 남아 있으므로 나중에 다시 들여다볼 수 있고, 요약 과정에서 무엇이 사라졌는지 추적할 여지도 남는다.

위임은 rlm("하위 작업") 호출로 이뤄진다. 이 호출은 자식 세션을 띄우는데, 특이한 점은 자식이 일을 끝낼 때까지 부모가 멈춰 서 있지 않는다는 것이다. 호출은 작업이 접수되는 시점에 반환되고, 부모는 다른 일을 이어 간다. 긴 하위 작업 하나가 전체 진행을 붙잡아 두는 상황이 줄어드는 구조다.

에이전트끼리 주고받는 메시지의 범위도 좁게 묶여 있다. 통신은 부모, 형제, 자식으로만 열려 있고 임의의 전역 방송은 없다. 트리 밖으로 새는 대화가 없으니 누가 어떤 정보를 근거로 움직였는지 되짚기 쉬워진다. 컨텍스트가 넘칠 때 요약해서 버리는 대신 아래로 떼어 주는 셈이라, 압축과 위임 가운데 위임을 기본값으로 삼았다고 읽는 편이 정확하다.

■ 프롬프트와 메모리를 실행 중에 고치는 방식

Continual Harness는 하네스의 상태를 네 개 기호로 정리한다. H = (ρ, G, K, M)이고, 각각 프롬프트·서브에이전트·스킬·메모리를 가리킨다. 넷 모두 생성(create), 조회(read), 수정(update), 삭제(delete) 창구를 갖는다. 사람이 설정 파일을 고쳐야 바뀌던 항목을 에이전트가 실행 도중 직접 건드릴 수 있게 열어 둔 것이다.

[ 기호 | 대상 | 실행 중에 바뀌는 것 ]

ρ | 프롬프트 | 작업 지시문과 규칙 문장

G | 서브에이전트 | 하위 세션의 역할·범위 정의

K | 스킬 | 호출 가능한 절차와 도구 모듈

M | 메모리 | 누적된 사실과 이전 실행 기록

갱신은 /refine 명령이 맡는다. 이 명령은 에이전트가 지금까지 남긴 실행 궤적을 읽고 최소한의 편집만 적용하며, 어떤 상황이 계기였고 결과가 어땠는지를 함께 기록한다. 전면 재작성이 아니라 좁은 수정으로 제한한다는 점이 설계 의도에 가깝다.

자기 수정에는 브레이크가 걸려 있다. 베이스 시스템 프롬프트는 불변이라 에이전트가 자기 토대를 갈아엎지 못하고, 잘못된 갱신은 ID 단위로 되돌린다. 모델 가중치를 건드리지 않고 하네스 상태만 편집해 학습 비슷한 효과를 내는 접근이므로, 재학습 없이 축적되는 대신 그 축적물이 프롬프트와 메모리에 텍스트로 쌓인다는 특성도 함께 따라온다.

■ ARC-AGI-3 95.5%와 장문맥 평가 9종

대표 수치는 ARC-AGI-3에서 나왔다. Opus 5를 붙였을 때 RHAE 채점 기준 Best@1이 95.5%로, 보고된 인간 전문가 기준선 95.4%를 0.1%p 넘었다. Best@1은 한 번의 시도 결과를, Best@3는 세 번 시도 가운데 가장 좋은 결과를 뜻하는데, Best@3는 99.97%로 올라간다. 두 숫자의 간격은 이 하네스가 한 번에 맞히지 못한 문제도 재시도에서는 대체로 풀어낸다는 뜻이다.

다만 단일 수치를 그대로 순위표처럼 읽기는 어렵다. 세 번의 실행값이 95.0, 95.2, 95.5로 보고됐고, 이 0.5%p 폭은 인간 기준선과의 격차 0.1%p보다 크다. 최고값과 기준선을 나란히 놓은 비교는 실행 간 변동을 흡수하지 못한다는 뜻이므로, 발표 수치는 상한값으로 받아들이는 편이 안전하다. 이 해석은 공개된 세 값에서 끌어낸 판단이다.

[ 비교 쌍 | 결과 | 평가 개수 ]

GLM-5.2 vs Pi-mono | GLM-5.2 우세 | 9개 중 8개

Opus 5 vs Claude Code | Opus 5 근소 우세 | 9개 중 6개

GPT-5.6 Sol vs Codex | GPT-5.6 Sol 우세 | 9개 중 6개

장문맥 평가에서는 세 쌍의 비교가 공개됐다. 세 경우 모두 Prime Agent 쪽이 앞섰지만 격차의 성격은 다르다. 8대 1은 뚜렷한 우세로 읽히는 반면, 6대 3은 항목 세 개에서 뒤졌다는 뜻이므로 과제 종류에 따라 결과가 갈린다는 신호에 가깝다.

■ 에뮬레이터, GPU 커널, 팩토리오 결과

벤치마크 외에 세 건의 사례가 함께 공개됐다. EmulatorBench에서는 Rust로 SEGA Genesis와 Game Boy Color 에뮬레이터를 만들었다. 에뮬레이터는 원본 하드웨어의 동작을 소프트웨어로 흉내 내는 프로그램이라, 명세를 지켰는지 여부가 실제 게임이 도는지로 곧장 드러난다.

PMPP-Hard는 GPU 커널 작성 과제다. GPU 커널은 그래픽 카드에서 병렬로 도는 연산 코드로, 성능뿐 아니라 정확성을 함께 만족해야 한다. 여기서는 KernelGuard로 결과를 검증했다. 세 번째는 게임 Factorio로, 생산 점수 10만 이상을 냈다.

세 과제의 공통점은 채점이 사람 판단에 기대지 않는다는 점이다. 에뮬레이터는 돌아가거나 안 돌아가고, 커널은 검증기를 통과하거나 못 하며, 팩토리오 생산 점수는 게임이 직접 센다. 자기 프롬프트를 고치는 에이전트를 평가할 때 이런 과제가 특히 유용한데, 스스로 고친 지시문이 실제로 도움이 됐는지를 모델의 자평이 아니라 외부 기준으로 확인할 수 있기 때문이다.

■ 그래서 무엇이 달라지나

가장 실질적인 변화는 접근성이다. MIT 라이선스라 사내 도구에 붙이거나 고쳐 쓰는 데 걸림돌이 적고, Linux와 macOS에는 한 줄 명령으로 설치된다. 모델 연결 통로도 넓게 열려 있다.

• 구독 계정: Codex, Claude Pro/Max, GitHub Copilot

• API 키: Anthropic, OpenAI, Google, Groq, Fireworks, Prime Inference

• 클라우드: Azure OpenAI, Amazon Bedrock

• 자체 호스팅: vLLM, Ollama, LM Studio

하네스를 직접 만들어 온 팀이라면 두 가지를 바로 시험해 볼 만하다. 하나는 컨텍스트가 넘칠 때 요약해 버리던 자리를 하위 세션 위임으로 바꾸는 것이고, 다른 하나는 도구 스키마를 늘리는 대신 커널에 함수를 추가하는 방식으로 능력을 넓히는 것이다. 둘 다 기존 파이프라인을 통째로 갈아엎지 않고 한 구간씩 떼어 비교할 수 있다.

반대로 조심할 부분도 분명하다. 에이전트가 자기 프롬프트와 메모리를 고치면 같은 입력에도 어제와 오늘의 동작이 달라지므로, ID 단위 되돌리기와 트리거 기록이 있어도 운영 환경에서는 어떤 갱신이 언제 들어갔는지 따로 남겨 두는 편이 낫다. 세 번 실행에서 0.5%p가 흔들린 점도 같은 맥락이라, 한 번 잘 나온 결과를 그대로 신뢰하기보다 반복 실행값을 쌓아 판단하는 편이 맞다. 자기 수정형 하네스가 사내 코딩 에이전트의 기본형으로 자리 잡을지는 아직 확인된 사실이 아니라 추측이며, 실제로 갈리는 지점은 성능보다 감사 가능성과 롤백 편의가 될 가능성이 높다.

■ 정리

Prime Agent는 도구 목록을 늘리는 대신 지속되는 IPython 커널 하나로 줄이고, 서브에이전트 호출과 자기 수정을 그 안의 함수 호출로 통합한 오픈소스 하네스다. ARC-AGI-3 95.5%라는 숫자보다 눈여겨볼 것은 컨텍스트를 압축해 버리지 않고 하위 세션으로 떼어 주는 처리, 그리고 베이스 프롬프트를 잠그고 갱신만 되돌릴 수 있게 한 설계다. MIT 라이선스로 저장소가 열려 있으니 논쟁의 다음 단계는 발표 수치가 아니라 각자의 과제에서 나온 재현 결과가 될 것이다.