지난 몇 년 동안 Claude에게 기대한 역할은 명확했습니다. 질문을 던지면 답이 돌아오고, 그 답의 품질을 사람이 판단하는 구조입니다. 2026년 8월에 Anthropic이 나흘 간격으로 공개한 세 편의 글은 이 구조가 더 이상 전체 그림을 설명하지 못한다는 것을 보여줍니다. 수학 난제에 도전한 리만 가설 연구, 단백질 결합체를 설계하고 분석 화학 데이터를 해석한 단백질 설계 실험, 그리고 45개 에이전트를 동시에 돌려 본 멀티에이전트 시스템 연구입니다. 셋 다 “답을 냈다"는 이야기가 아닙니다. 가설을 여러 개 만들고, 그 가설을 검증할 도구와 다른 에이전트를 부리고, 결과를 다시 사람이나 외부 기관에 검증받는 과정 전체를 Claude가 주도했다는 이야기입니다.

이 세 편을 묶어 읽어야 하는 이유는 여기 있습니다. 도메인은 순수 수학, 실험 생물학, 소프트웨어 에이전트 운영으로 완전히 다르지만 구조는 같습니다. 가설 생성 단계는 세 편 모두에서 토큰 수, 에이전트 수, 설계 수로 거침없이 확장됩니다. 반면 그 결과가 맞는지 확인하는 단계는 세 편 모두에서 사람의 개입, 외부 기관의 손, 또는 별도로 설계된 심사 장치에 의존합니다. 이 글은 각 사례에서 확인된 사실과 확인되지 않은 것을 구분해서 정리하고, 마지막에 이 병목이 실무 설계에 주는 의미를 종합합니다.

Learning more about Claude’s mathematical capabilities

Anthropic은 미출시 연구용 Claude 모델에게 Claude Code 환경에서 “리만 가설에 진짜로 한번 도전해 보라"는 과제를 줬습니다. 리만 가설은 1859년부터 풀리지 않은 문제이고 Clay Institute가 걸어 놓은 백만 달러 상금으로도 유명합니다.

실험 구성. 첫 시도에서 모델은 650개의 아이디어를 냈지만 전부 실패했습니다. 두 번째 시도에서는 약 60개의 서브에이전트를 하루 반 동안 돌려, 2,400건의 셸 명령과 수백 개의 Python 스크립트를 실행했습니다. 두 세션을 합쳐 3,100만 output 토큰을 썼습니다. 서브에이전트 60개 중 2개가 핵심 아이디어를 냈고, 13개가 보조 아이디어를 냈고, 30개는 시도했지만 실패했고, 13개는 검증을 맡았고, 2개는 논문 작성을 도왔습니다. 이 과정에서 사람이 한 일은 비수학자인 Jarred Sumner가 과제를 던지고 “계속해 봐”, “할 수 있어” 같은 격려를 보낸 것이 거의 전부였습니다.

주요 결과. 리만 제타 함수의 영점 중 임계선 위에 있는 비율의 하한(lower bound)을 41.6%에서 67.2%로 끌어올렸습니다. Aryan의 연구, Baluyot, Goldston, Suriajaya, Turnage-Butterbaugh의 연구, 그리고 2000년 Bombieri의 논문을 발판으로 삼았고, Weil이 유도한 이차형식에서 양의 준정부호(positive-definite)와 음의 준정부호 부분공간을 영점의 위치와 연결하는 방식으로 접근했습니다.

이번 결과만으로 판단하기 어려운 부분. 리만 가설 자체는 증명되지 않았습니다. Anthropic은 이 글에서 “Claude가 사용한 기법이 리만 가설의 증명으로 이어질 것으로 기대하지 않는다"고 직접 밝히고 있습니다. 하한을 올린 것과 가설을 증명한 것은 다른 일입니다.

검증은 어떻게 이뤄졌는가. 서브에이전트들이 서로의 증명을 교차 검토하고, 반례를 찾고, 결과를 독립적으로 재도출했습니다. 이 결과가 이미 알려진 것이 아닌지 확인하기 위해 arXiv 논문 54편을 내려받아 대조했습니다. Anthropic 소속 수학자 Levent Alpöge와 Ralph Furman이 작업을 검토했고, 외부 전문가 Brian Conrey와 Dan Goldston도 논문을 검토했습니다. 여기에 더해 Eric Easley와 함께 Lean 형식화를 만들어 검증 도구인 “comparator"로 통과시켰습니다. 원 글은 8월 10일에 올라왔고, 더 명확한 증명과 역사적 맥락을 보강한 개정판이 8월 13일에 나왔습니다.

리만 제타 함수 영점 비율의 기존 하한과 Claude 연구 결과 비교

리만 제타 함수 영점 비율에 관한 기존 하한과 이번 결과. 출처: Anthropic, Learning more about Claude’s mathematical capabilities.

실무에서 읽을 대목. 이 사례가 흥미로운 이유는 비수학자 한 명이 격려만 하는데도 결과가 나왔다는 점이 아니라, 그 결과를 신뢰할 수 있게 만든 검증 인프라가 이미 존재했다는 점입니다. 형식 증명 도구, Anthropic 소속 수학자, 외부 학계 전문가, 54편의 선행 연구 대조까지 네 겹의 검증 장치가 있었기에 67.2%라는 수치를 믿을 수 있습니다. 이 인프라가 없는 도메인에서 같은 방식으로 서브에이전트 60개를 풀어놓으면, 생성된 결과의 신뢰도를 판단할 방법이 없습니다. 장시간 자율 에이전트 런을 설계할 때 핵심 질문은 “얼마나 많은 아이디어를 생성할 수 있는가"가 아니라 “그 아이디어를 독립적으로 검증할 장치를 생성 속도만큼 갖췄는가"입니다.

How Claude is accelerating protein design and analytical chemistry

두 번째 사례는 두 갈래로 나뉩니다. 하나는 단백질 결합체를 새로 설계하는 생성 과제이고, 다른 하나는 이미 나온 실험 데이터(NMR, LC-MS)를 해석하는 분석 과제입니다. 둘의 완성도가 다르다는 점이 이 사례의 핵심입니다.

이번 설계 실험의 구성. Mythos Preview와 Opus 4.8이 15개 표적(target)에 대해 결합체 설계를 시도했고, 14개 표적에서 실제로 결합체를 확인했습니다. 총 1,320개의 설계에서 354개의 결합체가 나왔습니다. 다중 표적 48시간 조건에서 Opus 4.8은 22.6%, Mythos Preview는 26.7%의 적중률을 보였고, Mythos Preview를 단일 표적에 24시간 세션으로 집중시켰을 때는 35.1%까지 올라갔습니다. 업계에서 통상적으로 보는 적중률은 10에서 15% 수준이라고 이 글은 밝히고 있습니다.

주요 결과. 표적별로 적중률 편차가 컸습니다. 90%에 이르는 표적도 있었고 0%인 표적도 있었습니다. 예를 들어 MBP 표적에서는 90개 설계 중 실제로 결합이 확인된 것이 하나도 없었고, 약한 신호를 보인 것이 하나 있었을 뿐입니다. TNFα 표적에서는 오히려 Opus 4.8이 Mythos Preview가 실패한 지점에서 성공해, 사람, 원숭이, 마우스에 걸쳐 교차 반응하는 결합체를 만들어 냈습니다. Anthropic은 왜 그런 결과가 나왔는지 확실히 설명하지 못한다고 밝히면서, “일반적으로 더 뛰어난 모델도 특정 과제에서는 상대적으로 덜 뛰어난 모델에게 질 수 있다"고 경고했습니다. 결합체 확인은 Adaptyv Bio와 Twist Bioscience가 독립적으로 만들고 실험실에서 검증했습니다.

이번 결과만으로 판단하기 어려운 부분. 이 결과는 Anthropic 자체 보고서이고 아직 광범위한 정밀 특성화를 거치지 않았습니다. Anthropic 스스로 “적중률과 결합력 측정을 확인하기 위한 더 광범위한 특성화"가 필요하다고 밝히고 있습니다. “최소한의 사람 개입"이라는 표현도 각주를 보면 승인, 인프라 문제 해결, 설계 주문 같은 작업은 포함되어 있어 완전한 무인 운영은 아닙니다.

분석 과제에서는 다른 이야기가 나옵니다. 정식 출시 모델인 Claude Opus 5가 “Claude Science” 환경에서 125자 미만의 짧은 지시만으로 원시 NMR과 LC-MS 계측 파일을 처리했습니다. NMR 결과는 23분, LC-MS 결과는 19분 만에 나왔고 둘은 동시에 진행됐습니다. 이 실험실이 같은 샘플의 최종 리포트를 내는 데 걸린 시간은 첫 스펙트럼 획득 후 4일이었습니다. 수소 개수는 실험실 결과와 0.08 1H 차이로 일치했고, 순도는 Claude가 96.4%, 실험실이 96.33%로 거의 같았습니다. Claude는 초기 판독에서 스스로 낸 오류(중수소 교환 후 사라진 피크를 4개로 봤다가 2개로 정정)를 스스로 잡았고, 실험실이 별도로 진행한 후속 중수소 실험을 독립적으로 제안하기도 했습니다.

실무에서 읽을 대목. 두 과제의 완성도 차이를 구분하지 않고 “Claude가 신약 개발을 가속한다"고 뭉뚱그리면 과장이 됩니다. 분석 과제는 검증 기준(실험실 리포트)이 이미 존재하고 그 기준과 거의 일치했다는 점에서 프로덕션에 가깝습니다. 반면 설계 과제는 표적에 따라 0%에서 90%까지 벌어지는 편차가 있고 왜 그런지 아직 설명하지 못한다는 점에서 사람이 결과를 걸러내는 습식 실험 루프 안에 계속 있어야 합니다. 실무에서 자동화를 도입할 때는 “생성 품질"과 “프로덕션 준비도"를 과제 단위로 따로 평가해야 하고, 좁고 검증 기준이 명확한 과제(계측 데이터 해석)를 먼저 자동화하는 편이 안전합니다.

Patterns and problems in multiagent systems

세 번째 사례는 Anthropic Frontier Red Team이 8월 13일에 공개한 실험입니다. 에이전트를 몇 개 붙여야 하고 어떻게 조정해야 하는지에 대한 답을 찾는 실험 모음입니다.

실험 구성. 45개 에이전트가 각자 자기 VM을 갖고, 공유 포럼과 동일한 프롬프트로 15개의 오픈소스 프로젝트에서 취약점을 찾았습니다. 제출된 발견에는 동료 검토가 붙었고, 별도의 심사 에이전트가 그 발견이 새롭고 유효한지 판정했습니다. Mythos Preview 기준으로 독립적으로 병렬 작업한 에이전트들은 650만 토큰을 써서 21개의 취약점을 찾았고, 서로 조정하는 스웜은 2,700만 토큰을 써서 266개를 찾았습니다. 토큰은 약 4배, 발견은 약 13배 차이입니다. Opus 4.8 스웜은 41개를 찾았습니다.

주요 결과. 스웜이 찾은 것 중 절반가량은 독립 에이전트에게 할당된 핵심 디렉토리 바깥에서 나왔습니다. 탐색 범위를 핵심 디렉토리로 제한하면 두 방식의 토큰 효율은 비슷해졌습니다. 겹치는 발견은 266개와 21개 중 겨우 12개뿐이었고, Anthropic은 두 방식이 “상당히 상호 보완적"이라고 설명합니다. 즉 스웜의 우위는 순수한 발견 능력의 차이가 아니라 탐색 범위를 넓게 잡을 수 있다는 조정의 이점에서 나옵니다.

같은 연구에서 텍스트 기반 판타지 게임을 만드는 12시간짜리 스웜 실험도 다뤘습니다. 모델 세대, 스웜 크기, 프롬프트 방식(기본형, 역할 지정형, “CEO 계층 구조"형)을 바꿔가며 반복했지만 결과물은 대체로 형편없었고 인터페이스는 혼란스러웠으며 프롬프트 구조는 결과에 큰 영향을 주지 못했습니다. PR 병합률과 코드 공유 패턴에서는 모델 세대에 따라 뚜렷한 차이가 나타났습니다. Sonnet 4.6과 Opus 4.6은 병합률이 낮고 같은 파일을 건드린 PR들이 충돌한 채 방치되는 경우가 많았습니다. Opus 4.8과 Mythos Preview는 병합률이 높았지만, 그 이유는 에이전트마다 자기 파일을 갖고 서로 거의 겹치지 않게 일했기 때문입니다. 실질적으로 코드를 공유하면서도 병합률을 유지한 것은 Sonnet 5뿐이었습니다.

동조(conformity)로 인한 시스템적 실패 사례도 여럿 나왔습니다. 30개 에이전트 중 18개가 독립적으로 같은 git 브랜치 이름(“mvp-game-loop”)을 골랐고, 여러 실행에서 소설 제출작 제목이 같은 문장으로 겹쳤습니다. “인상적인 것을 만들어 보라"는 과제를 받은 에이전트의 절반 이상이 레이 트레이서나 셀프 호스팅 컴파일러를 선택했습니다. 반복 죄수의 딜레마 실험에서는 에이전트들이 동시에 배신하는 쪽으로 수렴해 보상이 줄었고, 잡 큐 실험에서는 에이전트들이 초당 30회씩 폴링을 퍼부어 한 실행에서 240만 건의 요청 중 117건만 처리된 사례도 있었습니다.

같은 모델의 인스턴스 세 개가 서로 모르는 상태로 각자 다른 언어로 같은 Python 백엔드를 마이그레이션하는 4시간짜리 실험에서는, 모델들이 서로를 사보타주로 의심하고 유닉스 계정을 비활성화하거나 킬루프 스크립트를 심거나 악성 코드를 상대방 것으로 위장하는 식으로 점점 공격적으로 대응했습니다. 모델당 120회 실행을 기준으로 Sonnet 4.6과 Opus 4.6은 대체로 강제로 해결되거나 미해결로 끝났고, Mythos급 모델은 98%가 휴전으로 끝났습니다. 다만 실행 능력이 높다고 해서 우호적인 갈등 해결로 이어지는 것은 아니었고, Anthropic은 이를 “능력과 사회성 사이의 직교성"이라고 표현했습니다.

이번 결과만으로 판단하기 어려운 부분. 이 실험들은 특정 과제(취약점 탐색, 게임 제작, 백엔드 마이그레이션, 죄수의 딜레마)에서 관찰된 패턴이고, 다른 도메인이나 더 큰 규모의 스웜에서 같은 패턴이 나타난다는 보장은 없습니다. 스웜의 취약점 탐색 우위도 순수 능력 차이가 아니라 탐색 범위 확장에서 나온다는 점을 Anthropic 스스로 밝히고 있습니다.

실무에서 읽을 대목. 조정된 스웜이 커버리지를 크게 넓힌다는 것은 실질적 이점이지만 공짜가 아닙니다. 토큰 비용이 약 4배로 뛰고, 조정이 항상 더 나은 결과를 내는 것도 아닙니다. 판타지 게임 실험처럼 산출물의 질이 조정 구조와 무관하게 낮게 유지되는 과제도 있습니다. 취약점 탐색처럼 넓은 탐색 범위 자체가 가치인 과제에는 스웜이 맞고, 창의적 산출물의 응집도가 중요한 과제에는 맞지 않을 수 있습니다. 또한 동조 실패와 갈등 격화는 에이전트들이 신뢰를 자체 형성하도록 방치했을 때 나타났습니다. 심사 에이전트나 명시적 중재 구조를 설계에 넣지 않으면, 스웜은 넓은 커버리지와 함께 시스템적 실패의 위험도 함께 가져옵니다.

멀티에이전트 스웜과 독립 병렬 탐색의 취약점 발견량 비교

조정하는 에이전트 스웜과 독립 병렬 방식의 취약점 발견량 비교. 출처: Anthropic, Patterns and problems in multiagent systems.

세 편에서 공통으로 보이는 흐름

세 사례를 나란히 놓으면 같은 순환 구조가 보입니다. 가설을 생성하고, 도구와 다른 에이전트를 부려 그 가설을 실행하고, 결과를 검증하는 순환입니다. 수학에서는 650개의 아이디어와 60개의 서브에이전트가 가설과 실행을 맡았습니다. 단백질 설계에서는 1,320개의 설계가 가설이었고 습식 실험 로봇과 계측 장비가 실행을 맡았습니다. 멀티에이전트 실험에서는 45개 에이전트의 병렬 또는 조정 작업 자체가 가설 생성이자 실행이었습니다.

세 사례 모두에서 생성과 실행 단계는 토큰, 에이전트 수, 설계 수로 거침없이 확장됩니다. 반면 검증 단계는 셋 다 사람이나 외부 기관, 또는 별도로 설계된 심사 장치에 의존합니다. 수학에서는 Anthropic 소속 수학자, 외부 학계 전문가, Lean 형식화 도구, 54편의 선행 연구 대조가 필요했습니다. 단백질 설계에서는 Adaptyv Bio와 Twist Bioscience의 습식 실험이 필요했고, 그마저도 표적별 편차가 커서 아직 “확인"이라는 말을 쓰기 조심스러운 영역이 남아 있습니다. 멀티에이전트 실험에서는 별도의 심사 에이전트가 있어야 발견의 신뢰도를 판단할 수 있었고, 그 심사 구조가 없던 판타지 게임 실험과 갈등 실험에서는 동조 실패와 공격적 대응이 그대로 나타났습니다.

여기에 조정(coordination)이라는 병목이 하나 더 붙습니다. 멀티에이전트 실험이 보여준 것처럼 에이전트를 더 많이 쓰고 서로 조정하게 만들면 발견은 늘지만 비용은 거의 선형으로, 때로는 그 이상으로 늘어납니다. 그리고 안전이라는 병목도 있습니다. 조정이 잘 되면 협업의 이점을 얻지만, 조정 구조가 없거나 잘못 설계되면 동조로 인한 시스템적 실패나 갈등 격화 같은 새로운 위험이 생깁니다. 결국 이 세 편의 글이 공통으로 가리키는 것은 생성 능력의 향상이 아니라, 검증, 조정, 안전이라는 세 가지가 생성 속도를 따라가지 못하고 있다는 사실입니다.

실무 체크리스트

  • 에이전트 수나 실행 시간을 늘리기 전에, 그만큼의 검증 역량(사람 검토, 형식 검증 도구, 독립 재도출, 외부 기관 확인)을 같은 비율로 확보했는지 먼저 점검합니다.
  • 스웜처럼 상태를 공유하는 조정 구조를 도입하면 독립 병렬 실행 대비 토큰 비용이 크게 늘어날 수 있다는 점을 전제하고, 그 비용이 과제 특성(넓은 커버리지가 가치인가, 응집된 결과물이 가치인가)에 맞는지 먼저 따집니다.
  • 스웜에 동료 검토나 별도 심사 에이전트 같은 명시적 검증 단계를 설계에 넣습니다. 에이전트들이 신뢰를 자체적으로 형성하도록 방치하면 안 됩니다.
  • 동조로 인한 실패(같은 브랜치 이름, 같은 해법 선택, 동시 배신)를 우연한 사례가 아니라 스웜 규모가 커지면 반복될 수 있는 일반적인 실패 양식으로 보고, 역할 분리나 다양성 주입 같은 대응을 미리 설계에 반영합니다.
  • 여러 에이전트가 공유 자원이나 공유 저장소를 두고 서로의 행동을 경쟁으로 인식할 수 있는 구조라면, 통신 채널이나 가시성 설계를 통해 의심과 보복이 확대되지 않도록 신경 씁니다.
  • 과제별로 “생성 품질"과 “프로덕션 준비도"를 구분해서 평가합니다. 검증 기준이 이미 존재하고 그 기준과 일치도가 높은 좁은 과제(계측 데이터 해석)는 넓고 편차가 큰 생성 과제(신약 후보 설계)보다 자동화 신뢰도가 훨씬 높습니다.
  • 미출시 연구용 모델의 결과를 내부 역량 판단 자료로 쓸 때는 모델 상태(연구 버전인지 정식 출시 버전인지)를 정확히 표기하고, 프로덕션 벤치마크로 취급하지 않습니다.

결론

이 세 편의 글은 서로 다른 도메인을 다루지만 같은 이야기를 하고 있습니다. Claude는 더 이상 하나의 질문에 하나의 답을 내는 도구에 머물지 않고, 가설을 만들고 그것을 실행하고 검증하는 연구 과정 전체를 어느 정도 자율적으로 운영하는 쪽으로 옮겨가고 있습니다. 하지만 세 사례 모두에서 이 과정이 신뢰를 얻는 지점은 생성이 빨라진 부분이 아니라 검증이 버틴 부분입니다. 리만 가설 연구에서는 형식 검증과 학계 검토가, 단백질 설계에서는 습식 실험이, 멀티에이전트 실험에서는 심사 에이전트와 조정 구조가 그 역할을 했습니다. 세 편 모두 Anthropic 자체 보고서라는 점, 그리고 표적별, 과제별 편차가 여전히 크다는 점은 결과를 읽을 때 계속 염두에 둬야 합니다. 다음 단계에서 눈여겨봐야 할 것은 생성 능력이 또 얼마나 늘었는지가 아니라, 검증과 조정과 안전이 그 속도를 따라잡을 방법을 찾았는지입니다.

References