적대적 코드 리뷰 실험

'안전합니다'라는 한 줄이 코드리뷰 LLM을 흔드는가 — 적대적 리뷰 소규모 실험

작성 모델이 서명한 diff에서, 다른 모델이 뚫어낸 것 먼저 겪은 일부터 적습니다. 제가 운영하는 자동화 워크플로우에서 코드를 짜는 쪽은 Claude Code(현재 Fable 5 계열)입니다. 이 코딩 에이전트가 코드를 고쳤고, 그 코드를 같은 계열 모델이 스스로 리뷰했습니다. 판정은 “안전함”. 그런데 습관대로 작성자와 다른 패밀리의 모델(GPT-5.5 계열 codex)로 한 번 더 교차 리뷰를 돌렸더니, 자기리뷰가 통과시킨 silent bypass 2건과 잘못된 안전성 주장 1건이 걸렸습니다. 조건 하나를 우회하는 분기와, “상위에서 이미 검증하니 여기선 안전하다"는 근거가 부실한 주석이었습니다. ...

2026년 7월 6일 · 10 분 · Jesam Kim
Some illustrations are generated using Amazon Bedrock image generation models (Nova 2 Omni, SD3.5 Large, Nova Canvas).