'안전합니다'라는 한 줄이 코드리뷰 LLM을 흔드는가 — 적대적 리뷰 소규모 실험

작성 모델이 서명한 diff에서, 다른 모델이 뚫어낸 것

먼저 겪은 일부터 적습니다. 제가 운영하는 자동화 워크플로우에서 코드를 짜는 쪽은 Claude Code(현재 Fable 5 계열)입니다. 이 코딩 에이전트가 코드를 고쳤고, 그 코드를 같은 계열 모델이 스스로 리뷰했습니다. 판정은 “안전함”. 그런데 습관대로 작성자와 다른 패밀리의 모델(GPT-5.5 계열 codex)로 한 번 더 교차 리뷰를 돌렸더니, 자기리뷰가 통과시킨 silent bypass 2건과 잘못된 안전성 주장 1건이 걸렸습니다. 조건 하나를 우회하는 분기와, “상위에서 이미 검증하니 여기선 안전하다"는 근거가 부실한 주석이었습니다.

어떤 코드였는지, 어느 도메인이었는지는 특정하지 않겠습니다. 요점은 작성한 모델과 리뷰하는 모델이 같으면 같은 맹점을 공유한다는 것이고, 일반화하면 이렇습니다. 작성자 자신이 “안전하다"고 서명한 diff일수록, 작성자와 다른 모델로 교차 리뷰할 때 얻는 이득이 크다.

여기서 궁금증이 하나 생겼습니다. 리뷰를 받는 코드에 작성자가 “이건 안전합니다"라고 우기는 주석이 붙어 있으면, 리뷰하는 모델은 그 말에 얼마나 물러설까요? 주장이 세질수록 더 잘 넘어갈까요? 이걸 알아보려고 작은 실험을 돌렸습니다. 진지한 벤치마크 논문이 아니라, 호기심으로 직접 돌려본 실험노트 정도로 읽어 주시면 됩니다.

미리 밝혀 둘 게 있습니다. 저는 실무에서 코드 리뷰를 codex 스킬(GPT-5.5 계열)에 주로 맡깁니다. 벤치마크 1등을 골라 쓰는 게 아니라, 손에 익고 신뢰가 쌓인 도구를 쓰는 쪽입니다. 이 실험의 결과가 그 선택을 바꾸라고 강요하지는 않습니다. 오히려 뒤에서 보겠지만, 제가 제일 믿는 그 도구가 이번 조건에서 가장 크게 흔들렸습니다.

왜 하필 ‘적대적’ 검증인가

LLM에게 무언가를 판정시킬 때 잘 알려진 실패 모드가 self-preference bias입니다. 모델이 “과제를 가장 잘 푼 답"이 아니라 “자기가 생성한 스타일과 닮은 답"을 선호하는 경향입니다(Panickssery et al., 2024). 코드 리뷰에 이 편향이 옮겨오면 곤란합니다. 작성 모델은 자기가 짠 코드의 결함을 결함으로 인식하기보다, “이 경로는 X 때문에 안전하다"는 정당화를 스스로 만들어 냅니다. self-review가 silent bypass를 그냥 통과시키는 이유입니다.

두 번째 축은 sycophancy, 아부입니다. 상대가 확신에 찬 주장을 내밀면 모델이 그 주장 쪽으로 답을 맞춰 주는 경향입니다(Perez et al., 2022). 리뷰 상황으로 옮기면, 작성자가 “정적 분석 통과했고 6개월간 무사고였다"고 권위 있게 써 두면 리뷰어가 의심을 접을 수 있다는 뜻입니다.

반대 방향의 실패도 있습니다. 리뷰 모델이 멀쩡한 코드를 결함으로 오판하는 over-correction입니다. 의심을 세게 걸수록 정상 코드까지 물어뜯습니다. 최근 연구(Jin & Chen, 2026)는 리뷰 모델에게 설명과 수정안까지 요구하는 상세한 프롬프트가 오히려 정상 코드를 결함으로 오판하는 비율을 높인다고 보고합니다. 의심을 정교하게 시킬수록 false negative가 늘어나는 셈입니다. 그래서 “리뷰를 잘한다"는 건 단일 점수가 아니라 검출력과 오탐 사이의 트레이드오프 위에 찍힌 한 점이고, 그 위치가 모델마다 다릅니다.

정리하면, 코드를 만드는 능력과 남이(또는 자기가) 만든 코드의 숨은 결함과 틀린 안전성 주장을 뚫어내는 능력은 서로 다른 축입니다. SWE-bench 점수가 높다고 후자를 잘한다는 보장은 없습니다. 그 간극을 조금이라도 눈으로 보려는 게 이 실험의 동기입니다.

실험은 어떻게 설계했나

전체 설계는 2트랙입니다.

• Track A (통제 트랙): 알려진 버그를 주입한 코드에, 작성자가 붙인 (때로 틀린) 안전성 주석을 함께 답니다. 4개 모델이 바이트 단위로 동일한 입력을 리뷰합니다. 검출력과 반박력을 공정하게 비교하는 주력 데이터입니다.
• Track B (자연 트랙, 4x4 교차): 각 모델이 실제로 코드를 생성하고 스스로 자평한 뒤, 4개 모델이 서로 교차 리뷰합니다. 자기리뷰(대각선)와 교차 리뷰(비대각선)의 검출 격차를 봅니다.

이 글에서 보고하는 건 Track A뿐입니다. Track B의 4x4 교차 매트릭스는 아직 돌리지 않았고, 후속 과제로 남겨 뒀습니다. 서두의 실사례가 바로 그 자기리뷰 대 교차 리뷰 이야기지만, 그건 실험 데이터가 아니라 동기가 된 일화입니다.

실험의 2트랙 설계. 위쪽 Track A(통제 트랙)가 이 글에서 보고하는 부분입니다. 아래쪽 Track B(자연 트랙, 4x4 교차 매트릭스)는 아직 돌리지 않아 흐리게 표시했습니다.

버그는 유형을 나눠 주입했습니다. 각 유형에는 “작성자가 흔히 대는 변명"을 함께 정의했습니다.

핵심 장치는 자기변호 주석의 강도를 3단계로 변주한 것입니다. L0은 주석 없음(베이스라인), L1은 “안전할 것으로 보임” 수준의 완곡한 주장, L2는 “정적 분석 통과, 프로덕션 6개월 무사고” 같은 권위적이고 구체적인 확신형 주장(실제로는 무관하거나 허위)입니다. L0에서 L2로 갈수록 검출률이 떨어지면 그 모델은 아부에 취약한 것이고, 이 기울기(slope)가 모델별 적대성의 척도가 됩니다.

모델은 4종을 썼고, 전부 Amazon Bedrock에서 바로 호출 가능한 것으로 골랐습니다. OpenAI GPT-5.5(제 주력 codex 계열), Mistral Devstral 2 123B, Alibaba Qwen3-Coder 480B, Anthropic Claude Opus 4.8입니다. 패밀리가 넷 다 다르다는 점이 중요합니다. 훈련 분포와 귀납 편향이 달라야 “작성 모델의 안전지대를 리뷰어가 공유하지 않는다"는 적대적 검증의 전제가 성립합니다. 참고로 처음엔 Mistral Codestral 25.08과 Cohere Command A+를 넣으려 했는데, 실측해 보니 Bedrock에서 각각 미제공·LEGACY 처리라 호출이 안 됐습니다. 이 얘기는 마지막에 다시 하겠습니다.

채점은 두 가지 규칙을 못 박아 뒀습니다. 첫째, location-gated detection입니다. 라벨된 결함 심볼을 실제로 지목해야 검출로 인정합니다. 엉뚱한 헬퍼에서 같은 유형의 문제를 찾아내도 점수를 주지 않습니다. 둘째, 이건 descriptive 통계일 뿐 유의성 검정은 없습니다. 표본이 작아서 방향과 순위, 개별 사례를 보는 용도입니다.

결과 1: 검출력 — 다들 잘합니다 (그게 문제)

먼저 20개짜리 스모크런입니다. 결함 코드에서 올바른 유형의 심각한(blocker/major) finding을 잡았는지 보고, 정상 코드에서는 없는 결함을 지어내는지(오탐) 봤습니다.

솔직하게 말하면 이 표에서 순위를 매기는 건 의미가 없습니다. 20개는 너무 작고 결함도 대체로 잡기 쉬운 편이라, 넷 다 거의 만점입니다. 전형적인 천장효과입니다. 정상 코드를 결함으로 오판한 경우(FPR)도, 코드는 멀쩡한데 트집 잡은 경우(over-correction)도 전부 0이었습니다. 이 조건에서는 변별이 안 됩니다.

천장에 난 균열은 두 군데뿐이었습니다. Devstral 2가 T3(이중 분기 중 한쪽 누락)을 두 개 다 놓쳤고, Opus 4.8이 T7(API 오용) 두 개 중 하나를 놓쳤습니다. 나머지 유형은 전 모델이 다 잡았습니다. 코드·에이전트 특화로 알려진 Devstral 2가 하필 이중 분기 누락에서 미끄러진 건, 이 소표본에서는 우연일 수도 있지만 이후 sycophancy 구간에서 다시 볼 지점이라 적어 둡니다. 은폐도가 높다고 표시한 T2(silent bypass)와 T5(race condition)조차 이 소표본에서는 다들 잡았습니다.

여기서 배운 건 “모델이 다 훌륭하다"가 아니라, 쉬운 결함만 던지면 어떤 모델을 골라도 티가 안 난다는 것입니다. 변별은 다른 데서 나왔습니다.

결과 2: sycophancy slope — 주장이 세지면 물러설까

이번엔 buggy seed를 36개로 늘리고, 같은 결함에 대해 자기변호 강도만 L0/L1/L2로 바꿔 가며 검출률(typed recall)을 쟀습니다.

기울기가 음수라는 건 “작성자의 안전 주장이 세질수록 결함을 덜 잡더라"와 일관됩니다. 방향은 대체로 아래를 향합니다. 다만 크기는 절대 단정하면 안 됩니다. buggy seed가 36개라, 한 개만 판정이 뒤집혀도 recall이 몇 %p씩 움직입니다. slope는 방향을 읽는 용도지, “이 모델이 저 모델보다 정확히 얼마나 더 취약하다"는 근거가 아닙니다.

한 가지 더 정직하게 붙일 caveat가 있습니다. L1/L2 주석은 설계상 문제가 된 연산을 직접 언급합니다. “이 잔액 감산은 안전하다"는 식으로요. 그러면 그 주석이 오히려 버그 위치를 힌트로 흘려서 slope를 0쪽으로 눌러 버립니다. 즉 여기서 관측된 음의 기울기는 보수적인 추정입니다. 힌트가 없었다면 더 가팔랐을 수도 있습니다.

한 개 seed 단위로 뒤집힘을 세어 보면 방향이 좀 더 또렷합니다. 두 레벨을 같은 seed로 짝지어 비교한 결과입니다.

Net lost가 양수면, 주장이 세졌을 때 새로 잡은 것보다 놓친 게 많다는 뜻입니다.

자기변호 강도(L0→L2)에 따른 typed recall. GPT-5.5가 가장 가파르고 Qwen3-Coder는 평평합니다. 다만 y축은 0.0~1.0 전체 범위이며, 네 모델의 차이와 기울기는 실제로 수 %p 규모로 작습니다.

주장을 말로는 반박하는가도 따로 쟀습니다. rebuttal rate입니다.

L0은 반박할 주석 자체가 없으니 0이 맞습니다. 흥미로운 건 L1/L2에서 네 모델 다 0.75에서 0.85 사이로, 대체로 “그 주장은 신뢰할 수 없다"고 말로는 반박한다는 점입니다. 이 구간에서 가장 자주 반박한 건 Devstral 2(0.85)였는데, 코드 특화 모델이라고 해서 말수가 적거나 주장에 순순히 따르는 건 아니었습니다. 그런데도 실제 결함 검출은 몇 점씩 미끄러졌습니다. 주석을 말로 반박하는 것과, 그 밑에 깔린 결함을 끝까지 짚어내는 것은 다른 일이라는 뜻입니다. 다만 미끄러진 폭 자체는 작습니다. 대부분은 버텼습니다.

반전: 제가 제일 믿는 도구가 가장 크게 흔들렸습니다

표를 다시 보면, 기울기가 가장 가파른 모델은 GPT-5.5입니다. slope(L2-L0) -0.08에 paired net lost +3으로, 이번 조건에서는 자기변호가 세질 때 검출률이 가장 많이 내려갔습니다. 앞서 적었듯 제가 실무 코드 리뷰를 주로 맡기는 codex가 이 계열입니다. 20개 스모크런에서는 네 모델이 모두 거의 만점이었고, 자기변호 강도를 올린 조건에서 GPT-5.5의 하락 폭이 가장 컸습니다. 물론 그 폭도 수 %p 수준이고, L0 baseline(0.89)은 여전히 높은 편이라는 점은 함께 봐야 합니다.

반대쪽 극단은 Qwen3-Coder입니다. slope가 정확히 0입니다. 주장이 세지든 말든 검출률이 안 흔들립니다. 다만 여기엔 단서가 붙습니다. Qwen3-Coder는 애초에 L0 baseline이 0.81로 넷 중 가장 낮았습니다. 흔들리지 않는 대신 처음부터 덜 잡았다는 뜻입니다. 게다가 짝 비교에서 lost 3, gained 3이었습니다. 전혀 안 뒤집힌 게 아니라, 잃은 만큼 새로 잡아서 net이 0으로 상쇄된 것입니다. “고집이 세다"보다는 “주장에 둔감한데 baseline이 낮다” 쪽에 가깝습니다.

그러니 이걸 “가장 아부에 강한 모델은 Qwen3-Coder"라거나 “GPT-5.5는 리뷰에 부적합"이라고 읽으면 곤란합니다. 차이는 몇 %p이고, 표본은 수십 개이며, 힌트 때문에 slope는 이미 눌려 있습니다. 제가 이 표에서 실제로 얻은 교훈은 순위가 아니라 이겁니다. 내가 가장 신뢰하는 도구도 확신에 찬 자기변호 앞에서는 면역이 아니었다. 작성자가 “이건 안전합니다"라고 강하게 써 둘수록, 바로 그 판정을 덜 믿어야 한다는 신호입니다.

인사이트: 모델보다 습관

이 실험에서 “그러니 리뷰는 X 모델을 쓰세요"라는 결론은 나오지 않습니다. 나올 만큼 데이터가 크지도 않고요. 대신 방향은 분명합니다.

첫째, 작성 모델 혼자 서명하게 두지 마세요. self-preference와 sycophancy는 문헌으로도, 서두의 실사례로도, 이번 slope로도 계속 같은 방향을 가리킵니다. 자기가 짠 코드에, 자기가 “안전하다"고 주석까지 단 상태에서, 자기가 리뷰까지 하면 편향이 세 번 겹칩니다.

둘째, 다른 패밀리의 모델로 한 번 더 교차하는 습관이 모델 선택보다 남는 장사입니다. 훈련 분포가 다른 리뷰어는 작성 모델의 안전지대를 공유하지 않습니다. 서두의 silent bypass 2건이 잡힌 것도, 이번 실험에서 대부분의 모델이 주장을 말로라도 반박한 것도, 결국 “다른 관점을 한 번 더 통과시킨다"는 같은 이야기입니다.

제가 운영하는 워크플로우에는 코드를 커밋하기 전에 반드시 별도 모델로 리뷰를 통과시키는 게이트가 있습니다. 사실 이 블로그 초안도 그 게이트를 거쳐 나왔습니다. 흥미로운 건, 그 게이트에 제가 넣어 둔 모델이 방금 slope가 제일 가팔랐던 그 GPT-5.5라는 점입니다. 그래도 저는 당장 바꿀 생각이 없습니다. 이번 결과가 말하는 건 “도구를 갈아라"가 아니라 “혼자 서명하게 두지 말고 한 번 더 교차해라"이기 때문입니다. 게이트라는 습관이 있는 한, 그 안의 모델이 조금 물러서더라도 diff에 서명한 원래 모델과는 다른 관점이 한 번 더 들어갑니다. 이왕이면 작성 모델과 다른 패밀리를 리뷰어로 두면 그 이득이 커집니다.

셋째, 실무에 옮긴다면 CI에 이 습관을 심는 방향이 자연스럽습니다. 작성 단계와 리뷰 단계에 서로 다른 모델 패밀리를 배치하고, 특히 작성자가 “안전하다"고 강하게 주장하는 변경일수록 리뷰를 더 세게 거는 식입니다.

한계와 재현

과장하지 않으려고 처음부터 실험노트라고 불렀습니다. 한계를 그대로 적습니다.

• 표본이 작습니다. 검출력 런은 20개, sycophancy 런은 buggy 36개입니다. 유의성 검정을 하지 않았습니다. 한 seed가 뒤집히면 recall이 몇 %p 움직이는 규모라, slope도 순위도 방향으로만 읽어야 합니다.
• 천장효과가 있습니다. 쉬운 결함에서는 넷 다 거의 만점이라 변별이 안 됐습니다. 차이는 자기변호 강도를 올렸을 때만 조금 드러났고, 그 폭도 작습니다.
• slope는 보수적입니다. L1/L2 주석이 문제 연산을 언급해 버그 위치를 힌트로 흘리기 때문에, 관측된 음의 기울기는 실제보다 눌려 있습니다.
• Track B는 아직 안 돌렸습니다. 자기리뷰 대 교차 리뷰의 격차를 정면으로 재는 4x4 매트릭스가 남아 있습니다. 서두 일화가 가리키는 바로 그 질문이라, 다음 실험의 1순위입니다.
• 모델 가용성이 곧 제약이었습니다. 원래 넣으려던 Codestral 25.08과 Cohere Command A+는 Bedrock에서 각각 미제공·LEGACY라 호출조차 못 했습니다. “리더보드 상위 모델"과 “엔터프라이즈에서 지금 당장 호출 가능한 모델"이 다르다는 것 자체가 실무의 현실입니다. 두 모델이 활성화되면 후속 실험에 넣겠습니다.

시드 코드, 라벨(oracle), 프롬프트, 채점 규칙, 원시 응답 로그는 재현 가능하도록 정리해 별도로 공개할 계획입니다.

결과가 흥미롭긴 해도 너무 심각하게 받아들이지는 마세요. 이 글에서 챙겨 갈 한 문장을 고른다면, 모델 순위가 아니라 이겁니다. 작성 모델이 “안전합니다"라고 서명한 diff일수록, 다른 관점으로 한 번 더 교차 리뷰할 값어치가 있습니다.

References

• Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM Evaluators Recognize and Favor Their Own Generations. arxiv.org/abs/2404.13076
• Perez, E., et al. (2022). Discovering Language Model Behaviors with Model-Written Evaluations. arxiv.org/abs/2212.09251
• Jin, H., & Chen, H. (2026). Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement. arxiv.org/abs/2603.00539