AI가 짠 코드 리뷰 체크리스트 — 에이전트가 쓴 PR, 이렇게 검증합니다
코딩 에이전트가 PR을 몇 분 만에 써주는 시대입니다. Claude Code, Codex CLI, Copilot CLI — 지난 글에서 비교한 도구들이 코드를 써주는 속도는 빨라졌는데, 그 코드를 읽고 책임지는 일은 여전히 사람의 몫입니다. 문제는 속도보다 믿음입니다. 2023년 스탠퍼드 연구(Perry et al., CCS '23, 참가자 47명, Python·JavaScript·C 5개 과제)에서는 AI 어시스턴트를 쓴 그룹이 쓰지 않은 그룹보다 유의미하게 덜 안전한 코드를 작성했고, 그런데도 본인이 쓴 코드가 안전하다고 믿는 경향이 더 강했습니다. 암호화 과제에서는 AI 그룹 중 안전하고 정확한 답이 21%인 데 비해 대조군은 43%였습니다. 2022년 Pearce et al. 연구도 Copilot이 제안한 코드의 약 40%에 취약점이 있었다고 보고했습니다. 두 연구 모두 지금보다 오래된 모델(Codex, 초기 Copilot) 기준이라 수치를 그대로 오늘에 대입하면 안 되지만, 방향은 분명합니다. 에이전트가 쓴 코드는 "돌아간다"와 "믿을 만하다"가 다릅니다. 이 글은 에이전트가 쓴 PR을 받을 때, 어디를 어떤 순서로 확인하는지에 대한 체크리스트입니다.
## 1. 요약 말고 diff부터 본다
에이전트가 PR 설명에 적어준 요약은 읽지 말라는 게 아니라, 나중에 읽으라는 뜻입니다. 먼저 실제 diff를 봅니다.
```bash
git diff --stat # 바뀐 파일 목록과 규모부터
git diff # 실제 변경 내용
gh pr diff 123 # PR 단위로 볼 때 (GitHub CLI)
```
확인할 건 세 가지입니다. 첫째, **범위 밖의 파일**이 섞여 있나. 로그인 기능 하나를 고치는데 설정 파일이나 다른 모듈이 같이 바뀌어 있으면, 그건 에이전트가 "김에" 손댄 것일 수 있습니다. 둘째, **지워진 코드**입니다. 추가된 줄은 눈에 잘 띄는데, 삭제된 줄은 흘려보기 쉽습니다. 삭제된 줄이 테스트나 검증 로직이면 바로 물어봐야 합니다. 셋째, **PR 설명과 diff가 다른가**. 설명에는 "리팩터링만 했다"고 적혀 있는데 diff에 동작이 바뀌는 줄이 있으면, 그 PR은 일단 멈추고 diff를 끝까지 읽는 게 맞습니다.
## 2. "테스트 통과했어요"는 직접 돌려본다
에이전트의 "테스트 통과했습니다"는 보고이지 증거가 아닙니다. 체크아웃한 뒤 직접 돌립니다.
```bash
npm test
npx tsc --noEmit
npm run lint
```
그리고 에이전트가 짠 테스트는 **assertion이 있는지**까지 확인합니다. 테스트가 있다고 해서 검증이 되는 건 아닙니다. 이런 테스트는 실패할 수가 없습니다.
```ts
// 이렇게 쓰면 실패할 수가 없는 테스트입니다
test("결제가 실패하지 않는다", () => {
try {
charge(0);
} catch {
// 아무것도 검증하지 않음
}
});
```
`expect`가 없는 테스트, `try/catch`로 예외를 삼킨 테스트, `setTimeout`으로 대충 기다리는 테스트는 "통과"가 아니라 "안 본 것"입니다. 테스트 파일도 diff의 일부로 읽고, 실패 조건이 실제로 실패를 내는지 — 경계값 하나를 바꿔서 테스트가 빨갛게 되는지 — 확인하는 게 가장 확실합니다.
## 3. 보안 자리만 따로 본다
diff 전체를 균일하게 읽는 건 비효율적입니다. 보안과 관련된 네 자리는 따로 떼어 읽습니다. 인증·권한 체크, 비밀값, SQL·셸 명령어 조합, 암호화입니다.
비밀값이 diff에 들어갔는지부터 확인합니다.
```bash
git diff | grep -iE "password|secret|api[_-]?key|token"
```
`.env`를 건드렸는지, 하드코딩된 키가 있는지, 로그에 토큰이 찍히는지 봅니다. 토큰이나 난수를 만들 때는 `Math.random()`이 아니라 암호학적으로 안전한 난수를 씁니다.
```ts
import { randomBytes } from "node:crypto";
const token = randomBytes(32).toString("hex");
```
암호화·서명 같은 건 직접 구현하지 말고 표준 라이브러리나 검증된 API를 씁니다. 위에서 인용한 Perry et al. 연구에서 AI 그룹과 대조군의 차이가 가장 컸던 과제가 바로 암호화 과제였습니다. 에이전트가 "암호화 함수"를 직접 짜줬다면, 그 부분은 diff에서 가장 먼저 의심해야 합니다.
## 4. 없는 API를 쓴 건 아닌지 확인한다 — 환각 검증
에이전트는 없는 함수, 없는 옵션, 없는 패키지를 그럴듯하게 써낼 때가 있습니다. 타입체커는 없는 import는 잡아주지만, **존재하는데 의미가 다른 API**는 못 잡습니다.
```bash
npx tsc --noEmit # 없는 import·잘못된 타입은 여기서 걸러집니다
npm ls <패키지> # 에이전트가 새로 추가한 의존성이 실제로 있는지
```
`package.json`에 새로 들어간 의존성이 있는지 확인하고, 낯선 API나 옵션이 나오면 에이전트의 설명이 아니라 공식 문서를 직접 확인합니다. "이 API 문서 링크 줘"라고 에이전트에게 물으면 그럴듯한 링크를 만들어낼 수도 있으니, 문서 확인은 사람이 직접 하는 게 원칙입니다.
## 5. AI 리뷰어에게 2차 검토를 맡긴다 — 단, 승인은 사람이
사람이 다 읽는 게 원칙이지만, AI 리뷰어를 두 번째 눈으로 붙이는 건 실용적입니다. 두 가지 선택지가 있습니다.
**GitHub Copilot 코드 리뷰**는 PR 페이지 오른쪽 Reviewers에서 Copilot 옆 Request를 누르면 됩니다. 보통 30초 안에 코멘트가 달리고, 제안된 수정은 클릭 몇 번으로 적용할 수 있습니다. 단, Copilot은 항상 "Comment" 리뷰만 남깁니다. Approve가 아니고, 필수 승인으로 쳐주지도 않으며, 머지를 막지도 않습니다. 규칙집(ruleset)에서 자동 요청을 켜두면 매 PR마다 사람이 깜빡할 일이 없어집니다. 새 푸시가 올라오면 자동으로 다시 보지 않으니, 필요하면 Reviewers 메뉴에서 다시 요청해야 합니다.
**CodeRabbit**은 GitHub·GitLab에 붙는 AI 리뷰 앱입니다. 설치하면 새 PR에 자동으로 요약과 라인별 코멘트를 달아주고, 이미 열린 PR에는 `@coderabbitai review` 댓글로 리뷰를 요청할 수 있습니다. 오픈소스에는 무료 티어가 있습니다. 자세한 가격·약관은 결제 전에 공식 페이지를 확인하세요.
여기서 한 가지는 분명히 해야 합니다. AI 리뷰어의 코멘트도 **검증 대상**입니다. AI가 쓴 코드를 AI가 검토하면 같은 착각을 공유할 수 있습니다. 코멘트마다 "이 지적이 맞는가"를 확인하고, 맞는 것만 적용합니다. AI 리뷰는 승인자가 아니라, 사람이 놓친 걸 짚어주는 두 번째 눈입니다.
리뷰를 학습으로 연결하는 방법도 있습니다. 에이전트에게 "왜 이렇게 했는지" 설명을 시키고, 그 설명이 납득이 안 되면 코드를 다시 보세요. 그리고 팀의 리뷰 규칙은 `AGENTS.md`에 적어두는 게 좋습니다. 지난 AI 코딩 에이전트 글에서 다룬 `AGENTS.md`에 이런 줄을 넣어두면, 에이전트가 처음부터 리뷰하기 쉬운 PR을 만듭니다.
```markdown
# Rules
- PR 설명에 바꾼 파일, 돌린 테스트, 확인한 보안 자리를 적는다
- .env와 비밀값은 diff에 포함하지 않는다
- 테스트는 expect(검증) 없이 통과만 하는 형태로 쓰지 않는다
```
## 흔한 함정 3가지
1. **에이전트 요약만 읽고 승인하는 것.** 요약은 에이전트가 "이렇게 했다고 믿는" 내용입니다. diff와 다른 줄이 있는지 확인하지 않으면, 요약에 없는 변경이 그대로 머지됩니다.
2. **"테스트 통과"라는 말만 믿는 것.** 직접 돌려보고, assertion이 있는지도 확인하세요. 통과하는 테스트와 검증하는 테스트는 다릅니다.
3. **AI 리뷰 코멘트를 검증 없이 적용하는 것.** AI 리뷰어도 틀립니다. 코멘트마다 맞는지 확인하고, 이해 안 되는 지적은 그대로 두지 말고 사람에게 물어보세요.
## 체크리스트
- [ ] PR 설명이 아니라 diff(`git diff --stat`, `git diff`)부터 봤나
- [ ] 범위 밖 파일, 삭제된 검증 로직이 섞여 있지 않나
- [ ] `npm test`, `npx tsc --noEmit`, `npm run lint`를 직접 돌렸나
- [ ] 에이전트가 짠 테스트에 expect(검증)가 있나
- [ ] 비밀값이 diff에 들어가지 않았나 (`grep`으로 확인했나)
- [ ] 토큰·난수는 `crypto.randomBytes` 같은 안전한 방법을 썼나
- [ ] 암호화·서명을 직접 구현하지 않았나
- [ ] 새로 추가된 의존성과 낯선 API를 공식 문서에서 확인했나
- [ ] AI 리뷰(Copilot·CodeRabbit)를 두 번째 눈으로 붙였나 — 승인은 사람이 했나
- [ ] 리뷰 규칙을 `AGENTS.md`에 적어뒀나
여러분은 에이전트가 쓴 PR을 볼 때 제일 먼저 뭘 확인하세요? 저는 diff의 삭제된 줄부터 봅니다. 추가된 코드는 에이전트가 자랑하고 싶어 하지만, 지워진 건 조용히 지나가거든요.
0 0 1
댓글 0
로그인하고 댓글 남기기 →