새로 넣은 시험이 정말 변경을 검증하는지 알고 싶다면, 그 시험을 변경 전 코드에서 돌려 보면 됩니다. 기준 커밋을 git worktree 로 임시 폴더에 꺼내고, 지금의 시험 파일만 그 위에 덮어쓴 뒤 실행합니다. 새 시험이 옛 코드에서 실패하면 변경을 지키는 시험이고, 옛 코드에서도 통과하면 고친 내용을 되돌려도 아무도 모르는 헛시험입니다.
AI 생성 이미지
이 글은 검사 스크립트도 시험한다는 지난 편에서 남겨 둔 질문, 「시험이 통과해도 그 시험이 정말 결함을 잡는가」를 다룹니다.
통과하는 시험이 왜 문제였을까?
자체 시험을 만들고 나서 한동안은 새 기능을 넣을 때마다 시험 함수도 하나씩 더했습니다. 시험이 초록불이면 마음이 놓였습니다. 그런데 커밋 뒤에 검토 에이전트가 같은 지적을 거듭 남겼습니다. 「이 시험은 변경을 되돌려도 통과한다」는 지적이었습니다.
2026년 10월 10일과 11일에 연달아 그런 일이 있었습니다. 한 번은 실패한 호출을 성공으로 세지 않도록 고쳤는데, 시험 입력이 원래부터 성공 사례만 담고 있었습니다. 다른 한 번은 비슷한 낱말을 구분하도록 고쳤는데, 시험 입력이 점수 하한 때문에 옛 코드에서도 같은 결과를 냈습니다. 두 시험 모두 고친 줄을 지워도 통과했습니다.
사람 눈으로 잡으면 안 될까?
잡을 수는 있었습니다. 다만 늘 커밋이 끝난 뒤였습니다. 검토가 끝나야 알게 되니 고치는 커밋이 하나 더 생기고, 그 사이에 헛시험이 「검증됨」이라는 표정으로 저장소에 남아 있었습니다.
이 판정은 사람이 생각할 일이 아니라 기계가 돌려 보면 끝나는 일이었습니다. 「옛 코드 + 새 시험」을 실행해서 새 시험이 실패하는지만 보면 됩니다. 그래서 같은 날 스크립트로 만들었고, 이름은 시험이 옛 코드를 「무는지」 본다는 뜻으로 test-bite 라고 붙였습니다.
바꾼 방법: 옛 커밋 사본에 새 시험만 덮어 돌린다
순서는 세 단계입니다. 먼저 새 시험이 무엇인지 고릅니다. 시험 파일을 구문 트리로 읽어서 check("라벨", …) 호출의 라벨을 모으고, 기준 커밋에 없던 라벨만 「새 시험」으로 봅니다. 문자열 안에 우연히 들어간 check( 는 세지 않으려고 정규식 대신 구문 트리를 썼습니다.
def labels_by_func(src):
out = {}
for fn in ast.parse(src).body:
if isinstance(fn, ast.FunctionDef) and fn.name.startswith("test_"):
for node in ast.walk(fn):
if (isinstance(node, ast.Call) and getattr(node.func, "id", "") == "check"
and node.args and isinstance(node.args[0], ast.Constant)):
out[node.args[0].value] = fn.name
return out
다음으로 기준 커밋을 임시 폴더에 꺼내고, 시험 파일만 지금 것으로 덮습니다. 작업 중인 폴더는 그대로 두므로 커밋하지 않은 변경이 있어도 안전합니다.
git worktree add --detach /tmp/bite/wt HEAD
cp scripts/verify/selftest.py /tmp/bite/wt/scripts/verify/
cp -R scripts/tests/. /tmp/bite/wt/scripts/tests/
CC_SELFTEST_ROOT=/tmp/bite/wt python3 /tmp/bite/wt/scripts/verify/selftest.py
git worktree remove --force /tmp/bite/wt
마지막으로 사본의 실패 목록과 새 라벨을 맞춰 봅니다. 여기서 한 번 실수했습니다. 시험의 기준 경로만 사본으로 돌렸더니, 옛 훅이 경로 정본을 따라 지금 폴더의 새 문서를 읽고 있었습니다. 옛 코드를 돌린다고 생각했는데 반은 새 자료를 보고 있던 셈입니다. 그래서 경로 정본을 가리키는 환경 변수도 사본으로 함께 바꿉니다.
판정할 수 없는 경우는 어떻게 할까?
옛 코드에는 새로 만든 스크립트나 함수가 아예 없을 수 있습니다. 그러면 시험 함수가 실패가 아니라 예외로 죽습니다. 이것을 「실패함」으로 세면 헛시험도 통과 판정을 받으니, 예외로 죽은 함수에 든 새 시험은 「판정 못함」으로 따로 셉니다.
2026년 11월 11일에 가장 최근 시험 커밋 바로 앞을 기준으로 돌려 보니 정확히 이 경우가 나왔습니다. 새 시험 1개가 있었고, 그 시험이 든 함수가 옛 코드에서 예외로 죽어 UNKNOWN 새 시험 1개 모두 판정 못함 이 출력됐습니다. 사본에서 전체 시험을 한 번 더 돌리므로 이 기기에서 2분 52초가 걸렸습니다.
결과는 경고로만 냅니다. 기존 동작이 바뀌지 않았음을 지키는 회귀 시험은 옛 코드에서도 통과하는 게 맞기 때문입니다. WARN 이 뜨면 그 라벨이 회귀 시험인지, 입력을 바꿔야 하는 헛시험인지 한 번 들여다봅니다.
지금 하루는 어떻게 달라졌을까?
시험 파일을 고친 날에는 커밋 전에 이 스크립트를 한 번 돌립니다. 시험 파일이 안 바뀌었거나 시험 파일만 바뀌었으면 「검증할 변경 없음」으로 바로 끝나고, 새 라벨이 없을 때도 곧장 끝납니다. 그래서 매 커밋마다 도는 무결성 검사에는 넣지 않고, 시험을 바꾼 날에만 손으로 부릅니다.
한계도 적어 둡니다. 라벨은 그대로 두고 입력만 고친 시험은 새 시험으로 보지 않습니다. 함수 하나가 옛 코드에서 죽으면 같은 함수의 다른 새 시험도 함께 가려집니다. 이 두 가지는 판정을 「판정 못함」으로 남겨 두고 사람이 보는 쪽을 택했습니다.
자주 묻는 질문
뮤테이션 테스트와는 무엇이 다른가요?
뮤테이션 테스트는 코드에 작은 결함을 여러 개 일부러 넣고 시험이 잡는지 보는 방법이라, 결함 수만큼 시험을 반복해서 돌립니다. 여기서는 결함을 따로 만들지 않고 「이번 변경을 통째로 되돌린 상태」 하나만 돌려 봅니다. 시험을 한 번 더 돌리는 비용으로 이번 커밋의 시험만 확인합니다.
왜 작업 폴더에서 바로 되돌리지 않고 worktree 를 쓰나요?
작업 폴더에서 체크아웃으로 되돌리면 커밋하지 않은 변경을 잃거나 다른 작업과 섞일 수 있습니다. worktree 는 같은 저장소의 다른 커밋을 별도 폴더로 꺼내 주므로, 실행이 끝나면 그 폴더만 지우면 됩니다.
옛 코드에서도 통과하면 시험을 지워야 하나요?
아닙니다. 기존 동작을 지키는 회귀 시험이라면 통과하는 게 맞습니다. 이번 변경을 검증하려고 넣은 시험인데 통과했다면, 고친 경우에만 결과가 달라지는 입력으로 바꿉니다.