AX 팁 16 — 검사 스크립트도 시험한다

작성

  • AX 팁
  • Claude Code
  • 개발 환경 자동화
  • 자체 시험

검사 스크립트를 믿으려면 그 스크립트를 먼저 시험해야 합니다. 방법은 단순합니다. 「이 입력을 주면 이 출력이 나와야 한다」를 파일로 고정하고, 임시 폴더에 만든 가짜 자료로 매번 돌려서 하나라도 어긋나면 종료 코드 1을 돌려주게 하면 됩니다. 이 글은 라우팅 적중률을 회귀 측정한 지난 편에서 쓴 측정 도구들이 스스로 틀렸을 때를 어떻게 잡는지 다룹니다.

점검 목록에 체크하는 개발자 모습 사진 AI 생성 이미지

검사 도구가 틀리면 무슨 일이 생길까?

훅과 점검 스크립트가 늘어나면 어느 순간부터 「검사 통과」라는 출력이 안심 신호가 됩니다. 문제는 검사 도구 자체가 조용히 죽을 때입니다. 에러는 나지 않고, 그냥 아무것도 찾지 못한 채 「문제 없음」을 출력합니다.

실제로 2026년 9월 21일부터 22일 사이에 이런 일이 여러 번 겹쳤습니다. 숫자를 세는 정규식이 파일 하나만 읽고 있었고, 폴더를 디렉터리로 잘못 세었고, macOS 기본 bash 3.2 가 지원하지 않는 globstar 를 썼고, 괄호 안 설명이 라벨에 섞여 들어갔습니다. 넷 다 겉으로는 정상 출력이었습니다.

어떤 시험을 만들었을까?

원칙은 세 가지입니다.

  1. 알려진 입력과 기대 출력을 코드에 고정합니다.
  2. 실제 작업 폴더나 네트워크는 건드리지 않고, 픽스처(시험용 가짜 자료)는 임시 디렉터리에 만듭니다.
  3. 시험 함수가 예외로 죽어도 그것을 실패로 셉니다.

2026년 9월 22일에 selftest.py 를 처음 커밋했고, 2026년 11월 10일 기준으로 시험 함수 113개가 33개 시험 파일(합계 8,143줄)에 나뉘어 있습니다. 새 스크립트를 만들면 시험 함수를 하나 만들어 실행 목록에 등록하는 것까지가 한 세트입니다.

바꾼 방법: 비교는 한 함수로, 실패는 모아서

비교 함수는 하나뿐입니다. 어긋나면 바로 멈추지 않고 실패 목록에 쌓아서, 한 번 돌릴 때 깨진 곳을 전부 보여 줍니다.

FAILS = []

def check(label, got, want):
    if got != want:
        FAILS.append("%s\n  기대: %r\n  실제: %r" % (label, want, got))

실행기는 등록된 시험을 차례로 부르고, 시험 함수 자체가 예외로 깨져도 그 이름을 실패 목록에 넣습니다. 마지막에 실패가 있으면 1, 없으면 0 으로 끝납니다.

def main():
    for t in TESTS:
        try:
            t()
        except Exception as e:  # 시험이 깨져도 실패로 센다
            FAILS.append("%s: 예외 %s" % (t.__name__, e))
    return 1 if FAILS else 0

종료 코드가 0 인지만 보면 되므로 커밋 전 점검이나 자동화에서 그대로 이어 붙일 수 있습니다.

python3 scripts/verify/selftest.py; echo "종료 코드: $?"
자체 시험이 도는 순서알려진 입력 고정 → 임시 폴더에 가짜 자료; 임시 폴더에 가짜 자료 → 시험 함수 차례로 실행; 시험 함수 차례로 실행 → 어긋남·예외 있음?; 어긋남·예외 있음? → 종료 코드 1 (예); 어긋남·예외 있음? → 종료 코드 0 (아니오)예아니오알려진 입력 고정임시 폴더에 가짜 자료시험 함수 차례로 실행어긋남·예외 있음?종료 코드 1종료 코드 0
자체 시험이 도는 순서 — 한 번 돌려서 깨진 곳을 전부 모은다

시험이 거꾸로 나를 속인 적은 없을까?

있었습니다. 시험 파일이 자기 저장소 위치가 아니라 정해진 경로의 링크를 따라가도록 되어 있었는데, 그 링크가 없는 기기에서 돌렸더니 2026년 10월 25일에 124건이 가짜로 실패했습니다. 시험이 틀린 경로를 믿고 있던 것입니다.

그래서 기준 경로를 「시험 파일이 들어 있는 저장소 루트」로 바꿨습니다. 이 기준은 환경 변수로 덮어쓸 수 있게 열어 두었는데, 다음 편에서 다룰 「옛 커밋 사본으로 돌려 보기」가 이 변수를 씁니다. 또 시험 중에 실제 탭 이름이 바뀌거나 알림이 뜨지 않도록 시험 하니스가 맨 앞에서 환경 변수를 꺼 둡니다.

검사 스크립트를 믿는 방식시험 없이: 정상 출력인데 실제로는 한 파일만 읽음, 문제 없음을 그대로 믿음 → 자체 시험 후: 알려진 입력과 기대 출력을 고정, 어긋나면 종료 코드 1로 바로 드러남시험 없이정상 출력인데실제로는 한 파일만읽음문제 없음을 그대로믿음자체 시험 후알려진 입력과 기대출력을 고정어긋나면 종료 코드1로 바로 드러남
검사 스크립트를 믿는 방식

지금 하루는 어떻게 달라졌을까?

검사 스크립트를 고친 날에는 자체 시험을 한 번 돌립니다. 2026년 11월 10일 이 기기에서 전체를 돌렸더니 통과했고 걸린 시간은 2분 4초였습니다. 조용히 틀리는 일을 하루가 지나서 알아채던 때와 비교하면, 고친 직후에 어디가 깨졌는지 이름과 기대·실제 값으로 바로 봅니다.

남은 약점도 있습니다. 시험이 통과해도 「시험이 정말 그 결함을 잡는가」는 따로 확인해야 합니다. 이 부분은 다음 편으로 미룹니다.

자주 묻는 질문

자체 시험은 어떤 스크립트부터 만들면 될까?

출력이 「문제 없음」일 때 아무도 다시 확인하지 않는 스크립트부터 만듭니다. 숫자를 세거나 파일을 훑어 판정하는 검사가 대표적입니다. 결함이 한 번 났던 입력을 그대로 시험 함수로 옮기면 같은 결함이 다시 나지 않습니다.

실제 폴더 대신 임시 폴더를 쓰는 이유는?

시험이 실제 작업 폴더를 건드리면 시험 때문에 자료가 바뀌거나, 자료가 바뀐 만큼 결과가 달라져 시험이 흔들립니다. 임시 폴더에 알려진 파일만 만들면 결과가 매번 같습니다.

시험이 예외로 죽으면 어떻게 처리하나요?

예외도 실패 목록에 넣습니다. 시험 함수가 깨졌는데 조용히 넘어가면 시험이 검사 도구와 똑같은 함정에 빠지기 때문입니다.

사이트를 만들어볼까요?

무료 상담 받기