AX 팁 6 — 자동화가 고친 지침, 나빠지면 스스로 되돌린다

작성

  • AX 팁
  • Claude Code
  • 개발 환경 자동화
  • 롤백

AI 에이전트의 규칙 파일을 자동화가 매일 고치게 하려면, 고치기 전에 지표를 재고 고친 뒤에 다시 재서 나빠진 변경만 그날 되돌리는 게이트를 붙이면 됩니다. 핵심은 두 가지입니다. 숫자로 좋고 나쁨을 판정할 수 있는 변경만 자동으로 반영하고, 지표가 흔들린 것이 변경 때문인지 표본 잡음인지 두 비율의 차이를 표준오차의 2배와 견줘 가립니다. 이 글은 바로잡은 말을 모아 규칙으로 만드는 지난 편에 이어, 그렇게 쌓인 변경을 자동화가 어떻게 안전하게 반영하는지 정리한 연재의 여섯 번째 편입니다.

고친 결과를 되짚어 보는 여성 모습 사진 AI 생성 이미지

왜 자동으로 고치게 두면 겁이 났을까?

혼자 쓰는 개발 환경이지만 규칙 파일, 훅 스크립트, 점검 도구가 계속 늘었습니다. 매일 저녁 한 번 도는 자동화가 이것들을 점검하고 고치게 했더니 사람이 직접 고치던 때보다 손이 덜 갔습니다. 2026-09-29 이후 제목에 (auto) 가 붙은 커밋이 117개 쌓였습니다(2026-10-29 git log 로 잰 값).

문제는 자동화가 틀릴 때였습니다. 규칙 한 줄을 잘못 고치면 다음 날부터 모든 세션이 그 규칙을 따릅니다. 사람이 보고 고치면 바로 알아채지만, 자동화가 밤에 고친 것은 며칠 뒤에야 「요즘 답이 이상하다」로 드러납니다. 그래서 자동화에 줄 수 있는 권한을 먼저 좁혔습니다.

어디까지 자동으로 고치게 했을까?

기준은 하나입니다. 숫자로 좋고 나쁨을 판정할 수 있는 변경만 자동으로 반영합니다. 오타와 깨진 링크 복구처럼 의미가 바뀌지 않는 정합성 수정, 점검 도구가 낸 수치가 나아지는 설정 변경이 여기에 들어갑니다. 반대로 규칙의 뜻을 바꾸는 문장이나 안전장치를 약하게 만드는 변경은 자동화가 제안만 하고 제가 승인합니다.

반영하기 전에는 관련 지표를 한 번 재고, 반영한 뒤 같은 지표를 다시 잽니다. 이 실행 안에서 나빠졌으면 그 자리에서 되돌립니다. 되돌릴 때도 규칙을 하나 더 두었습니다. 그 실행이 바꾼 파일만 파일 이름으로 지정해 되돌립니다.

# 이 실행이 바꾼 파일만 되돌린다 — 다른 세션이 편집 중인 파일까지 날리지 않게 전체 되돌리기(.)는 쓰지 않는다
git checkout -- scripts/hooks/example-hook.py docs/example.md

같은 저장소를 여러 세션이 동시에 쓰기 때문에 이 한 줄이 중요했습니다. 전체를 되돌리면 자동화가 모르는 다른 작업이 함께 사라집니다.

지표가 흔들리면 무조건 나빠진 걸까?

처음에는 직전 값보다 숫자가 내려가면 「나빠짐」, 올라가면 「좋아짐」으로 표시했습니다. 그런데 2026-10-12 에 사용자 정정 비율이 2.1% 에서 1.9% 로 내려가 「개선」으로 보고된 일이 있었습니다. 표준오차가 ±1.3%p 였으니 그 차이는 잡음이었습니다. 잡음을 개선으로 믿고 규칙을 남기거나, 반대로 잡음을 악화로 읽고 멀쩡한 변경을 되돌리면 자동화가 오히려 해롭습니다.

그래서 지표 도구에 표본 크기를 함께 넘겨 두 비율의 차이가 표준오차의 2배 안이면 판정하지 않게 했습니다.

def noise(cur_p, prev_p, n1, n2):
    """두 비율(%)의 차이가 2×표준오차 안이면 True"""
    if not n1 or not n2:
        return False
    p = (cur_p * n1 + prev_p * n2) / 100.0 / (n1 + n2)
    se = 100.0 * math.sqrt(max(p * (1 - p), 1e-9) * (1.0 / n1 + 1.0 / n2))
    return abs(cur_p - prev_p) < 2 * se

표본을 모르면 판정하지 않고(False) 기존 화살표를 그대로 씁니다. 차이가 잡음 범위면 좋아짐·나빠짐 표시 대신 「≈ 잡음 범위」만 붙입니다.

직전 값은 어디에 남겨 비교할까?

지표를 한 번에 모으는 스크립트가 날짜별 한 줄을 로컬 JSON Lines 파일에 남깁니다. 같은 날 여러 번 돌려도 오늘 행은 하나만 두고, 비교 대상은 오늘이 아닌 가장 최근 행입니다. 기록 파일이 일부 깨져도 깨진 줄만 건너뛰어, 통째로 비어 있다고 보고 기존 기록을 덮어쓰는 일이 없게 했습니다(검토 에이전트가 지적해 고친 부분입니다). 2026-10-29 기준 기록은 9줄입니다.

def previous(path=None, today=None):
    """오늘 기록은 비교 대상이 아니다 — 같은 날 여러 번 돌려도 어제와 비교"""
    today = today or datetime.date.today().isoformat()
    rows_ = [r for r in history(path) if r.get("date") != today]
    return rows_[-1] if rows_ else {}
지침 자동 변경의 게이트고치기 전 지표 측정 → 변경 반영; 변경 반영 → 같은 지표 다시 측정; 같은 지표 다시 측정 → 차이가 잡음 범위 밖?; 차이가 잡음 범위 밖? → 나빠졌나? (예); 차이가 잡음 범위 밖? → 커밋 유지 (아니오); 나빠졌나? → 바꾼 파일만 되돌림 (예); 나빠졌나? → 커밋 유지 (아니오)예아니오예아니오고치기 전 지표 측정변경 반영같은 지표 다시 측정차이가 잡음 범위 밖?나빠졌나?바꾼 파일만 되돌림커밋 유지
지침 자동 변경의 게이트 — 나빠진 변경만 그날 되돌린다

지금은 하루가 어떻게 달라졌나?

저녁 자동화가 돌고 나면 저는 변경 목록과 지표 한 장만 봅니다. 문제가 있으면 이미 그날 되돌려져 있고 보고에 「되돌림」으로 남습니다. 달라진 점은 아침에 일어나 「어제 뭘 고쳤지, 그게 지금 답을 이상하게 만들었나」를 의심하지 않아도 된다는 것입니다. 개선 판정도 보수적으로 바뀌어 잡음 범위 변화는 개선으로 세지 않습니다.

대가도 있습니다. 표본이 작은 지표는 대부분 「잡음 범위」로만 나와, 며칠 쌓일 때까지 좋아졌는지 알 수 없습니다. 그동안은 반영을 미루거나 변경을 보수적으로 유지합니다.

자동 변경 방식 비교게이트 없이: 밤에 고친 규칙이 며칠 뒤에야 문제로 드러남, 숫자 한 칸 차이를 개선으로 보고, 되돌릴 때 다른 작업까지 날릴 위험 → 측정 게이트: 고치기 전후 같은 지표로 비교, 잡음 범위 차이는 판정 보류, 바꾼 파일만 이름으로 되돌림게이트 없이밤에 고친 규칙이 며칠뒤에야 문제로 드러남숫자 한 칸 차이를개선으로 보고되돌릴 때 다른작업까지 날릴 위험측정 게이트고치기 전후 같은지표로 비교잡음 범위 차이는 판정보류바꾼 파일만 이름으로되돌림
자동 변경 방식 비교

자주 묻는 질문

자동화가 규칙을 고치게 두는 것은 위험하지 않나요?

모든 규칙을 맡기지는 않습니다. 숫자로 판정할 수 있는 변경만 자동으로 반영하고, 규칙의 의미를 바꾸거나 안전장치를 약하게 하는 변경은 제안만 하게 했습니다. 반영한 것도 고치기 전후 지표가 나빠지면 그날 되돌립니다.

지표가 나빠졌는지 어떻게 믿을 수 있나요?

표본 크기를 함께 보고 두 비율의 차이가 표준오차의 2배 안이면 잡음으로 보고 판정하지 않습니다. 이 기준으로 한 번의 작은 등락을 개선이나 악화로 읽는 실수를 줄였습니다. 표본을 모르는 지표는 판정하지 않습니다.

롤백은 어떻게 하나요?

그 실행이 바꾼 파일을 이름으로 지정해 git checkout -- <파일> 로 되돌립니다. 같은 저장소를 쓰는 다른 세션의 편집을 지우지 않으려고 전체 되돌리기는 쓰지 않습니다.

사이트를 만들어볼까요?

무료 상담 받기