훅이나 프롬프트 규칙을 고친 뒤 「좋아진 것 같다」는 느낌 대신, 예전에 실제로 보낸 프롬프트를 고정된 시험지로 삼아 고치기 전과 후의 수치를 나란히 비교하면 됩니다. 핵심은 절대 점수가 아니라 같은 시험지에서의 차이만 믿는 것입니다. 이 글은 프롬프트 낱말로 skill 을 미리 알리는 지난 편에서 만든 낱말 사전이 고칠 때마다 조용히 나빠지는 문제를 어떻게 막았는지 다룹니다.
AI 생성 이미지
훅을 고쳤는데 정말 좋아졌는지 어떻게 알까?
낱말 사전을 손보면 그날 입력한 프롬프트에서는 잘 맞는 것처럼 보입니다. 그런데 한 낱말을 추가하면 다른 요청 열 개에 엉뚱한 알림이 붙을 수 있습니다. 눈으로는 그 열 개가 보이지 않습니다.
그래서 먼저 시험지를 만들었습니다. 지난 대화 기록에서 내가 직접 쓴 문장만 뽑고, 시스템이 넣은 알림이나 명령어 줄은 걸러 냅니다. 같은 저장소 안에서 똑같은 문장은 한 번만 셉니다. 이렇게 하면 「내가 실제로 이렇게 말한다」는 자료가 시험지가 됩니다.
정답은 어디서 구했을까?
문장마다 정답을 손으로 붙일 수는 없었습니다. 대신 저장소마다 「이 저장소에서는 이 skill 을 쓴다」고 적어 둔 문서의 한 줄을 정답 집합으로 썼습니다. 그 저장소에서 보낸 프롬프트는 모두 그 집합을 정답으로 받습니다.
이 방식에는 약점이 분명합니다. 「커밋해 줘」처럼 skill 이 필요 없는 문장도 정답 집합을 갖습니다. 그래서 스크립트 머리 주석에도 적어 두었듯이 절대값이 아니라 같은 시험지에서의 전후 비교로만 씁니다.
무엇을 숫자로 재나?
세 가지를 셉니다.
- 적중: 알린 skill 중 하나라도 정답 집합에 있는 프롬프트
- 무권고: 아무것도 알리지 않은 프롬프트
- 오탐: 알린 (프롬프트, skill) 짝 중 정답 집합 밖인 것
「sql」처럼 어느 저장소에서나 쓰는 skill 은 정답 문서에 안 적혀 있어도 알리는 것이 옳습니다. 그래서 이런 횡단 skill 을 뺀 오탐 수치를 따로 냅니다.
2026-11-08 기준으로 저장해 둔 기준선(2026-10-30 저장)은 이렇습니다. 시험지는 20자 이상 작업 문장 2,177개이고, 적중 504개(23.2%), 무권고 1,519개, 오권고 154개입니다. 알린 짝 715개 중 191개(26.7%)가 정답 밖이었고, 횡단 skill 을 빼면 596개 중 104개(17.4%)였습니다.
적중이 23.2% 라서 낮아 보이지만, 무권고 1,519개 대부분은 「응, 돌려 봐」 같은 짧은 후속 말이라 알리지 않는 것이 정상입니다. 이 숫자가 좋다 나쁘다를 말해 주는 것이 아니라, 다음 수정이 이 숫자를 흔드는지만 말해 줍니다.
바꾼 방법: 기준선을 저장하고 차이만 본다
수정 전에 현재 수치를 파일 하나로 저장합니다. 스크립트는 622줄이지만 뼈대는 단순합니다. 저장된 수치와 지금 수치를 빼서 차이만 출력합니다.
def d(k):
return result[k] - b[k]
print("기준선 대비(%s): 적중 %+d · 무권고 %+d · 오권고 %+d · 횡단제외 오탐 %+d"
% (snap["saved"], d("hit"), d("miss_silent"), d("miss_wrong"), d("core_bad")))
비슷한 구조를 처음부터 만든다면 아래 정도로 시작해도 됩니다. 시험지 문장과 정답 집합만 자기 것으로 바꾸세요.
import json, sys
cases = json.load(open("cases.json")) # [{"prompt": "...", "want": ["sql"]}]
hit = sum(1 for c in cases if set(suggest(c["prompt"])) & set(c["want"]))
base = json.load(open("baseline.json"))["hit"]
print(f"적중 {hit}/{len(cases)} (기준선 대비 {hit - base:+d})")
sys.exit(1 if hit < base else 0)
기준선을 저장하는 일은 별도 옵션으로만 합니다. 수치가 좋아졌다고 확인한 뒤에만 덮어써야, 나빠진 결과가 새 기준이 되는 일을 막을 수 있습니다. 라벨 수가 기준선과 다르면 비교가 무효라는 경고도 같이 출력합니다.
지금 하루는 어떻게 달라졌을까?
낱말 하나를 고칠 때마다 「이게 다른 요청을 망치지 않았나」를 걱정하며 눈으로 훑던 일이 사라졌습니다. 명령 한 번으로 전후 차이가 숫자로 나오고, 나빠졌으면 어느 프롬프트가 틀렸는지 목록으로도 볼 수 있습니다.
대가도 있습니다. 정답이 저장소 단위라서 실제로는 필요 없는 알림도 정답으로 칩니다. 시험지도 내 말투와 내 프로젝트에 맞춰져 있어 다른 환경에는 그대로 옮길 수 없고, 대화 기록이 쌓일수록 시험지가 바뀌어 기준선을 다시 잡아야 합니다.
자주 묻는 질문
시험지는 몇 개쯤 있어야 하나요?
정해진 수는 없습니다. 고정한 시험지로 수정 전후를 같은 방식으로 돌려 비교한다는 방법 자체는 프롬프트를 코드처럼 시험하기 같은 글에서도 소개합니다. 제 경우는 대화 기록에서 자동으로 뽑아 2,177개가 되었습니다. 중요한 것은 개수보다 수정 전후에 같은 시험지를 쓰는 것입니다.
절대 점수가 낮으면 문제 아닌가요?
정답 라벨이 거칠면 절대 점수는 의미가 약합니다. 같은 시험지에서 수정 전보다 나빠졌는지만 판단 기준으로 삼으세요. 정답을 더 정교하게 만들면 절대값도 쓸 수 있지만, 그 비용이 이득보다 큰지 먼저 따져 보세요.
기준선은 언제 새로 저장하나요?
수치가 같거나 좋아졌고, 나빠진 항목이 없다는 것을 확인한 뒤에만 저장하세요. 나빠진 상태로 저장하면 그 상태가 새 기준이 되어 다음 비교가 무의미해집니다.