AX 팁 8 — AI 검색 봇에게 문을 여는 robots·llms.txt

작성

  • AX 팁
  • Claude Code
  • 개발 환경 자동화
  • AI 검색

AI 검색에 내 사이트가 인용되게 하려면 두 파일을 따로 생각하면 됩니다. robots.txt 에는 AI 검색 봇을 하나씩 이름으로 적어 「들어와도 된다」를 분명히 하고, llms.txt 는 손으로 쓰지 말고 빌드할 때 페이지와 글 목록에서 자동으로 만들게 합니다. 그러면 새 글을 올릴 때마다 AI 가 읽는 안내 파일도 함께 최신이 됩니다. 이 글은 자동화가 프로젝트 지도를 키우게 한 지난 편에 이은 연재 여덟 번째 편입니다.

홈스튜디오에서 사이트를 다듬는 여성 모습 AI 생성 이미지

왜 검색에는 나오는데 AI 답변에는 안 나올까?

개인 사이트 여러 개를 운영하면서 검색 등록은 해 두었습니다. 그런데 요즘은 궁금한 것을 검색창보다 AI 채팅에 먼저 묻는 경우가 많습니다. 제 사이트가 그 답변의 출처로 나오려면 AI 검색 봇이 먼저 페이지를 읽을 수 있어야 합니다.

당시 robots.txt 는 「모든 봇 허용」 한 덩어리뿐이었습니다. 틀린 설정은 아니지만, 어떤 AI 봇을 허용하려는지 파일만 봐서는 알 수 없었습니다. 나중에 차단 목록을 손볼 때 실수로 AI 봇까지 막아도 눈치채기 어려운 구조였습니다.

GPTBot 은 허용할까, 막을까?

이 주제를 검색하면 가장 많이 나오는 질문이 이것입니다. 안내 글들은 대체로 AI 봇을 두 갈래로 나눕니다. 모델 학습용으로 페이지를 모으는 봇이 있고, 질문을 받았을 때 답변의 근거를 찾으러 오는 검색용 봇이 있습니다. 학습은 막고 검색만 열어 두는 사이트도 많습니다.

제 경우는 목적이 분명했습니다. 이 블로그와 도구 사이트는 공개용이고, 더 많이 읽히고 인용되는 것이 목표입니다. 그래서 학습용과 검색용을 가리지 않고 아는 봇을 모두 허용했습니다. 막을 이유가 있는 사이트라면 같은 형식에서 해당 봇만 Disallow 로 바꾸면 됩니다. 중요한 것은 허용이든 차단이든 봇 이름을 하나씩 적어 두는 것입니다.

robots.txt 는 어떻게 바꿨나?

기본 허용 아래에 AI 봇을 이름별로 한 블록씩 적었습니다. 2026-10-31 기준 이 사이트 robots.txt 에는 User-agent 줄이 9개 있습니다. 전체 허용 1개와 AI 봇 8종입니다.

User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

Sitemap: https://site30cut.com/sitemap-index.xml

위 조각은 줄였고, 실제 파일에는 ChatGPT-User·GPTBot·PerplexityBot·Claude-SearchBot·Google-Extended·Applebot-Extended 도 같은 모양으로 들어 있습니다. 같은 커밋에서 사이트 4곳의 robots.txt 를 한 번에 맞췄습니다(git show --stat 기준 8개 파일, 183줄 추가).

llms.txt 는 왜 손으로 쓰지 않았나?

llms.txt 는 AI 에게 「이 사이트에서 중요한 페이지는 이것들」이라고 알려 주는 마크다운 안내 파일입니다. 처음에는 정적 파일로 만들려 했습니다. 그런데 이 블로그는 매일 글이 늘어납니다. 정적 파일이면 글을 올릴 때마다 목록을 손으로 고쳐야 하고, 하루만 잊어도 AI 안내와 실제 사이트가 어긋납니다.

그래서 빌드 때 응답을 만드는 라우트 파일로 바꿨습니다. 사이트 설명과 페이지 목록, 블로그 글 목록을 이미 있는 데이터에서 읽어 줄로 이어 붙입니다.

export const GET: APIRoute = async ({ site }) => {
  const base = site!.origin;
  const posts = await getPosts('ko');
  const lines = [
    '# site30cut', '',
    '## 제작 일지', '',
    ...posts.map((p) => `- [${p.data.title}](${base}/blog/${p.id}/): ${p.data.description}`),
  ];
  return new Response(lines.join('\n'), { headers: { 'Content-Type': 'text/plain; charset=utf-8' } });
};

글의 제목과 설명은 글 파일 맨 위 정보(frontmatter)를 그대로 씁니다. 그래서 새 글을 쓰는 것만으로 llms.txt 에 한 줄이 늘어납니다. 고칠 곳이 한 군데로 줄었습니다.

글 하나가 AI 안내까지 가는 길새 글 마크다운 추가 → 사이트 빌드; 사이트 빌드 → llms.txt 라우트가 글 목록 읽기; llms.txt 라우트가 글 목록 읽기 → llms.txt 에 한 줄 추가; llms.txt 에 한 줄 추가 → AI 검색 봇이 읽음; robots.txt: AI 봇 8종 허용 → AI 검색 봇이 읽음새 글 마크다운 추가robots.txt: AI 봇8종 허용사이트 빌드llms.txt 라우트가 글목록 읽기llms.txt 에 한 줄추가AI 검색 봇이 읽음
글 하나가 AI 안내까지 가는 길 — 글 파일만 더하면 llms.txt 는 빌드가 다시 만든다

막힌 점과 지금 달라진 점은?

막힌 곳은 「허용했다」와 「실제로 들어올 수 있다」가 다를 수 있다는 점이었습니다. robots.txt 는 부탁일 뿐이고, 앞단의 CDN 이나 방화벽이 봇을 따로 막으면 파일이 무슨 말을 하든 들어오지 못합니다. 그래서 파일을 고친 뒤에는 봇 이름으로 직접 요청해 보는 습관을 들였습니다.

curl -s -A 'GPTBot' -o /dev/null -w '%{http_code}\n' https://site30cut.com/

2026-10-31 에 이렇게 재 보니 GPTBot·ClaudeBot 이름으로 보낸 요청 모두 200 이 돌아왔습니다. 같은 날 운영 중인 llms.txt 는 200, text/plain 으로 응답했고 35줄이었으며 그중 블로그 주소가 든 줄이 16줄이었습니다.

달라진 점은 AI 안내를 따로 관리하지 않게 된 것입니다. 글을 쓰면 llms.txt 가 따라오고, robots.txt 는 봇 목록을 한눈에 보여 줍니다. 대가도 있습니다. AI 답변에 실제로 몇 번 인용됐는지는 아직 잴 방법을 갖추지 못했습니다. llms.txt 가 인용을 늘린다는 공개된 측정도 찾지 못했습니다. 그래서 이 설정은 「적은 비용으로 문을 열어 두는 일」로 보고, 효과는 잴 수 있게 되면 따로 정리할 생각입니다.

AI 검색 봇을 맞는 방식전체 허용 한 줄: 어떤 AI 봇을 여는지 안 보임, llms.txt 없음, 봇 응답 확인 안 함 → 이름별 허용 + 자동 생성: AI 봇 8종을 이름으로 허용, llms.txt 는 빌드 때 글 목록에서, 봇 이름으로 직접 요청해 200 확인전체 허용 한 줄어떤 AI 봇을 여는지안 보임llms.txt 없음봇 응답 확인 안 함이름별 허용 + 자동 생성AI 봇 8종을 이름으로허용llms.txt 는 빌드 때글 목록에서봇 이름으로 직접요청해 200 확인
AI 검색 봇을 맞는 방식

자주 묻는 질문

llms.txt 를 두면 AI 검색 순위가 오르나요?

그렇다는 공개 측정은 찾지 못했습니다. llms.txt 는 접근을 허용하거나 막는 파일이 아니라 안내문에 가깝습니다. 접근은 robots.txt 가 정하고, llms.txt 는 무엇을 먼저 읽으면 좋은지 알려 주는 역할로만 기대하는 편이 안전합니다.

학습용 봇은 막고 검색용 봇만 열 수 있나요?

robots.txt 는 봇 이름별로 블록을 따로 두기 때문에 가능합니다. 막을 봇의 블록만 Disallow: / 로 바꾸면 됩니다. 이름을 하나씩 적어 두면 이런 조정이 쉬워집니다.

허용했는데 봇이 못 들어오면 어디를 보나요?

봇 이름을 User-Agent 로 넣어 직접 요청해 보고, 200 이 아니면 CDN·방화벽의 봇 차단 설정을 먼저 확인합니다. robots.txt 는 부탁일 뿐이라 앞단에서 막히면 파일 내용과 상관없이 들어오지 못합니다.

사이트를 만들어볼까요?

무료 상담 받기