AI 시대에 robots.txt가 다시 중요해진 이유
검색엔진 최적화(SEO)를 다루면서 robots.txt를 한 번쯤 설정해 보셨을 겁니다. 그런데 챗GPT·퍼플렉시티·클로드 같은 AI 서비스가 일상화되면서 robots.txt의 역할이 한 단계 더 넓어졌습니다. AI 모델이 학습하거나 실시간으로 답변을 생성할 때 웹을 직접 크롤링하는데, 이 크롤러를 차단하면 아무리 좋은 콘텐츠를 써도 AI 답변에 인용될 기회 자체가 사라집니다.
GEO(Generative Engine Optimization)와 AEO(Answer Engine Optimization)는 바로 이 지점에서 출발합니다. AI가 내 브랜드·제품·병원을 정확하게 소개하게 만들려면, 우선 크롤러가 내 사이트를 읽을 수 있어야 합니다. robots.txt는 그 첫 번째 관문입니다. 실제로 AI가 단종 제품을 대표 상품으로 소개하거나 병원 진료시간을 틀리게 안내하는 사례가 확인되는데, 이런 오류는 크롤러가 오래된 캐시만 참조하거나 최신 페이지를 아예 읽지 못할 때 더 자주 발생합니다.
AI 답변의 인용 출처는 매월 40~60%가 바뀔 만큼 유동적입니다. 오늘 인용되던 사이트가 다음 달엔 빠질 수 있고, 반대로 지금 당장 크롤러를 허용하면 다음 업데이트 사이클에서 인용 후보군에 진입할 수 있습니다. 설정 비용은 거의 0에 가깝고, 효과는 지속적입니다. 지금 바로 점검해야 할 이유입니다.
주요 AI 크롤러 목록과 User-agent 식별자
robots.txt는 User-agent 이름으로 크롤러를 구분합니다. 아래는 현재 실무에서 반드시 확인해야 할 주요 AI 크롤러 목록입니다. 각 회사가 공식 문서에서 명시한 식별자를 기준으로 정리했습니다.
- GPTBot — OpenAI(챗GPT). 학습 데이터 수집 및 실시간 브라우징에 사용.
- ChatGPT-User — 챗GPT가 대화 중 실시간으로 웹을 조회할 때 사용하는 별도 에이전트. GPTBot과 함께 허용해야 실시간 인용까지 커버됩니다.
- ClaudeBot — Anthropic(클로드). 웹 크롤링 및 학습에 사용.
- PerplexityBot — 퍼플렉시티. 실시간 검색 기반 답변 생성에 사용.
- GoogleBot — 구글 검색 및 제미나이 답변 생성의 기반 데이터 수집.
- Applebot-Extended — 애플 AI 기능(애플 인텔리전스)의 학습 크롤러.
- cohere-ai — Cohere 모델 학습 크롤러.
네이버 AI(하이퍼클로바X 기반 서비스)는 기존 Yeti 크롤러를 통해 데이터를 수집하므로, 네이버 검색 노출 설정과 크게 다르지 않습니다. 단, 네이버 서치어드바이저에서 별도로 크롤링 설정을 확인하는 것이 병행되어야 합니다.
robots.txt에서 AI 크롤러를 허용하는 정확한 문법
robots.txt 파일은 사이트 루트 디렉터리(예: https://example.com/robots.txt)에 위치해야 합니다. 문법은 단순하지만 오탈자 하나로 의도와 반대 결과가 나올 수 있으니 아래 구조를 그대로 참고하시기 바랍니다.
아래는 주요 AI 크롤러를 전체 허용하는 기본 설정 예시입니다. Disallow: 뒤를 비워 두면 "차단 경로 없음 = 전체 허용"을 의미합니다.
User-agent: GPTBot
Disallow:
User-agent: ChatGPT-User
Disallow:
User-agent: ClaudeBot
Disallow:
User-agent: PerplexityBot
Disallow:
User-agent: Applebot-Extended
Disallow:
User-agent: *
Disallow: /admin/
Disallow: /private/
반대로 특정 AI 크롤러만 선택적으로 차단하고 싶다면 Disallow: /를 사용합니다. 예를 들어 학습 데이터 제공은 원하지 않지만 실시간 인용은 허용하고 싶을 경우, GPTBot은 차단하고 ChatGPT-User만 허용하는 방식으로 분리 설정이 가능합니다. 다만 학습과 인용의 경계가 항상 명확하지는 않으므로, 별도 법무 검토가 필요한 민감 콘텐츠가 아닌 한 전체 허용을 권장합니다.
설정 후 반드시 거쳐야 할 검증 3단계
robots.txt를 수정했다고 바로 끝이 아닙니다. 잘못 저장하거나 CDN 캐시가 남아 있으면 크롤러는 여전히 이전 버전을 읽습니다. 아래 세 단계로 반드시 확인하세요.
- 1단계 — 파일 직접 확인: 브라우저에서
https://내도메인/robots.txt를 직접 열어 수정 내용이 반영되어 있는지 눈으로 확인합니다. CDN을 쓴다면 캐시 퍼지(purge)를 먼저 실행하세요. - 2단계 — Google Search Console robots.txt 테스터: 구글 서치콘솔의 'robots.txt 테스터' 도구를 활용하면 특정 User-agent가 특정 URL에 접근 가능한지 즉시 시뮬레이션할 수 있습니다.
- 3단계 — 서버 로그 확인: 설정 후 1~2주 뒤 서버 액세스 로그에서 GPTBot, ClaudeBot, PerplexityBot 등의 방문 기록이 찍히는지 확인합니다. 로그에 해당 User-agent가 보이면 크롤링이 정상적으로 이루어지고 있다는 신호입니다.
한 가지 더 주의할 점은 robots.txt의 대소문자입니다. 파일명은 반드시 소문자 robots.txt여야 하며, User-agent 값도 공식 문서에서 명시한 표기(예: GPTBot, ClaudeBot)와 정확히 일치해야 합니다. 일부 서버는 대소문자를 구분하므로 Gptbot처럼 변형하면 인식되지 않을 수 있습니다.
robots.txt 이후에 해야 할 GEO·AEO 후속 작업
크롤링을 허용했다면 이제 AI가 내 콘텐츠를 '정확하게' 인용하게 만드는 단계로 넘어가야 합니다. robots.txt는 문을 열어 두는 것일 뿐, AI가 어떤 내용을 얼마나 신뢰하느냐는 별개의 문제입니다.
우선 구조화 데이터(Schema.org 마크업)를 적용하면 AI가 페이지의 주제, 작성자, 날짜, 제품 정보 등을 훨씬 정확하게 파악할 수 있습니다. FAQ 스키마는 AEO 관점에서 특히 효과적입니다. 다음으로, 핵심 정보를 페이지 상단에 명확한 문장으로 배치하는 것이 중요합니다. AI는 긴 문단보다 "질문 + 짧은 직접 답변" 구조를 인용하는 경향이 있습니다. 마지막으로 콘텐츠의 최신성을 유지해야 합니다. 앞서 언급했듯 AI 인용 출처는 매월 40~60%가 변동되는데, 오래되거나 업데이트되지 않은 페이지는 인용 우선순위에서 밀릴 가능성이 높습니다.
llms.txt라는 새로운 표준도 주목할 만합니다. 일부 AI 서비스는 사이트 루트에 위치한 llms.txt 파일을 참조해 사이트의 주요 콘텐츠 구조를 파악합니다. 아직 모든 AI 크롤러가 지원하지는 않지만, robots.txt와 함께 준비해 두면 향후 대응에 유리합니다.
타이드웍스가 도움드릴 수 있는 부분
타이드웍스는 챗GPT·제미나이·클로드·퍼플렉시티·네이버 AI 5개 엔진에서 브랜드·제품이 어떻게 소개되는지를 직접 실측하는 파이프라인을 운영하고 있습니다. robots.txt 설정을 포함한 기술적 접근성 점검부터, AI가 실제로 내 사이트를 어떻게 읽고 인용하는지까지 단계별로 진단합니다.
GEO·AEO 전략이 필요하신 브랜드 대표님이나 마케터분이라면, 부담 없이 먼저 문의해 주세요. 현황 파악부터 함께 시작할 수 있습니다.