robots.txt로 GPTBot·ClaudeBot 크롤링 허용하는 법

AI가 내 사이트를 인용하려면 크롤러를 막으면 안 됩니다

챗GPT·퍼플렉시티·클로드 같은 생성형 AI가 답변을 생성할 때, 그 근거 데이터는 웹 크롤링에서 출발합니다. AI 기업들은 자체 크롤러 봇을 운영하며 공개된 웹페이지를 수집하고, 이 데이터가 모델 학습 또는 실시간 검색 인용에 활용됩니다. 즉, AI가 여러분의 브랜드나 서비스를 정확하게 소개하려면 해당 크롤러가 사이트에 접근할 수 있어야 합니다.

문제는 많은 사이트 관리자들이 과거 SEO 관행이나 보안 목적으로 robots.txt에 Disallow: /를 광범위하게 설정해 두었다는 점입니다. 이 경우 GPTBot, ClaudeBot 등 AI 크롤러도 함께 차단되어, AI 답변에서 해당 사이트가 누락되거나 오래된 정보가 반영되는 상황이 발생할 수 있습니다. GEO(Generative Engine Optimization)의 첫 번째 실천은 바로 이 접근성 확보에서 시작됩니다.

실제로 AI 답변의 인용 출처는 매월 40~60%씩 변동한다는 점을 감안하면, 크롤러 접근을 허용한다고 해서 즉각적인 인용이 보장되는 것은 아닙니다. 그러나 차단 상태에서는 인용 자체가 원천적으로 불가능합니다. 허용은 인용의 필요조건입니다.

주요 AI 크롤러 봇 목록과 공식 User-agent 명칭

각 AI 기업은 크롤러 봇에 공식 User-agent 이름을 부여하고, 자사 도움말 페이지에 이를 공개하고 있습니다. robots.txt에 작성할 때는 이 명칭을 정확히 사용해야 합니다. 대소문자 구분이 적용되는 서버 환경도 있으므로, 공식 표기를 그대로 사용하는 것이 안전합니다.

위 목록은 각 기업의 공식 문서를 기준으로 정리한 것입니다. 새로운 AI 서비스가 지속적으로 출시되고 있으므로, 분기에 한 번씩 주요 AI 기업의 크롤러 정책 페이지를 확인하는 습관을 권장합니다.

robots.txt 허용·차단 문법, 정확하게 작성하는 방법

robots.txt는 사이트 루트 경로(https://yourdomain.com/robots.txt)에 위치해야 하며, 각 봇에 대한 지시는 User-agent와 Allow 또는 Disallow 조합으로 구성됩니다. 아무 설정도 하지 않으면 기본적으로 허용 상태이지만, 기존에 Disallow: /가 선언되어 있다면 명시적으로 해제해 주어야 합니다.

아래는 실무에서 바로 사용할 수 있는 작성 예시입니다. 전체 허용이 목적이라면 Allow: / 한 줄로 충분하며, 특정 디렉터리만 허용하고 싶다면 경로를 구체적으로 명시합니다.

• GPTBot 전체 허용
  User-agent: GPTBot
Allow: /
• GPTBot 특정 경로만 허용
  User-agent: GPTBot
Allow: /blog/
Disallow: /
• ClaudeBot 전체 허용
  User-agent: ClaudeBot
Allow: /
• PerplexityBot 전체 허용
  User-agent: PerplexityBot
Allow: /
• Google-Extended 전체 허용
  User-agent: Google-Extended
Allow: /
• 특정 봇 완전 차단(선택적 차단 시)
  User-agent: GPTBot
Disallow: /

주의할 점은 User-agent: * 블록에서 Disallow: /를 선언해 두면, 이후에 개별 봇에 대해 Allow: /를 추가하더라도 파서(parser) 구현 방식에 따라 충돌이 생길 수 있습니다. 가장 안전한 방법은 허용할 봇은 개별 블록으로 분리하여 명시적으로 선언하는 것입니다. 또한 변경 후에는 Google Search Console의 robots.txt 검사 도구, 또는 각 봇 기업이 제공하는 크롤러 테스트 도구로 반드시 검증하십시오.

허용만 하면 충분할까? AI 인용을 높이는 추가 조건

robots.txt 허용은 AI 크롤러가 사이트에 '들어올 수 있는' 조건을 만들어 줄 뿐입니다. 실제로 AI 답변에 인용되려면 콘텐츠 자체가 AI 모델이 신뢰할 수 있는 구조와 품질을 갖춰야 합니다. 크롤러가 페이지를 방문하더라도 콘텐츠가 파편화되어 있거나, 핵심 정보가 이미지나 JavaScript 렌더링에 의존한다면 실질적인 수집이 이루어지지 않을 수 있습니다.

또한 AI가 수집한 정보가 오래되거나 부정확할 경우, 브랜드 신뢰도에 직접적인 타격이 될 수 있습니다. 실제로 AI가 단종된 제품을 대표 상품으로 소개하거나, 운영 시간을 잘못 안내하는 사례가 확인된 바 있습니다. 이는 크롤러를 허용했더라도 콘텐츠 관리가 병행되지 않으면 발생할 수 있는 문제입니다.

AI 인용 가능성을 높이기 위해 함께 점검해야 할 요소는 다음과 같습니다.

• 구조화된 콘텐츠: H1~H3 헤딩 체계, 명확한 문단 구분, 질문-답변 형식의 FAQ 구성
• Schema Markup: Article, FAQPage, Product 등 구조화 데이터 마크업 적용
• 정보의 최신성: 제품 정보, 운영 시간, 가격 등 변경 사항을 즉시 반영
• 텍스트 기반 콘텐츠: 핵심 정보를 이미지나 JS 의존 없이 HTML 텍스트로 제공
• 페이지 로딩 속도: 크롤러는 응답 지연이 길면 수집을 포기하는 경우가 있음
• 내부 링크 구조: 중요한 페이지가 크롤러의 링크 탐색 경로 안에 포함되도록 구성

타이드웍스는 이렇게 접근합니다

타이드웍스는 챗GPT·제미나이·클로드·퍼플렉시티·네이버 AI 등 5개 엔진을 대상으로 실측 파이프라인을 직접 운영하며, 브랜드가 AI 답변에 어떻게 노출되고 인용되는지를 데이터 기반으로 추적하고 있습니다. robots.txt 설정과 같은 기술적 접근성 점검부터, 콘텐츠 구조 개선, 인용 출처 모니터링까지 GEO·AEO 실무를 통합적으로 지원합니다.

AI 답변에서 내 브랜드가 어떻게 소개되고 있는지 정확히 파악하고 싶으신 분, 또는 현재 robots.txt 설정이 AI 크롤러에 적절히 열려 있는지 점검이 필요하신 분은 타이드웍스에 문의해 주십시오.