AI가 내 사이트를 인용하려면 먼저 크롤링을 허용해야 합니다
챗GPT·퍼플렉시티·클로드 같은 AI 서비스가 브랜드나 제품을 답변에서 언급하려면, 그 전제 조건으로 해당 AI의 크롤러가 사이트를 읽을 수 있어야 합니다. 아무리 콘텐츠 품질이 높아도 robots.txt가 크롤러를 막고 있다면 AI의 학습 및 실시간 참조 대상에서 제외될 가능성이 높습니다. GEO(Generative Engine Optimization)와 AEO(Answer Engine Optimization)가 주목받는 이유가 바로 여기에 있습니다. 검색엔진 최적화와 달리, AI 인용 최적화는 '크롤러 접근 허용 → 구조화된 콘텐츠 제공 → 인용 유도'라는 순서로 접근해야 합니다.
실무에서 자주 놓치는 부분은 robots.txt의 기본값입니다. 많은 사이트가 Googlebot·Yeti 등 전통적인 검색 크롤러만 명시적으로 허용하고, AI 크롤러에 대해서는 아무 규칙도 적지 않거나 User-agent: * 블록에서 일부 경로를 막아 버립니다. 이 경우 AI 크롤러는 * 규칙을 따르게 되므로, 의도치 않게 차단될 수 있습니다. 설정을 명시적으로 두는 것이 안전합니다.
참고로 AI 답변에서 인용 출처는 매월 40~60%가 바뀔 만큼 유동적입니다. 오늘 인용되지 않는다고 포기할 것이 아니라, 크롤러가 언제든 방문했을 때 올바르게 읽힐 수 있도록 기반을 갖춰 두는 것이 장기적으로 유효한 전략입니다.
주요 AI 크롤러 목록과 robots.txt 허용 구문
현재 주요 AI 서비스가 사용하는 크롤러의 User-agent 식별자는 아래와 같습니다. 각 서비스가 공식 문서에서 명시한 이름을 기준으로 정리했습니다. 크롤러 이름은 대소문자를 구분하지 않는 경우가 많지만, 공식 표기를 그대로 쓰는 것이 혼선을 줄입니다.
| AI 서비스 | 크롤러 User-agent | 주요 용도 |
|---|---|---|
| OpenAI (챗GPT) | GPTBot | 학습 데이터 수집 및 브라우징 |
| Anthropic (클로드) | ClaudeBot | 학습 데이터 수집 |
| Perplexity AI | PerplexityBot | 실시간 웹 검색 및 인용 |
| Google (제미나이) | Google-Extended | Gemini 학습 데이터 수집 |
| Meta AI | FacebookBot | 언어 모델 학습 |
robots.txt에서 특정 AI 크롤러를 전체 허용하려면 아래와 같이 작성합니다. Disallow: 줄을 비워 두거나 아예 생략하면 전체 허용을 의미합니다. 이미 User-agent: *로 일부 경로를 막아 둔 사이트라면, AI 크롤러를 위한 별도 블록을 * 블록보다 위에 배치해야 우선순위 충돌 없이 적용됩니다.
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
특정 경로만 허용하고 싶다면 Allow와 Disallow를 함께 사용합니다. 예를 들어 블로그와 제품 페이지만 열고 관리자 경로는 닫으려면 아래처럼 씁니다.
User-agent: GPTBot
Allow: /blog/
Allow: /products/
Disallow: /admin/
Disallow: /mypage/
설정 시 실수하기 쉬운 3가지 포인트
robots.txt는 문법이 단순해 보이지만 실무에서 의외로 오류가 잦습니다. 아래 세 가지는 실제로 자주 발견되는 실수 유형이니 반드시 확인하시기 바랍니다.
- User-agent: * 블록과 충돌 — 많은 CMS(워드프레스·카페24 등)가 자동으로 생성하는 robots.txt에는
User-agent: *블록이 이미 존재합니다. AI 크롤러 블록을 이 블록 아래에 적으면, 일부 크롤러는 * 규칙을 먼저 적용합니다. AI 크롤러 블록은 항상 파일 상단에, * 블록보다 앞에 배치하세요. - Disallow: / 를 전체에 걸어 둔 경우 — 개발·스테이징 환경에서 설정한
User-agent: * / Disallow: /가 운영 서버에 그대로 배포되는 사고가 종종 발생합니다. 배포 전 반드시 운영 URL의 robots.txt를 브라우저에서 직접 확인하세요(https://도메인/robots.txt). - Sitemap 누락 — robots.txt 파일 하단에
Sitemap: https://도메인/sitemap.xml을 명시하면 AI 크롤러가 사이트 구조를 더 빠르게 파악합니다. 크롤러 허용만 하고 Sitemap을 빠뜨리면 효과가 반감될 수 있습니다. - 대소문자 및 슬래시 오류 —
Allow: /Blog/와Allow: /blog/는 서버 설정에 따라 다른 경로로 인식될 수 있습니다. 실제 URL 구조와 정확히 일치하게 작성하세요. - 캐시 지연 — robots.txt를 수정한 뒤에도 크롤러가 이전 버전을 캐시하고 있을 수 있습니다. 구글 서치 콘솔의 'robots.txt 검사' 기능처럼, AI 크롤러도 일정 주기로 파일을 갱신합니다. 즉각적인 변화를 기대하기보다 며칠 이상의 반영 시간을 감안하세요.
설정 후 검증은 구글 서치 콘솔의 robots.txt 테스터를 활용하거나, curl -A "GPTBot" https://도메인/robots.txt 명령으로 크롤러 관점의 응답을 직접 확인할 수 있습니다. 단순히 파일을 수정하는 것에서 끝내지 말고, 반드시 검증 단계를 거치시길 권장합니다.
robots.txt 허용만으로는 부족합니다 — 인용되는 콘텐츠 구조를 함께 갖춰야 합니다
크롤러를 열어 두는 것은 AI 인용의 필요 조건이지 충분 조건이 아닙니다. AI가 콘텐츠를 읽은 뒤 답변에 인용하려면, 해당 페이지가 '인용할 만한 근거'를 갖추고 있어야 합니다. 실제로 AI가 단종된 제품을 현재 대표 상품으로 소개하거나, 병원의 진료 시간을 잘못 안내하는 사례가 확인되고 있습니다. 이는 크롤러가 접근은 했지만 구조화되지 않은 정보를 그대로 참조했기 때문입니다. 정확하고 최신화된 정보를 명확한 구조로 제공하는 것이 중요합니다.
AEO 관점에서 권장되는 콘텐츠 구조는 다음과 같습니다. 질문과 답을 명확히 구분하는 FAQ 형식, 핵심 사실을 첫 문단에 배치하는 역피라미드 구조, 제품·서비스 정보를 Schema.org 마크업으로 구조화하는 방식이 대표적입니다. AI는 문서 전체를 균일하게 읽는 것이 아니라 구조적으로 명확한 부분을 우선적으로 참조하는 경향이 있습니다.
또한 콘텐츠 최신성도 중요합니다. AI 답변의 인용 출처는 매월 40~60% 수준으로 변동하므로, 한 번 인용됐다고 방심하기보다 정기적으로 콘텐츠를 업데이트하고 게시 날짜·수정 날짜를 페이지에 명시해 두는 것이 인용 지속성을 높이는 데 도움이 됩니다.
타이드웍스는 이렇게 접근합니다
타이드웍스는 챗GPT·제미나이·클로드·퍼플렉시티·네이버 AI 등 5개 엔진을 대상으로 실측 파이프라인을 직접 운영하며 AI 인용 현황을 모니터링합니다. robots.txt 설정부터 구조화된 콘텐츠 제작, AI 답변 내 브랜드 노출 추적까지 GEO·AEO 실무를 통합적으로 지원합니다.
브랜드 대표나 마케터 분들이 robots.txt 설정 이후 "그래서 우리 브랜드가 AI에서 어떻게 보이고 있나?"를 파악하기 어려운 경우가 많습니다. 타이드웍스는 이 질문에 구체적인 데이터로 답할 수 있도록 돕습니다. 관심 있으시면 타이드웍스 홈페이지를 통해 문의해 주세요.