치과 홈페이지 robots.txt: AI 검색 크롤러 허용 설정법

최종 수정 · 치과 검색실

AI 답변의 출처가 되려면 검색·답변용 크롤러(OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Bingbot, Yeti)를 robots.txt에서 허용해야 합니다. 학습용 크롤러(GPTBot, ClaudeBot)는 별도 정책이며 막아도 검색 답변 노출과는 무관합니다. 단, Google-Extended는 Gemini 학습과 답변 근거(grounding) 사용을 함께 제어합니다.

크롤러별 역할

  • OAI-SearchBot: ChatGPT 검색 결과에 사이트를 노출·링크하기 위한 크롤러. 학습에 쓰지 않는다고 OpenAI가 밝힘
  • ChatGPT-User: 사용자가 대화 중 요청할 때 페이지를 가져오는 에이전트
  • GPTBot: OpenAI 모델 학습용 수집. 차단해도 ChatGPT 검색 노출과는 별개
  • Claude-SearchBot / Claude-User: Claude 검색 품질 향상과 사용자 요청 시 페이지 열람. 차단 시 Claude 답변 노출이 줄 수 있음
  • ClaudeBot: Anthropic 모델 학습용 수집
  • PerplexityBot / Perplexity-User: Perplexity 검색 색인과 사용자 요청 열람
  • Google-Extended: Gemini 학습과 Gemini 앱·Vertex AI의 답변 근거 사용을 제어하는 토큰. Google 검색 노출에는 영향 없음
  • Yeti: 네이버 검색 크롤러, Bingbot: Bing 검색(Copilot과 ChatGPT 검색의 외부 색인 중 하나)

치과 홈페이지 robots.txt 예시

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Yeti
Allow: /
Disallow: /admin/

# 학습용 수집은 병원 정책에 따라 선택
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.example-dental.kr/sitemap.xml

주의: 특정 크롤러 이름으로 그룹을 만들면 그 크롤러는 'User-agent: *' 그룹의 규칙을 따르지 않습니다(RFC 9309). 기존 * 그룹에 있던 관리자·예약 시스템 경로의 Disallow를 새 그룹에도 그대로 옮겨야 합니다.

변경 후 확인할 것

  • robots.txt가 HTTP 200으로 응답하는지 (5xx는 전체 차단으로 해석될 수 있음)
  • 호스팅사·보안 서비스(WAF, 봇 차단 설정)가 AI 크롤러를 IP나 User-Agent로 따로 막고 있지 않은지
  • 서버 접속 로그에서 OAI-SearchBot·Claude-SearchBot·Yeti 방문이 실제로 생기는지
  • OpenAI는 robots.txt 변경이 검색 시스템에 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다

자주 묻는 질문

GPTBot을 막으면 ChatGPT에 우리 치과가 안 나오나요?

GPTBot은 학습용입니다. ChatGPT 검색 노출은 OAI-SearchBot 허용 여부와 관련됩니다. 두 설정은 독립적입니다.

robots.txt만 고치면 바로 AI 답변에 나오나요?

아닙니다. 접근 허용은 출발점입니다. 질문에 답하는 페이지, 정확한 병원 정보, 색인 등록이 함께 필요하고 반영 시점은 서비스마다 다릅니다.

참고 자료