GEO

GPTBot·AI 크롤러

GPTBot / OAI-SearchBot

GPTBot·OAI-SearchBot·PerplexityBot·ClaudeBot은 각 AI 회사가 웹을 읽어 답변·학습에 쓰는 크롤러(봇)다.

robots.txt에서 이 봇들을 허용해야 AI가 내 사이트에 들어와 인용할 수 있다. 차단돼 있으면 콘텐츠가 아무리 좋아도 AI 답변엔 못 뜬다.