SEO

robots.txt

robots.txt는 사이트 최상단에 두는 파일로, 어떤 봇에게 어느 경로의 접근을 허용/차단할지 지시한다.

GPTBot·OAI-SearchBot·PerplexityBot 같은 AI 크롤러를 여기서 허용해야 AI가 들어와 인용할 수 있다. 실수로 막아두면 AI 답변에서 통째로 사라진다.