분석 대상
AI 검색 크롤러 통제
AI 검색 크롤러 통제 관련 전문 분석
- Perplexity 검색 허용은 학습 허용이 아니다: 두 봇과 robots.txt의 빈틈
PerplexityBot은 검색·링크용이고 Perplexity-User는 사용자 요청형이다. 별도 학습 봇 부재와 robots.txt 예외를 12개 상황으로 정리했다.
- Claude는 검색·학습·사용자 요청을 세 봇으로 나눈다: Crawl-delay와 IP 확인까지
Claude-SearchBot·ClaudeBot·Claude-User가 robots.txt에서 어떻게 갈리고, Crawl-delay·공식 IP 목록·검색 가시성이 어디까지 문서화됐는지 판정했다.
- ChatGPT 검색에는 보이고 학습은 막을 수 있다: OAI-SearchBot·GPTBot의 분리
OAI-SearchBot·GPTBot·ChatGPT-User를 공식 문서 12개 상황으로 나눠 검색 노출, 학습 차단, 사용자 요청형 접근과 약 24시간 반영을 구분했다.