ROBOTS.TXT CHECKER
robots.txt 검사
robots.txt는 검색엔진 크롤러가 사이트의 접근 정책과 Sitemap 위치를 확인하는 대표 파일입니다.
종합 진단 보기
robots.txt 검사이란?
robots.txt는 검색엔진 크롤러가 사이트의 접근 정책과 Sitemap 위치를 확인하는 대표 파일입니다.
검사 범위
- robots.txt HTTP 상태와 형식
- User-agent: * 전체 차단 감지
- Sitemap 선언 URL 추출
- GPTBot·ClaudeBot·PerplexityBot·Google-Extended 정책 참고
자주 묻는 질문
robots.txt가 없으면 검색이 전부 막히나요?
아닙니다. 파일이 없다고 전체 크롤링이 자동 차단되는 것은 아닙니다.
Disallow: /는 무엇인가요?
해당 User-agent 그룹에서 루트 이하 크롤링을 막는 지시입니다. 공개 사이트라면 의도 여부를 확인해야 합니다.