빠른 사용법
세 단계로 확인합니다.
- 1사이트 origin과 차단 경로를 입력합니다
경로·계정 정보 없는 origin과 admin·search·private preset, 최대 200개 추가 경로를 고릅니다.
- 2지원 directive와 경고를 확인합니다
User-agent·Allow·Disallow·Sitemap을 만들고 crawl-delay 선택 시 Google 미지원 경고를 확인합니다.
- 3루트 파일로 배포해 실제 응답을 검사합니다
UTF-8 plain text와 200 status, host·protocol·port 적용 범위를 확인하고 Search Console 테스트를 병행합니다.
결과 읽기
robots.txt는 크롤링 제어이며 비밀 보호나 noindex 수단이 아닙니다.
차단 URL이 외부 링크에 노출되면 내용 없이 URL만 색인될 수 있고 누구나 파일을 읽을 수 있으므로 민감 경로는 인증으로 보호해야 합니다.Google 기준 user-agent·allow·disallow·sitemap만 주요 지원 필드이며 다른 crawler는 동작이 다를 수 있습니다.
Google은 crawl-delay를 지원하지 않으므로 선택 시 대상 crawler 공식 문서를 확인해야 합니다.
robots.txt는 파일을 제공한 protocol·host·port에만 적용되고 루트 위치가 중요합니다.
Google은 robots.txt를 최대 500KiB까지만 처리하지만 이 도구는 훨씬 작은 200개 사용자 규칙으로 제한합니다. 민감 경로는 인증·권한으로 막고 noindex는 crawler가 페이지를 읽을 수 있을 때 사용하세요.
이럴 때 유용합니다.
- 기본 robots.txt 초안
- staging·검색 경로 차단 목록
- sitemap 위치 선언
함께 확인하세요.
- 접근 제어·비밀 보호 아님
- crawl-delay Google 미지원
- CSS·JS 렌더링 자원 과도 차단 주의
자주 묻는 질문
사용 전 알아둘 점
Disallow하면 검색 결과에서 사라지나요?
보장되지 않습니다. crawler가 내용을 못 읽어도 URL 자체가 노출될 수 있어 noindex와 삭제 절차를 별도로 검토하세요.
crawl-delay가 Google에 적용되나요?
아닙니다. Google은 해당 필드를 지원하지 않으며 다른 crawler는 각 문서를 확인해야 합니다.
왜 사이트 루트에 두나요?
robots.txt의 적용 범위는 제공 위치와 origin에 의해 결정되므로 일반적으로 origin 루트 `/robots.txt`에 둡니다.