robots.txt 생성기에 점검할 코드, 설정값, 토큰, URL, 명령어를 붙여넣습니다.
정책 입력
관리자/검색/개인정보 경로는 기본 차단을 권장합니다.
robots.txt
서버 루트 `/robots.txt`에 배치하는 파일입니다.
robots.txt는 보안 장치가 아니라 크롤러 안내문입니다. 민감 파일은 인증/권한으로 보호해야 합니다.
검색 허용/차단 경로, sitemap, crawl-delay를 조합해 robots.txt 초안을 만듭니다.
관리자/검색/개인정보 경로는 기본 차단을 권장합니다.
서버 루트 `/robots.txt`에 배치하는 파일입니다.
이 도구의 입력, 실행, 결과 확인 흐름을 기준으로 사용하면 더 안정적으로 작업할 수 있습니다.
robots.txt 생성기에 점검할 코드, 설정값, 토큰, URL, 명령어를 붙여넣습니다.
문법 오류, 옵션, 출력 포맷을 확인하면서 브라우저 안에서 바로 처리합니다.
복사 가능한 결과를 개발 문서, 터미널, 배포 체크리스트에 이어서 사용합니다.