Developer SEO Utility
robots.txt 생성기
검색엔진 크롤러의 접근 허용·차단 경로와 Sitemap 주소를 입력해 robots.txt 파일 내용을 자동으로 생성할 수 있습니다.
robots.txt 설정
사이트 주소, 크롤러 대상, 허용 경로, 차단 경로, Sitemap 주소를 입력하세요.
일반적으로 공개 페이지는 허용하고, 관리자·검색 결과·비공개 경로는 차단합니다. 단, robots.txt는 보안 장치가 아니므로 민감한 페이지는 반드시 서버 권한으로 보호해야 합니다.
Sitemap 주소 자동 생성에 사용됩니다. 예: https://win-j.com
전체 검색봇에 적용하려면 * 를 사용합니다.
크롤링 요청 간격입니다. 일부 검색엔진만 지원합니다.
한 줄에 하나씩 입력하세요. 예: /utility/
검색엔진에 노출하지 않을 경로를 입력하세요.
비워두면 사이트 주소 기준으로 /sitemap.xml을 자동 생성합니다.
빠른 옵션
자주 사용하는 robots.txt 규칙을 체크만으로 추가할 수 있습니다.
생성 결과
아래 내용을 사이트 루트 경로의 robots.txt 파일로 저장하면 됩니다.
설정을 입력한 뒤 robots.txt 생성하기 버튼을 눌러주세요.
도움말
robots.txt는 어디에 두나요?
robots.txt 파일은 사이트 루트 경로에 위치해야 합니다. 예를 들어 https://example.com/robots.txt 형태로 접근 가능해야 합니다.
자주 쓰는 규칙
- User-agent: * : 모든 검색봇에 적용
- Allow: / : 전체 접근 허용
- Disallow: /admin/ : 관리자 페이지 차단
- Sitemap: https://example.com/sitemap.xml : 사이트맵 위치 안내
주의사항
robots.txt는 검색엔진 크롤러에게 안내하는 규칙일 뿐, 보안 장치가 아닙니다. 민감한 관리자 페이지나 비공개 데이터는 반드시 서버 인증과 권한 제어로 보호해야 합니다.
Disallow로 차단하면 검색 결과에서 완전히 사라지나요?
robots.txt는 크롤링을 제한하는 규칙입니다. 이미 색인된 페이지를 제거하려면 noindex, 삭제 요청, canonical 정리 등을 함께 고려해야 합니다.
Sitemap은 꼭 추가해야 하나요?
필수는 아니지만 검색엔진이 사이트 구조를 파악하는 데 도움이 되므로 robots.txt에 Sitemap 주소를 함께 넣는 것을 권장합니다.