Developer SEO Utility

robots.txt 생성기

검색엔진 크롤러의 접근 허용·차단 경로와 sitemap 주소를 입력해 robots.txt 파일 내용을 자동으로 생성할 수 있습니다.

크롤링 규칙 생성 Allow, Disallow 경로 자동 구성

Sitemap 연결 sitemap.xml 주소를 함께 추가

복사·다운로드 robots.txt 결과를 바로 저장

robots.txt 설정

사이트 주소와 크롤링 허용·차단 경로를 입력하세요.

사이트 주소

Sitemap 주소 생성에 사용됩니다. 예: https://win-j.com

User-agent

전체 검색봇은 * 를 사용합니다.

Crawl-delay

크롤링 간격입니다. 일부 검색엔진만 지원합니다.

허용 경로

한 줄에 하나씩 입력하세요.

차단 경로

검색엔진에 노출하지 않을 경로를 입력하세요.

Sitemap URL

비워두면 사이트 주소 기준으로 /sitemap.xml 을 자동 생성합니다.

관리자 경로 차단 검색 결과 페이지 차단 Sitemap 추가

아래 내용을 사이트 루트 경로의 robots.txt 파일로 저장하면 됩니다.

대기 중

설정을 입력한 뒤 robots.txt 생성하기 버튼을 눌러주세요.

robots.txt 파일은 사이트 루트 경로에 위치해야 합니다. 예를 들어 https://example.com/robots.txt 형태로 접근 가능해야 합니다.

robots.txt는 검색엔진 크롤러에게 안내하는 규칙일 뿐, 보안 장치가 아닙니다. 민감한 관리자 페이지나 비공개 데이터는 반드시 서버 인증과 권한 제어로 보호해야 합니다.