이런 분께 유용합니다
- 새 사이트의 기본 robots.txt를 작성하려는 운영자
- 관리자·검색 결과·임시 경로의 크롤링 규칙을 정리하려는 개발자
- Sitemap 위치와 User-agent별 Allow·Disallow 규칙을 한 번에 확인하려는 사용자
Developer SEO Utility
robots.txt 생성기
검색엔진 크롤러의 접근 허용·차단 경로와 Sitemap 주소를 입력해 robots.txt 파일 내용을 자동으로 생성할 수 있습니다.
크롤링 규칙 생성
User-agent, Allow, Disallow 규칙을 쉽게 구성할 수 있습니다.
Sitemap 연결
sitemap.xml 주소를 함께 추가해 검색엔진 수집을 도울 수 있습니다.
복사·다운로드
생성된 robots.txt 내용을 복사하거나 파일로 저장할 수 있습니다.
User-agent
*
Allow
0개
Disallow
0개
Sitemap
사용
robots.txt 설정
사이트 주소, 크롤러 대상, 허용 경로, 차단 경로, Sitemap 주소를 입력하세요.
권장 구조
일반적으로 공개 페이지는 허용하고, 관리자·검색 결과·비공개 경로는 차단합니다. 단, robots.txt는 보안 장치가 아니므로 민감한 페이지는 반드시 서버 권한으로 보호해야 합니다.
Sitemap 주소 자동 생성에 사용됩니다. 예: https://win-j.com
전체 검색봇에 적용하려면 * 를 사용합니다.
일부 검색엔진만 지원하는 선택 규칙입니다. Googlebot은 Crawl-delay를 지원하지 않습니다.
한 줄에 하나씩 입력하세요. 예: /utility/
검색엔진에 노출하지 않을 경로를 입력하세요.
비워두면 사이트 주소 기준으로 /sitemap.xml을 자동 생성합니다.
빠른 옵션
자주 사용하는 robots.txt 규칙을 체크만으로 추가할 수 있습니다.
생성 결과
아래 내용을 사이트 루트 경로의 robots.txt 파일로 저장하면 됩니다.
설정을 입력한 뒤 robots.txt 생성하기 버튼을 눌러주세요.
도움말
robots.txt는 어디에 두나요?
robots.txt 파일은 사이트 루트 경로에 위치해야 합니다. 예를 들어 https://example.com/robots.txt 형태로 접근 가능해야 합니다.
자주 쓰는 규칙
- User-agent: * : 모든 검색봇에 적용
- Allow: / : 전체 접근 허용
- Disallow: /admin/ : 관리자 페이지 차단
- Sitemap: https://example.com/sitemap.xml : 사이트맵 위치 안내
주의사항
robots.txt는 검색엔진 크롤러에게 안내하는 규칙일 뿐, 보안 장치가 아닙니다. 민감한 관리자 페이지나 비공개 데이터는 반드시 서버 인증과 권한 제어로 보호해야 합니다.
Disallow로 차단하면 검색 결과에서 완전히 사라지나요?
robots.txt는 크롤링을 제한하는 규칙입니다. 이미 색인된 페이지를 제거하려면 noindex, 삭제 요청, canonical 정리 등을 함께 고려해야 합니다.
Sitemap은 꼭 추가해야 하나요?
필수는 아니지만 검색엔진이 사이트 구조를 파악하는 데 도움이 되므로 robots.txt에 Sitemap 주소를 함께 넣는 것을 권장합니다.
robots.txt를 보안 파일이 아닌 크롤링 규칙으로 설계하는 법
robots.txt는 검색봇이 어느 경로를 수집해도 되는지 알려주는 공개 규칙 파일입니다. 접근 권한이나 검색 결과 제외를 보장하지 않으므로, 생성 결과를 적용하기 전에 크롤링·색인·보안을 서로 다른 문제로 구분해야 합니다.
대표 활용 상황
- 전체 검색봇에 공개 영역과 비공개 운영 경로를 구분해 안내할 때
- 사이트맵 주소를 robots.txt에 추가해 발견 경로를 제공할 때
- 기존 규칙을 바꾸기 전에 예제 파일을 만들어 팀과 검토할 때
처음부터 결과 확인까지
- 1
사이트의 공개 URL, 검색 결과, 관리자와 임시 경로를 먼저 분류합니다.
- 2
전체 검색봇에는 *를, 특정 검색봇에는 해당 봇의 공식 product token을 입력합니다.
- 3
한 줄에 한 경로씩 Allow와 Disallow를 작성하고 중복 규칙을 제거합니다.
- 4
Crawl-delay가 필요한 경우 대상 검색엔진이 실제로 지원하는지 공식 문서에서 확인합니다.
- 5
Sitemap은 접근 가능한 절대 URL로 입력하고 생성 결과를 사이트 루트의 robots.txt와 비교합니다.
- 6
배포 후 각 검색엔진의 검사 도구와 서버 로그에서 의도한 크롤링 동작을 다시 확인합니다.
공개 사이트의 운영 경로 제외
- 입력
- User-agent *, Allow /, Disallow /admin/ 및 /search/
- 결과
- 일반 공개 경로는 수집 가능하고 지정한 운영 경로에는 크롤링 제한 규칙이 생성됩니다.
Disallow는 접근 제어나 완전한 검색 제외 명령이 아니므로 민감 정보는 인증으로 보호해야 합니다.
사이트맵 위치 안내
- 입력
- 사이트 https://example.com, Sitemap 옵션 사용
- 결과
- Sitemap: https://example.com/sitemap.xml 줄이 추가됩니다.
Sitemap 줄은 검색봇이 사이트맵 위치를 찾도록 돕지만 사이트맵의 URL 품질까지 검증하지는 않습니다.
계산·처리 기준
User-agent는 * 또는 영문자로 시작하는 영문·숫자·하이픈·밑줄 토큰인지 확인합니다. Allow와 Disallow는 공백 줄을 제거하고 각 목록 안에서 중복을 제거하며 합계 10,000줄까지만 처리합니다. 사이트와 Sitemap 주소는 http 또는 https 절대 URL인지 검사한 뒤 입력된 순서대로 텍스트를 조합합니다.
알아둘 한계
- 생성기는 실제 서버의 robots.txt, HTTP 응답, 리디렉션과 검색봇의 해석 결과를 조회하지 않습니다.
- Googlebot은 Crawl-delay 규칙을 지원하지 않으며 검색엔진마다 지원 규칙이 다를 수 있습니다.
- Disallow는 noindex가 아니므로 차단된 URL이 외부 링크 등을 통해 검색 결과에 표시될 가능성이 있습니다.
- robots.txt는 누구나 읽을 수 있는 공개 파일이므로 비밀 경로를 보호하는 보안 수단으로 사용할 수 없습니다.
개인정보 처리
입력한 사이트 주소와 경로는 현재 브라우저에서만 조합되며 서버에 저장하지 않습니다. 경로 이름 자체가 내부 시스템 구조를 드러낼 수 있으므로 공개하면 안 되는 비밀 식별자는 입력하지 마세요.
참고 자료
함께 쓰면 좋은 도구
- sitemap.xml 생성기
검색 노출이 필요한 대표 URL을 사이트맵 XML로 정리합니다.
- Canonical URL 검사기
붙여넣은 HTML에서 대표 URL 신호의 누락과 중복을 확인합니다.
자주 묻는 질문
Disallow를 설정하면 URL이 검색 결과에서 사라지나요?
아닙니다. robots.txt는 크롤링을 제어하지만 색인 제외를 보장하지 않습니다. 검색 제외가 목적이라면 페이지 접근을 허용한 상태의 noindex, 삭제 또는 인증 같은 적절한 방법을 검토하세요.
Googlebot 속도를 Crawl-delay로 조절할 수 있나요?
Googlebot은 robots.txt의 Crawl-delay를 지원하지 않습니다. 서버 부하 문제는 캐시·응답 성능과 Google이 제공하는 별도 설정 가능 여부를 함께 확인해야 합니다.
관리자 경로를 Disallow하면 안전한가요?
아닙니다. robots.txt는 공개되고 규칙 준수도 크롤러에 달려 있습니다. 관리자와 비공개 데이터는 로그인, 권한 검사와 네트워크 정책으로 보호해야 합니다.