#크롤링 태그가 포함된 글을 보고 있습니다.
robots.txt 점검: 수집 제한·noindex·비공개 접근을 구분하기 [0]
win-j.com의 robots.txt 템플릿과 Django 뷰를 기준으로 규칙의 범위, GET 응답 확인, 검색 제외와 접근 제한의 차이를 설명합니다.
win-j.com의 robots.txt 템플릿과 Django 뷰를 기준으로 규칙의 범위, GET 응답 확인, 검색 제외와 접근 제한의 차이를 설명합니다.