##robotsTxt 태그가 포함된 글을 보고 있습니다.
robots.txt란? 검색엔진 크롤링을 제어하는 방법 [0]
robots.txt는 검색엔진 크롤러에게 어떤 페이지를 수집할지 알려주는 중요한 설정 파일입니다. 이 글에서는 User-agent, Allow, Disallow, Sitemap의 역할부터 Django에서 robots.txt를 정적 파일, URL·View, 템플릿 기반…