Developer SEO Utility
robots.txt 生成器
输入搜索引擎爬虫的允许路径、禁止路径和 Sitemap 地址，即可自动生成 robots.txt 文件内容。
生成爬取规则
可轻松配置 User-agent、Allow、Disallow 规则。
连接 Sitemap
添加 sitemap.xml 地址，帮助搜索引擎了解网站结构。
复制与下载
可以复制生成的 robots.txt 内容，或保存为文件。
User-agent
*
Allow
0项
Disallow
0项
Sitemap
使用
robots.txt 设置
请输入网站地址、爬虫对象、允许路径、禁止路径和 Sitemap URL。
推荐结构
通常建议允许公开页面，并阻止管理员、搜索结果和私有路径。但 robots.txt 不是安全工具，敏感页面必须通过服务器认证和权限控制进行保护。
用于自动生成 Sitemap URL。例：https://win-j.com
如需应用于所有搜索机器人，请使用 *。
爬取请求之间的间隔。只有部分搜索引擎支持此指令。
每行输入一个路径。例：/utility/
请输入不希望搜索引擎爬取的路径。
如果留空，将基于网站地址自动生成 /sitemap.xml。
快速选项
通过勾选即可添加常用 robots.txt 规则。
生成结果
请将以下内容保存为网站根路径下的 robots.txt 文件。
请输入设置后点击生成 robots.txt 按钮。
帮助
robots.txt 应该放在哪里？
robots.txt 文件必须放在网站根路径下。例如，应能通过 https://example.com/robots.txt 访问。
常用规则
- User-agent: *：适用于所有搜索机器人
- Allow: /：允许访问整个网站
- Disallow: /admin/：阻止管理员页面
- Sitemap: https://example.com/sitemap.xml：告知搜索引擎 Sitemap 的位置
注意事项
robots.txt 只是给搜索引擎爬虫的爬取指引，并不是安全机制。敏感的管理员页面或私有数据必须通过服务器认证和访问控制来保护。
使用 Disallow 阻止后，页面会从搜索结果中完全消失吗？
robots.txt 主要限制爬取。若要移除已经被索引的页面，还需要考虑 noindex、删除请求、canonical 整理等 SEO 措施。
一定要添加 Sitemap 吗？
不是必需的，但建议在 robots.txt 中添加 Sitemap URL，因为这有助于搜索引擎理解网站结构。