适用人群
- 网站运营者
- 维护 robots.txt 的开发者
Developer SEO Utility
robots.txt 生成器
输入搜索引擎爬虫的允许路径、禁止路径和 Sitemap 地址，即可自动生成 robots.txt 文件内容。
生成爬取规则
可轻松配置 User-agent、Allow、Disallow 规则。
连接 Sitemap
添加 sitemap.xml 地址，帮助搜索引擎了解网站结构。
复制与下载
可以复制生成的 robots.txt 内容，或保存为文件。
User-agent
*
Allow
0项
Disallow
0项
Sitemap
使用
robots.txt 设置
请输入网站地址、爬虫对象、允许路径、禁止路径和 Sitemap URL。
推荐结构
通常建议允许公开页面，并阻止管理员、搜索结果和私有路径。但 robots.txt 不是安全工具，敏感页面必须通过服务器认证和权限控制进行保护。
用于自动生成 Sitemap URL。例：https://win-j.com
如需应用于所有搜索机器人，请使用 *。
这是仅部分搜索引擎支持的可选规则。Googlebot 不支持 Crawl-delay。
每行输入一个路径。例：/utility/
请输入不希望搜索引擎爬取的路径。
如果留空，将基于网站地址自动生成 /sitemap.xml。
快速选项
通过勾选即可添加常用 robots.txt 规则。
生成结果
请将以下内容保存为网站根路径下的 robots.txt 文件。
请输入设置后点击生成 robots.txt 按钮。
按爬取目的编写 robots.txt
生成 User-agent、Allow、Disallow 和可选 Sitemap 行。爬取指令应与访问权限、索引决策分别审查。
使用场景
- 整理管理和搜索路径。
- 声明已有站点地图的位置。
从输入到检查结果
- 1
整理公开与希望避免爬取的路径。
- 2
输入 * 或目标爬虫标记。
- 3
每行一个 Allow 或 Disallow 路径。
- 4
填写站点地图绝对 URL 或站点地址。
- 5
生成、复核并放到根目录 robots.txt。
- 6
检查线上文件与目标爬虫行为。
管理路径
- 输入
- User-agent: *；Disallow 路径 /admin/
- 结果
- 包含 Disallow: /admin/ 的规则组
它不能防止访客访问管理页面。
声明地图
- 输入
- https://example.com；开启 Sitemap
- 结果
- Sitemap: https://example.com/sitemap.xml
部署前确认文件实际存在。
计算与处理原理
验证代理标记，最多接受10,000行规则，并在每个列表内去重。URL 要求无认证信息的 HTTP(S)。Crawl-delay 只接受有限非负十进制数。
限制与注意事项
- 不测试实际服务器和爬虫。
- Googlebot 不支持 Crawl-delay。
- Disallow 不保证从搜索中删除 URL。
- 公开文件不能替代认证与授权。
数据处理
规则在浏览器内组合，不保存到 win-j。发布前检查路径名称。
参考资料
相关工具
- sitemap.xml 生成器
将 URL 列表转换为 XML，解析相对路径并去重。先选择可索引的规范页面，工具不会核实线上状态。
- Canonical URL检查器
发布前查找 canonical 缺失、重复和可疑 URL。工具不确认搜索引擎最终选择了哪个规范网址。
常见问题
Disallow 会从搜索删除页面吗？
它控制爬取，不保证删除。应按目的选择索引或权限控制。
Googlebot 支持 Crawl-delay 吗？
不支持，其他爬虫也需核对各自官方说明。
为何延迟值无效？
使用2或0.5等非负小数，不使用指数、文字或无限大。