こんな方におすすめ
- クロール規則を準備する運営者
- robots.txtを変更する開発者
Developer SEO Utility
robots.txt ジェネレーター
検索エンジンクローラーの許可・ブロックするパスとSitemap URLを入力して、robots.txtファイルの内容を自動生成できます。
クロール規則を生成
User-agent、Allow、Disallowの規則を簡単に構成できます。
Sitemap連携
sitemap.xmlのURLを追加して、検索エンジンがサイト構造を把握しやすくできます。
コピー・ダウンロード
生成されたrobots.txtの内容をコピーしたり、ファイルとして保存したりできます。
User-agent
*
Allow
0件
Disallow
0件
Sitemap
使用
robots.txt 設定
サイトURL、クローラー対象、許可パス、ブロックパス、Sitemap URLを入力してください。
推奨構成
一般的には公開ページを許可し、管理画面・検索結果・非公開パスをブロックします。ただしrobots.txtはセキュリティ対策ではないため、機密ページは必ずサーバー側の認証と権限管理で保護してください。
Sitemap URLの自動生成に使用されます。例: https://win-j.com
すべての検索ボットに適用する場合は * を使用します。
一部の検索エンジンだけが対応する任意の規則です。Googlebot は Crawl-delay に対応していません。
1行に1つずつ入力してください。例: /utility/
検索エンジンにクロールさせたくないパスを入力してください。
空欄の場合、サイトURLを基準に /sitemap.xml を自動生成します。
クイックオプション
よく使うrobots.txt規則をチェックだけで追加できます。
生成結果
以下の内容をサイトのルートパスにrobots.txtファイルとして保存してください。
設定を入力してからrobots.txt生成ボタンを押してください。
目的に合ったrobots.txtのクロール規則を作る
User-agent、Allow、Disallowと任意のSitemap行を生成します。クロールの指示として使い、アクセス制御やインデックス方針とは分けて確認してください。
活用場面
- 管理・検索パスの規則を整理する。
- 既存サイトマップの場所を追加する。
入力から結果の確認まで
- 1
公開パスと収集を避けたいパスを整理します。
- 2
*または対象ボットのトークンを入力します。
- 3
Allow・Disallowを1行1パスで入力します。
- 4
サイトマップの絶対URLまたはサイトアドレスを入力します。
- 5
生成結果を確認してルートのrobots.txtに配置します。
- 6
公開ファイルと対象クローラーの動作を確認します。
管理パスの収集制御
- 入力
- User-agent: *、Disallowに/admin/
- 結果
- Disallow: /admin/を含む規則
訪問者から管理ページを保護する機能ではありません。
サイトマップの案内
- 入力
- https://example.com、Sitemap有効
- 結果
- Sitemap: https://example.com/sitemap.xml
そのファイルが実在するか確認してください。
計算・処理の仕組み
User-agentの形式と入力規則10,000行以内を検査し、各リスト内の重複を除きます。URLは認証情報なしのHTTP(S)形式、Crawl-delayは有限の0以上の小数を受け付けます。
注意点と制限
- サーバーやクローラーへの実地検査はしません。
- GooglebotはCrawl-delayに対応しません。
- Disallowで検索結果からの削除を保証できません。
- 公開ファイルであり、認証の代わりにはなりません。
データの取り扱い
ブラウザー内で組み立て、win-jには保存しません。公開するパス名を確認してください。
参考資料
あわせて使えるツール
- sitemap.xml ジェネレーター
URL一覧をXMLに変換し、相対パスを解決して重複を除きます。公開・インデックス対象の代表URLを選んでから生成してください。実際の応答は検査しません。
- Canonical URLチェッカー
canonicalの欠落・重複・URL形式を公開前に確認します。入力したHTMLの検査であり、検索エンジンが選択した正規URLを取得する機能ではありません。
よくある質問
Disallowで検索から消えますか？
クロール制御であり、削除の保証ではありません。ページの目的に応じた方法を選んでください。
GooglebotにCrawl-delayは使えますか？
いいえ。他のボットも公式仕様で対応を確認してください。
遅延値が拒否されるのは？
2や0.5のような0以上の小数を使ってください。指数表記や無限大は使えません。