Developer SEO Utility
robots.txt ジェネレーター
検索エンジンクローラーの許可・ブロックするパスとSitemap URLを入力して、robots.txtファイルの内容を自動生成できます。
robots.txt 設定
サイトURL、クローラー対象、許可パス、ブロックパス、Sitemap URLを入力してください。
一般的には公開ページを許可し、管理画面・検索結果・非公開パスをブロックします。ただしrobots.txtはセキュリティ対策ではないため、機密ページは必ずサーバー側の認証と権限管理で保護してください。
Sitemap URLの自動生成に使用されます。例: https://win-j.com
すべての検索ボットに適用する場合は * を使用します。
クロールリクエストの間隔です。一部の検索エンジンのみ対応しています。
1行に1つずつ入力してください。例: /utility/
検索エンジンにクロールさせたくないパスを入力してください。
空欄の場合、サイトURLを基準に /sitemap.xml を自動生成します。
クイックオプション
よく使うrobots.txt規則をチェックだけで追加できます。
生成結果
以下の内容をサイトのルートパスにrobots.txtファイルとして保存してください。
設定を入力してからrobots.txt生成ボタンを押してください。
ヘルプ
robots.txtはどこに置きますか？
robots.txtファイルはサイトのルートパスに配置する必要があります。たとえば https://example.com/robots.txt の形式でアクセスできる必要があります。
よく使う規則
- User-agent: * : すべての検索ボットに適用
- Allow: / : サイト全体へのアクセスを許可
- Disallow: /admin/ : 管理者ページをブロック
- Sitemap: https://example.com/sitemap.xml : Sitemapの場所を検索エンジンに知らせる
注意事項
robots.txtは検索エンジンクローラーへの案内規則であり、セキュリティ機能ではありません。機密性の高い管理ページや非公開データは、必ずサーバー認証とアクセス制御で保護してください。
Disallowでブロックすると検索結果から完全に消えますか？
robots.txtはクロールを制限する規則です。すでにインデックスされたページを削除するには、noindex、削除リクエスト、canonical整理なども検討する必要があります。
Sitemapは必ず追加する必要がありますか？
必須ではありませんが、検索エンジンがサイト構造を把握しやすくなるため、robots.txtにSitemap URLを含めることをおすすめします。