robots.txt生成

このツールでできること

• robots.txt生成では、robots.txtをGUIで簡単作成。User-Agentごとに複数のAllow/Disallowルールを追加でき、同じUser-Agentのルールは自動で1つのブロックにまとめて出力。Sitemap URLも指定可能。
• 関連する観点として robots.txt書き方、robots.txt作成、robots.txt生成 を確認し、結果をコピーして別の作業に使えます。

使い方

1. デフォルトで用意されている「User-agent: * / Disallow: /admin/」のルールを、対象のUser-agentとパスに合わせて書き換えます。
2. 「+ ルール追加」で複数のAllow/Disallowルールを追加できます。同じUser-agentのルールは自動的に1つのUser-agentブロックにまとめられます。
3. サイトマップURLを入力すると、生成結果の末尾にSitemap行が自動で追加されます。
4. 生成結果をコピーし、サイトのルート直下に robots.txt という名前で設置します。

入力例・出力例

よくある利用シーン

• 管理画面など特定のパスだけクロールを止めたいが、その中の一部だけは許可したい（Disallow+Allow）とき。
• 複数のUser-agentごとに異なるクロールルールを設定したいが、書き方を間違えたくないとき。
• サイトマップの場所をrobots.txtから検索エンジンに伝える一行を、Sitemap欄の入力だけで確実に追加したいとき。
• noindexとDisallowを混同していないか、公開前に役割の違いを再確認したいとき。

結果確認のポイント

• 文字数、読みやすさ、重複、リンク先、検索意図との一致を確認してください。
• robots.txt書き方、robots.txt作成、robots.txt生成の観点で、入力内容と出力内容がずれていないか見直してください。
• コピーした結果を利用先に貼り付けたあと、改行や記号が変わっていないかも確認してください。

注意点

• 検索順位や開封率を保証するものではありません。実際の成果はコンテンツ品質や配信条件にも左右されます。
• 結果を公開・送信する前に、用途に合う形式かを必ず確認してください。

データの扱い / プライバシー

• robots.txt生成の主要な処理はブラウザ内で実行されます。
• 入力内容を保存するアカウント機能はなく、ページを閉じると作業内容は手元のブラウザから離れます。
• 本番の秘密情報や個人情報を扱う場合は、入力前に必要性を確認してください。

よくある質問

バリエーション

関連ツール