robots.txtガイド

このツールでできること

• robots.txtガイドでは、robots.txt の基本構文、User-agent/Allow/Disallow/Sitemap/Crawl-delay、よくある設定、注意点を固定テキストで表示します。
• 関連する観点として robots.txt、クローラー、SEO robots を確認し、結果をコピーして別の作業に使えます。

使い方

1. 結果欄の基本構文で User-agent、Allow、Disallow、Sitemap の並びを確認します。
2. ディレクティブ欄で Crawl-delay などの意味を見ます。
3. よくある設定から全ページ許可、管理画面除外、特定ボットブロックの例を確認します。
4. 注意点の noindex は meta タグで設定、ルート配置、UTF-8 を見てからコピーします。

入力例・出力例

よくある利用シーン

• robots.txt の基本構文を新規サイト用に下書きする
• 管理画面や API パスをクロール対象外にする例を確認する
• noindex と robots.txt の役割差を注意点として共有する

結果確認のポイント

• 文字数、読みやすさ、重複、リンク先、検索意図との一致を確認してください。
• robots.txt、クローラー、SEO robotsの観点で、入力内容と出力内容がずれていないか見直してください。
• コピーした結果を利用先に貼り付けたあと、改行や記号が変わっていないかも確認してください。

注意点

• 検索順位や開封率を保証するものではありません。実際の成果はコンテンツ品質や配信条件にも左右されます。
• 結果を公開・送信する前に、用途に合う形式かを必ず確認してください。

データの扱い / プライバシー

• robots.txtガイドの主要な処理はブラウザ内で実行されます。
• 入力内容を保存するアカウント機能はなく、ページを閉じると作業内容は手元のブラウザから離れます。
• 本番の秘密情報や個人情報を扱う場合は、入力前に必要性を確認してください。

よくある質問

関連ツール