robots.txtのDisallowとAllowの書き方は？

「Disallow: /admin/」で/admin/以下をクロール禁止、「Allow: /admin/public/」で例外的に許可できます。「User-agent: *」で全クローラー、「User-agent: Googlebot」で特定クローラーに適用します。

robots.txtでサイトマップを指定する方法は？

robots.txtの末尾に「Sitemap: https://example.com/sitemap.xml」と記載します。複数のサイトマップがある場合は複数行で指定できます。

SEO・Web制作無料登録不要

robots.txtをGUIで簡単作成。User-Agent、Allow/Disallow、Sitemap指定。既存ファイルのバリデーション機能付き。SEO対策の無料ツール。

Sitemap URL

User-agent: *
Disallow: /admin/

FAQ

robots.txtは検索エンジンのクローラーに対し、サイトのどのページをクロールしてよいかを指示するファイルです。重要なページのクロールを妨げると検索順位に悪影響を及ぼす可能性があります。

バリエーション

読み込み中...