robots.txt 生成
入力・設定
プレビュー（robots.txt）
反映後は必ず Search Console 等で検証してください（誤設定による影響を避けるため）。
robots.txt の作り方（3ステップ）
- プリセット or ルールを入力
「全許可」「全拒否」「WordPress向け」などのプリセット、または Allow/Disallow を手入力します。 - Sitemap / Host など任意項目を設定
必要に応じて sitemap.xml のURL、Host（任意/主に一部検索エンジン向け）、Crawl-delay を設定します。 - 生成してコピー / ダウンロード
「生成」ボタンで robots.txt を作成し、コピーまたは robots.txt としてダウンロードしてサイト直下へ配置します。
主な活用シーン
robots.txt は、以下のようなシーンで活用できます。
- 管理画面・内部ディレクトリ（/admin 等）へのクロールを抑制してクロール効率を改善する。
- ステージング環境を「全拒否」し、誤インデックスを防ぐ（ただし公開設定の見直しも必須）。
- sitemap.xml を明示して、クロールの起点を分かりやすくする。
- 特定ボットの挙動調整（User-agent 別にルールを分ける）を試したい。
- 不要URL群（検索結果ページ・パラメータURL 等）を整理してSEO棚卸しを進めたい。
よくある質問
A : 原則として「サイトのルート直下（例：https://example.com/robots.txt）」に配置します。サブドメインや別ホストはそれぞれ別の robots.txt が必要です。
A : robots.txt は主に「クロール可否」の制御です。インデックス抑制には noindex（meta/HTTPヘッダー）や認証、アクセス制限など別手段が必要になることがあります。
A : 検索エンジン実装により解釈が異なる場合がありますが、一般的には「より具体的（長い）パス」を優先する挙動が多いです。重要URLは Search Console 等で必ず検証してください。
A : 必須ではありませんが、sitemap.xml を明示するとクロール導線が明確になります。サイトマップを運用している場合は付与を推奨します。
A : Crawl-delay の扱いは検索エンジンごとに異なります。Google は一般に Search Console 側の制御やサーバー応答で調整されることが多く、記述が常に反映されるとは限りません。
A : いいえ。生成・コピー・ダウンロードはブラウザ内で完結し、入力内容をサーバーへ保存しない構成です。
利用条件・注意事項・免責等
利用条件
本ツールは、次の条件でご利用いただけます。
-
完全無料
ツールの利用料金はかかりません。回数制限なく生成できます。 -
登録不要
アカウント作成やログインなしで、そのまま使えます。 -
商用利用OK
生成した robots.txt は業務・商用サイトでも利用できます（ただし設定の妥当性は要検証）。 -
ブラウザ内処理
入力内容をサーバーへ保存せず、ブラウザ内で生成・コピー・ダウンロードします。
robots.txt は「Robots Exclusion Protocol」に基づく慣習的仕様であり、検索エンジンごとに解釈・対応状況が異なる場合があります。重要な制御は必ず検証してください。
注意事項・免責
本ページの機能を利用したことにより発生したいかなる損害についても、 本ページの作成者・公開者・管理者は一切の責任を負いかねます。
- robots.txt は「アクセス制御」ではありません。機密情報の保護には認証・権限・ネットワーク制限などを利用してください。
- CSS/JS などレンダリングに必要なリソースをブロックすると、検索評価に影響する可能性があります。
- 反映後は Search Console（URL検査/robots.txtテスター等）やログでクロール状況を確認してください。
- 誤設定により重要ページがクロール不可になるリスクがあります。変更前後で差分と影響範囲を確認してください。
ご利用は、必ずご自身の責任のもとでお願いいたします。