技術
robots.txt ジェネレーター
allow/disallow・サイトマップ・crawl-delay付きの有効なrobots.txtを生成します。
検索エンジンに巡回範囲を指示。サイトマップ付きのクリーンなrobots.txtを作成します。
無料 · ブラウザ内で実行
Paths to block (one per line):
出力
Run this tool
Free daily runs · Pro is unlimited.
使い方 robots.txt ジェネレーター
- 全て許可 or パスをブロック
- サイトマップURLを追加
- robots.txtをルートにコピー
よくある質問
どこに置く？
ドメインのルート、例：https://example.com/robots.txt
インデックスを防ぐ？
巡回を制御しますがインデックスは制御しません。除外はnoindexで。