Teknis
Generator robots.txt
Buat robots.txt valid dengan aturan allow/disallow, sitemap, dan crawl-delay.
Beri tahu mesin pencari apa yang boleh dirayapi. Buat robots.txt bersih dengan sitemap.
Gratis · di browser
Paths to block (one per line):
Hasil
Run this tool
Free daily runs · Pro is unlimited.
Cara pakai Generator robots.txt
- Izinkan semua atau blokir jalur
- Tambahkan URL sitemap
- Salin robots.txt ke root
Pertanyaan umum
Di mana robots.txt?
Di root domain, mis. https://example.com/robots.txt
Apakah mencegah indeks?
Mengatur perayapan, bukan indeks. Gunakan noindex untuk mengecualikan.