Технические
Генератор robots.txt
Создаёт валидный robots.txt с правилами allow/disallow, sitemap и crawl-delay.
Укажите поисковикам, что сканировать. Создайте чистый robots.txt с sitemap.
Бесплатно · в браузере
Paths to block (one per line):
Результат
Run this tool
Free daily runs · Pro is unlimited.
Как использовать Генератор robots.txt
- Разрешить всё или заблокировать пути
- Добавьте URL sitemap
- Скопируйте robots.txt в корень
Частые вопросы
Где размещать robots.txt?
В корне домена, например https://example.com/robots.txt
Блокирует индексацию?
Управляет сканированием, не индексацией. Исключайте через noindex.