तकनीकी

robots.txt जनरेटर

allow/disallow, sitemap और crawl-delay के साथ मान्य robots.txt बनाएं।

सर्च इंजन को बताएं कि क्या क्रॉल करना है। sitemap सहित साफ़ robots.txt बनाएं।

मुफ़्त · ब्राउज़र में

Paths to block (one per line):

Sitemap URL

आउटपुट

User-agent: *
Allow: /
Disallow: /admin
Disallow: /cart

Sitemap: https://example.com/sitemap.xml

Free daily runs · Pro is unlimited.

कैसे उपयोग करें robots.txt जनरेटर

robots.txt कहाँ?

डोमेन के रूट में, जैसे https://example.com/robots.txt

क्या यह इंडेक्सिंग रोकता है?

यह क्रॉल नियंत्रित करता है, इंडेक्स नहीं। बाहर रखने के लिए noindex उपयोग करें।