robots.txt बनाएं। सर्च इंजन क्रॉलर अलाउ/ब्लॉक रूल सेट, साइटमैप URL। SEO के लिए ज़रूरी। ब्राउज़र प्रोसेसिंग।
Robots.txt जनरेटर एक मुफ़्त ऑनलाइन टूल है जो सर्च इंजन क्रॉलर एक्सेस नियंत्रित करने के लिए आसानी से robots.txt फ़ाइलें बनाता है। Allow/Disallow नियम, साइटमैप URL और क्रॉल विलंब सेट करें। ब्राउज़र में ही प्रोसेसिंग, कोई सर्वर अपलोड नहीं — अपनी साइट की क्रॉलेबिलिटी प्रबंधित करने के लिए पूरी तरह मुफ़्त।
प्रीसेट
User-Agent
क्रॉल देरी
साइटमैप URL
परिणाम
User-agent: *
Allow: /
lock फ़ाइलें सर्वर पर नहीं भेजी जातीं
robots.txt जनरेटर कैसे इस्तेमाल करें?
यूज़र एजेंट (क्रॉलर) चुनें।
Allow और Disallow पाथ नियम सेट करें।
अपना साइटमैप URL जोड़ें और बनाई गई robots.txt कॉपी करें।
robots.txt जनरेटर के बारे में अक्सर पूछे जाने वाले सवाल
robots.txt क्या है?
robots.txt एक टेक्स्ट फ़ाइल है जो किसी वेबसाइट की रूट में रखी जाती है और सर्च इंजन क्रॉलर को बताती है कि किन पेजों को क्रॉल करना है या अनदेखा करना है।
क्या robots.txt पेजों को सर्च परिणामों से पूरी तरह छिपा सकती है?
नहीं। robots.txt केवल क्रॉलिंग नियंत्रित करती है — यदि अन्य साइटों से लिंक हों तो पेज फिर भी सर्च परिणामों में दिख सकते हैं। पूरी तरह हटाने के लिए noindex मेटा टैग का उपयोग करें।