ब्लॉगर में robots.txt फाइल कैसे ऐड करें ? Full Guide

अगर आप एक ब्लॉगर हैं तो आपने robots.txt का नाम तो सुना ही होगा. इसलिए यहां हम robots.txt फाइल के बारे में जानेंगे और उन्हें ब्लॉगर और वर्डप्रेस वेबसाइटों में कैसे जोड़ें। क्या है robots.txt फ़ाइल आप यहाँ पूरी जानकारी प्राप्त कर सकते हैं। Robots.txt क्या है और कैसे Use किया जाता है? Robots.txt जनरेटर Tools

robots.txt फ़ाइल क्या है?

एक robots.txt फ़ाइल एक Text फ़ाइल है जिसका उपयोग वेबसाइटों द्वारा वेब रोबोट के साथ संवाद करने के लिए किया जाता है, जिसे वेब क्रॉलर, स्पाइडर या केवल बॉट के रूप में भी जाना जाता है। यह इन स्वचालित एजेंटों को सूचित करता है कि उन्हें वेबसाइट के किन हिस्सों तक पहुंचने और अनुक्रमण करने की अनुमति है, वेबसाइट मालिकों को उनकी वेबसाइट को Search इंजनों द्वारा क्रॉल और अनुक्रमित करने के तरीके को नियंत्रित करने में मदद करता है।

Google, Bing, Yahoo, और Baidu सहित अधिकांश लोकप्रिय Search इंजन, वेबसाइटों को क्रॉल करने और अनुक्रमित करने के लिए एक दिशानिर्देश के रूप में robots.txt फ़ाइल का उपयोग करते हैं। हालांकि, यह नोट करना महत्वपूर्ण है कि ये वेब रोबोट अभी भी robots.txt फ़ाइल में निर्देशों को अनदेखा करना चुन सकते हैं यदि उन्हें लगता है कि ऐसा करना उनके हित में है। इस प्रकार, robots.txt फ़ाइल इस बात की गारंटी नहीं है कि किसी वेबसाइट के किसी पृष्ठ या अनुभाग को क्रॉल या अनुक्रमित नहीं किया जाएगा।

ब्लॉगर में robot.txt फाइल कैसे ऐड करें ?

यहां दो नियमों वाली एक सामान्य robots.txt फ़ाइल दी गई है:

User-agent: Googlebot

Disallow: /nogooglebot/

User-agent: *

Allow: /

Sitemap: https://www.yoursite.com/sitemap.xml

यहां बताया गया है कि उस robots.txt फ़ाइल का क्या अर्थ है:

1. Googlebot नाम के उपयोगकर्ता एजेंट को https://yoursite.com/nogooglebot/ से शुरू होने वाले किसी भी यूआरएल को क्रॉल करने की अनुमति नहीं है.

2. अन्य सभी उपयोगकर्ता एजेंटों को पूरी साइट को क्रॉल करने की अनुमति है। इसे छोड़ा जा सकता था और नतीजा वही होता; डिफ़ॉल्ट व्यवहार यह है कि उपयोगकर्ता एजेंटों को पूरी साइट को क्रॉल करने की अनुमति है।

3. साइट की साइटमैप फ़ाइल https://www.Yoursite.com/sitemap.xml पर स्थित है।

ब्लॉगर ब्लॉग में robots.txt फ़ाइल जोड़ने के लिए:

1. अपने ब्लॉगर(Blogger) खाते में लॉग इन करें और उस ब्लॉग का चयन करें जिसमें आप फ़ाइल जोड़ना चाहते हैं।

2. "Setting" अनुभाग पर जाएं और "Crawlers and indexing" विकल्प चुनें।

3. "कस्टम robots.txt" अनुभाग तक नीचे स्क्रॉल करें।

4. "हां, Enable custom robots.txt Par Click Kare" के बगल में स्थित बॉक्स को चेक करें।

5. अब अपनी वेबसाइट की robots.txt फाइल डालें और Save पर क्लिक करें।

→ Generate Your Blog Robots.txt File For Free

टेक्स्ट बॉक्स में निम्न कोड दर्ज करें:

User-agent: * Disallow: /search Disallow: /category/ Disallow: /tag/ Allow: / Sitemap: https://www.Yoursite.in/sitemap.xml Sitemap: https://www.Yoursite.in/sitemap-pages.xml

Wordpress में robots.txt फाइल कैसे ऐड करें?

1. प्लगइन का उपयोग करना: आप अपनी वर्डप्रेस वेबसाइट के लिए आसानी से एक robots.txt फ़ाइल उत्पन्न करने के लिए "Yoast SEO" जैसे प्लगइन का उपयोग कर सकते हैं।

2. मैन्युअल रूप से फ़ाइल बनाना: आप मैन्युअल रूप से robots.txt फ़ाइल बना सकते हैं और इसे FTP के माध्यम से अपनी वर्डप्रेस साइट की रूट डायरेक्टरी में अपलोड कर सकते हैं।

यह भी पढ़ें - Robots.txt क्या है और कैसे Use किया जाता है? Robots.txt जनरेटर Tools

निष्कर्ष- तो यहाँ हमने सीखा की ब्लॉगर में robots.txt फाइल कैसे ऐड करते है. मुझे आशा है कि आपको यह पोस्ट पसंद आई होगी। अपने मित्रों के साथ इसे बांटे। धन्यवाद। जय हिन्द।