Robots.txt क्या है ?
"robots.txt" फ़ाइल एक मानक है जिसका उपयोग वेबसाइटों द्वारा वेब रोबोट (वेब क्रॉलर या स्पाइडर के रूप में भी जाना जाता है) के साथ संवाद करने के लिए किया जाता है, जिसके बारे में वेबसाइट के किन पृष्ठों या अनुभागों को संसाधित या स्कैन नहीं किया जाना चाहिए। यह एक वेबसाइट की रूट डायरेक्टरी में रखा जाता है और रोबोट को जानकारी प्रदान करता है कि उन्हें किन पेजों तक नहीं पहुंचना चाहिए। "robots.txt" फ़ाइल की सामग्री कानूनी रूप से लागू करने योग्य नहीं है, लेकिन अधिकांश अच्छे व्यवहार वाले वेब रोबोट इसका पालन करते हैं। फ़ाइल यह निर्दिष्ट करने के लिए विशिष्ट सिंटैक्स का उपयोग करती है कि किन पृष्ठों को खोज इंजनों द्वारा क्रॉल और अनुक्रमित नहीं किया जाना चाहिए।
Robots.txt का उपयोग
"robots.txt" फ़ाइल का उपयोग मुख्य रूप से खोज इंजन बॉट्स और अन्य वेब रोबोटों को किसी वेबसाइट के उन हिस्सों तक पहुँचने और अनुक्रमणित करने से रोकने के लिए किया जाता है, जो स्वामी सार्वजनिक रूप से उपलब्ध नहीं होना चाहते हैं, जैसे कि विकासाधीन पृष्ठ या संवेदनशील जानकारी। यह बैंडविड्थ और सर्वर संसाधनों को संरक्षित करने के साथ-साथ गोपनीयता बनाए रखने में मदद कर सकता है। "robots.txt" फ़ाइल का उपयोग अनिवार्य नहीं है, लेकिन यह एक व्यापक रूप से स्वीकृत परंपरा है जो अधिकांश प्रमुख खोज इंजनों और वेब रोबोटों द्वारा समर्थित है। अपनी वेबसाइट पर एक "robots.txt" फ़ाइल शामिल करके, आप यह सुनिश्चित कर सकते हैं कि आपकी वेबसाइट को आपकी इच्छानुसार क्रॉल और अनुक्रमित किया गया है।
# 5 उपयोग robot.txt फ़ाइल का
1. Search इंजन क्रॉलर को ब्लॉक करना: robot.txt फ़ाइल का उपयोग Search इंजन क्रॉलर को किसी वेबसाइट के विशिष्ट पृष्ठों या अनुभागों तक पहुँचने से रोकने के लिए किया जाता है।
2. वेबसाइट ट्रैफ़िक: अवांछित बॉट्स को ब्लॉक करके, वेबसाइट के ट्रैफ़िक को अधिक प्रभावी ढंग से प्रबंधित किया जा सकता है।
3. संवेदनशील जानकारी की सुरक्षा करना: संवेदनशील जानकारी को Search इंजनों द्वारा क्रॉल किए जाने से बचाने के लिए robot.txt फ़ाइल का उपयोग किया जा सकता है।
4. वेबसाइट के प्रदर्शन में सुधार: महत्वहीन पृष्ठों या अनुभागों को Search इंजनों द्वारा क्रॉल किए जाने से अवरुद्ध करने से वेबसाइट के प्रदर्शन में सुधार हो सकता है।
5. कानूनी विनियमों का अनुपालन: कुछ देशों में ऐसे कानून हैं जो यह विनियमित करते हैं कि Search इंजनों द्वारा किस जानकारी को क्रॉल किया जा सकता है। इन विनियमों का अनुपालन करने के लिए robot.txt फ़ाइल का उपयोग किया जा सकता है।
Robots.txt का उदाहरण
यहां एक मूल "robots.txt" फ़ाइल का एक उदाहरण दिया गया है जो सभी वेब रोबोटों को किसी वेबसाइट के किसी भी हिस्से तक पहुंचने से रोकता है:
और यहाँ एक "robots.txt" फ़ाइल का एक उदाहरण दिया गया है जो किसी विशिष्ट निर्देशिका को छोड़कर सभी वेब रोबोटों को पूरी वेबसाइट तक पहुँचने की अनुमति देता है:
ये उन कई तरीकों के कुछ उदाहरण हैं जिनसे आप वेब रोबोट द्वारा अपनी वेबसाइट तक पहुंच को नियंत्रित करने के लिए "robots.txt" फ़ाइल का उपयोग कर सकते हैं। "robots.txt" फ़ाइल का विशिष्ट सिंटैक्स और सामग्री आपकी आवश्यकताओं के आधार पर भिन्न हो सकती है।
यह भी पढ़ें- ब्लॉगर में robots.txt फाइल कैसे ऐड करें ?
किसी वेबसाइट की robots.txt फाइल को कैसे चेक करें?
"example.com" को उस वेबसाइट के डोमेन नाम से बदलें जिसे आप जांचना चाहते हैं। यदि वेबसाइट में "robots.txt" फ़ाइल है, तो आप इसकी सामग्री को अपने वेब ब्राउज़र में देख सकेंगे। यदि कोई "robots.txt" फ़ाइल नहीं है, तो आपको 404 त्रुटि प्राप्त होगी।
वेबसाइट की "robots.txt" फ़ाइल की सामग्री की जांच करने के लिए, आप Google Search Console में "Robots.txt Tester" जैसे वेब-आधारित टूल का भी उपयोग कर सकते हैं। ये उपकरण अतिरिक्त जानकारी और विश्लेषण प्रदान कर सकते हैं ताकि आपको यह समझने में सहायता मिल सके कि आपकी वेबसाइट को खोज इंजन और अन्य वेब रोबोटों द्वारा कैसे क्रॉल और अनुक्रमित किया जा रहा है।
Robots.txt की Syntax क्या है ?
Robots.txt file के syntax निम्नलिखित होते हैं:
User-agent: [User-Agent name]
Disallow: [URL path to be disallowed]
User-agent में, उन robots/crawlers का नाम दर्ज किया जाता है जो आपकी website से इंफोर्मेशन crawl नहीं करना चाहते।
Disallow में, वे URL path दर्ज किए जाते हैं जो crawl नहीं करने की अनुमति नहीं होती।
उदाहरण:
User-agent: Googlebot
Disallow: /private/
यह syntax Googlebot को अपनी website के private section से information crawl करने से महसूस करने को नहीं कहता।
Robots.txt जनरेटर Tools
ऐसे कई ऑनलाइन टूल उपलब्ध हैं जो आपकी वेबसाइट के लिए "robots.txt" फ़ाइल बनाने में आपकी सहायता कर सकते हैं। ये उपकरण आमतौर पर एक सरल और उपयोगकर्ता के अनुकूल इंटरफेस प्रदान करते हैं जो आपको यह निर्दिष्ट करने की अनुमति देता है कि आप अपनी वेबसाइट के किन हिस्सों को वेब रोबोट से ब्लॉक करना चाहते हैं। कुछ लोकप्रिय "robots.txt" जेनरेटर टूल में शामिल हैं:
1. Robots.txt Generator by Seoptimer.
2. Robots.txt Generator by Small SEO Tools.
3. Robots.txt Generator by lxrmarketplace.
4. Robots.txt Generator by Ryte.
ये उपकरण वेबसाइट स्वामियों के लिए एक उपयोगी संसाधन हो सकते हैं
निष्कर्ष- तो यहां हमने जाना कि robots.txt फाइल क्या है और इसका उपयोग क्या है। मुझे आशा है कि आपको यह पोस्ट पसंद आई होगी। इसे अपने दोस्तों के साथ साझा करें। धन्यवाद।