प्रत्येक साइट के पृष्ठ नियमित रूप से खोज रोबोट द्वारा क्रॉल किए जाते हैं, जो साइट पर जानकारी को संसाधित करते हैं ताकि यह खोज इंजन में उपयोगकर्ताओं के अनुरोध पर उपलब्ध हो। खोज इंजन से आगंतुकों की यात्राओं का साइट यातायात पर सकारात्मक प्रभाव पड़ता है और संसाधन के विकास को प्रोत्साहित करता है। लेकिन, यदि साइट पर ऐसे पृष्ठ हैं, जिन पर जानकारी इंटरनेट दर्शकों के लिए अभिप्रेत नहीं है (उदाहरण के लिए, उपयोगकर्ताओं के व्यक्तिगत पृष्ठ या पंजीकरण पृष्ठ), तो खोज इंजन से ऐसे पृष्ठों पर संक्रमण की आवश्यकता नहीं है और यह इस जानकारी को अनुक्रमण से प्रतिबंधित करना बेहतर है।
ज़रूरी
- - आपकी अपनी वेबसाइट है
- - उन पृष्ठों के लिंक जानने के लिए, जिनका अनुक्रमण प्रतिबंधित होना चाहिए।
- - HTML का कम से कम बुनियादी ज्ञान हो
निर्देश
चरण 1
खोज रोबोट को साइट के कुछ पृष्ठों को अनुक्रमित करने से रोकने के लिए, आपको robots.txt फ़ाइल में परिवर्तन करने की आवश्यकता है, यदि वह पहले से ही आपकी साइट पर है, या यह फ़ाइल बनाएं।
चरण 2
यदि robots.txt फ़ाइल पहले ही साइट पर अपलोड हो चुकी है और इस फ़ाइल को सीधे संसाधन नियंत्रण कक्ष से संपादित करना संभव है, तो संपादन के लिए वेब सेवा के माध्यम से robots.txt खोलें।
चरण 3
यदि नियंत्रण कक्ष से सीधे वांछित फ़ाइल में परिवर्तन करने का कोई तरीका नहीं है, तो इस फ़ाइल के लिंक पर क्लिक करके ब्राउज़र में robots.txt खोलें। खुलने वाले पेज से सभी डेटा को कॉपी करें और इसे नोटपैड में शीट पर पेस्ट करें।
चरण 4
यदि साइट पर कोई robots.txt नहीं है, तो "नोटपैड" प्रोग्राम खोलें, जिसके नए दस्तावेज़ में आपको आवश्यक कोड दर्ज करना होगा।
चरण 5
टेक्स्ट दस्तावेज़ की एक खाली शीट पर, पहली आवश्यक पंक्ति लिखें:
उपभोक्ता अभिकर्ता: *
चरण 6
फिर एंटर की दबाकर अगली लाइन पर जाएं और निम्न कोड टाइप करें:
अस्वीकृत करें: / अनुक्रमणिका / पृष्ठ3अस्वीकार करें: कोई अनुक्रमण नहीं इंगित करता है, और / अनुक्रमणिका / पृष्ठ3 उस पृष्ठ का लिंक है जिसे अनुक्रमित करने की आवश्यकता नहीं है। लिंक / इंडेक्स / पेज 3 के बजाय, अपनी साइट के उस पेज का लिंक डालें जिसे आप रोबोट द्वारा प्रोसेस करने के लिए ब्लॉक करना चाहते हैं।
चरण 7
ध्यान दें कि लिंक की शुरुआत में डोमेन नाम ही गायब है; प्रविष्टि में इसकी उपस्थिति का तात्पर्य फॉरवर्ड स्लैश से है। किसी साइट को क्रॉल करते समय, एक खोज रोबोट स्वचालित रूप से ऐसे लिंक में एक डोमेन नाम सम्मिलित करता है। इसलिए जरूरी पेजों के लिंक इस तरह से लिखें।
चरण 8
अस्वीकृत करने के बाद: आप न केवल किसी विशिष्ट पृष्ठ का लिंक रख सकते हैं, बल्कि साइट के किसी अनुभाग या निर्देशिका का लिंक भी डाल सकते हैं। इसी तरह, आप साइट के वांछित हिस्से के अनुक्रमण को प्रतिबंधित कर सकते हैं।
चरण 9
यदि संसाधन के कई अलग-अलग वर्गों के रोबोट द्वारा प्रसंस्करण को प्रतिबंधित करना आवश्यक है, तो प्रत्येक अनुभाग या पृष्ठ के लिए एक नई लाइन पर एक लिंक लिखें, जिसकी शुरुआत में Disallow: प्रविष्टि डालना न भूलें।
चरण 10
बदलते robots.txt को पूरा करने के लिए, नियंत्रण कक्ष में फ़ाइल को संपादित करते समय "सहेजें" बटन पर क्लिक करें, या robots.txt नाम के तहत प्रविष्टियों के साथ एक टेक्स्ट दस्तावेज़ सहेजें और इस फ़ाइल को साइट पर अपलोड करें।
