एक Robot.txt फ़ाइल उत्पन्न करें

रोबोट.txt पहली फ़ाइल है जो क्रॉलर पूछती है और यह सबसे आसान है कि वह कैटस्ट्रोफिक रूप से गलत हो जाए। यह आपके डोमेन की जड़ पर बैठता है और क्रॉलर को बताता है कि वे किस रास्ते का अनुरोध कर सकते हैं। एक अस्वस्थ नियम में एक slash खोज से पूरी साइट को छिपा सकता है, और क्योंकि कुछ भी वाइसिबिल ब्रेक नहीं कर सकता है, जो गलती अक्सर महीनों तक जीवित रहती है इससे पहले कि कोई भी इसे कभी नहीं पहुंचता।

वाक्य रचना छोटी लेकिन अप्रवर्तन है: नियमों को उपसर्ग, आदेश और विशिष्टता पारस्परिक क्रिया से मिलान किया जाता है, और एक खाली या विकृत फ़ाइल को एक permissive से बहुत अलग तरीके से इलाज किया जाता है। यह उपकरण उन हिस्सों से एक मान्य फ़ाइल बनाता है जिन्हें आप वास्तव में देख रहे हैं - जो क्रॉलर एक नियम लागू होता है, क्या अनुमति देना है, क्या करना है, क्या करना है, क्या करना है, और जहां आपका साइटमैप रहता है।

इसके बारे में स्पष्ट होने की एक चीज: रोबोट.txt नियंत्रण क्रॉलिंग, अनुक्रमण या पहुंच नहीं। एक अप्रयुक्त यूआरएल अभी भी परिणाम में दिखाई दे सकता है यदि अन्य साइटें इसके लिए लिंक करती हैं, और फ़ाइल सार्वजनिक है, इसलिए एक गुप्त पथ को सूचीबद्ध करना इसका विज्ञापन करता है। कुछ भी वास्तव में निजी जरूरतों को प्रमाणीकरण या noindex टैग, इस फाइल में एक पंक्ति नहीं। इसका उपयोग रेंगने वालों को एडमिन पथ, खोज परिणाम पृष्ठों और डुप्लिकेट पैरामीटर यूआरएल से दूर रखने के लिए करें, और उन्हें अपने sitemap पर इंगित करने के लिए करें।