تولد روبوتات

الروبوتات هي أول ملف يطلبه الزحف وواحد من أسهل الناس أن يصابوا بخطأ كارثي، ويجلس على جذور مجالك ويخبر الزحفات أي مسارات قد يطلبونها، وضربة مُقززة في قاعدة مُتزعة يمكن أن تخفي موقعاً كاملاً من البحث، و لأنه لا يوجد اقتحام واضح،

إن النسيج صغير ولكنه غير مسامح: فالقواعد مطابقة للثبات، والنظام والخصوصية، والملف الفارغ أو المزيف يعامل بطريقة مختلفة تماما عن الملف المسموح به، وهذه الأداة تبنى ملفا صالحا من الأجزاء التي تهتم بها فعلا - التي تزحف قاعدة تنطبق عليها، وما تسمح به، وما الذي يُبطل، وحيث يُعيش موقعك.

شيء واحد يستحق أن يكون واضحاً حول: الروبوتات، وتحكم في الزحف، وليس الفهرسة أو الوصول، ولا يزال هناك انحراف في النتائج إذا كانت مواقع أخرى مرتبطة بها، والملف عام، بحيث يُعلن عن مسار سري، وأي شيء يحتاج إلى توثيق خاص حقيقي أو علامة مقياس، لا خط في هذا الملف، ويستخدمه لإبقاء الزحف بعيداً عن مسارات الإصدار، وأجهزة البحث، ونسخة