Hasilkan sebuah berkas robots.txt
Hasilkan sebuah berkas robots.txt bersih dengan peta matahari dan aturan merangkak.
Bagaimana menggunakan Robots.txt Generator
Pilih agen pengguna
Gunakan * untuk setiap crawler, atau nama yang spesifik ketika aturan harus hanya berlaku untuk itu.
Set jalur memungkinkan dan dilarang Anda
Daftar jalur crawler harus dilewati, seperti admin atau halaman pencarian internal, dan pengecualian apapun untuk memungkinkan.
Tambah peta-tulis dan salin
Masukkan URL sitmap Anda, kemudian salin berkas dan simpan sebagai robots.txt di akar domain Anda.
Tentang Robots.txt Generator
robots.txt adalah file pertama yang diminta crawler dan salah satu yang paling mudah untuk mendapatkan kesalahan yang berbahaya itu duduk di akar domain Anda dan memberitahu crawlers jalan yang mungkin mereka minta. garis miring liar dalam aturan tidak beraturan dapat menyembunyikan seluruh situs dari pencarian, dan karena tidak ada rusak nyata, kesalahan yang sering bertahan selama berbulan-bulan sebelum ada menghubungkan ke lalu lintas yang tidak pernah tiba.
Sintaks ini kecil tapi tak kenal ampun: aturan dicocokkan dengan awalan, urutan dan spesifikasi interaksi, dan file kosong atau cacat diperlakukan sangat berbeda dari satu permissive. Alat ini membangun berkas yang valid dari bagian yang Anda benar-benar peduli - yang crawler aturan berlaku untuk, apa yang memungkinkan, apa yang tidak sesuai, dan di mana Anda hidup.
Satu hal yang layak dijelaskan tentang: robots.txt mengontrol merangkak, tidak mengindeks atau akses. Sebuah URL tidak diijinkan masih dapat muncul di hasil jika situs lain link ke dalamnya, dan berkas itu publik, jadi daftar jalan rahasia mengiklankannya. Apapun yang benar-benar pribadi membutuhkan otentikasi atau tag noindex, bukan baris dalam berkas ini. Gunakan untuk menjaga penjelajah menjauh dari jalur admin, hasil halaman dan duplikasi parameter URL, dan untuk menunjuk mereka pada peta Anda.
Pertanyaan yang sering ditanyakan
- Dimana aku harus meletakkan file robots.txt?
- Di akar domain Anda, sehingga dapat dicapai di yoursetit.com / bots.txt. Crawlers tidak melihat tempat lain.
- Apakah robots.txt menghentikan halaman yang sedang diindeks?
- Tidak. Ini berhenti merangkak, tapi URL yang diblok masih dapat didaftarkan jika situs lain menghubungkan ke itu. Gunakan noindeks tag untuk menjaga halaman dari indeks.
- Haruskah aku daftar peta sariku di robots.txt?
- Ya, itu adalah cara standar untuk menunjuk setiap crawler di samemap-mu tanpa mengirimkannya ke masing-masing.