Een robots.txt-bestand aanmaken
Genereer een clean robots.txt bestand met sitemap en kruipregels.
Hoe gebruikt u dit middel? Robots.txt Generator
Kies het gebruiksvenster
Gebruik * voor elke rups, of noem een specifieke wanneer een regel alleen van toepassing is op het.
Uw toegangspaden instellen en paden niet toestaan
Lijst de paden kruipers moeten overslaan, zoals admin of interne zoekpagina's, en eventuele uitzonderingen om toe te staan.
Uw sitemap toevoegen en kopiëren
Voer uw sitemap URL in, kopieer het bestand en sla het op als robots.txt aan de root van uw domein.
Over de Robots.txt Generator
robots.txt is het eerste bestand waar een crawler om vraagt en een van de makkelijkste om catastrofaal fout te krijgen. Het zit aan de wortel van uw domein en vertelt crawlers welke paden ze kunnen vragen. Een verdwaalde slash in een niet-toegestaan regel kan een hele site verbergen van zoekopdracht, en omdat niets zichtbaar breekt, die fout overleeft vaak maanden voordat iemand het verbindt met het verkeer dat nooit is aangekomen.
De syntaxis is klein maar onvergeeflijk: regels worden geëvenaard door voorvoegsel, orde en specificiteit interactie, en een blanco of misvormd bestand wordt heel anders behandeld dan een permissieve. Deze tool bouwt een geldig bestand uit de delen die je eigenlijk geeft over . . Welke rups een regel van toepassing is op, wat toe te staan, wat te weigeren, en waar uw sitemap leeft.
Een ding dat de moeite waard is om duidelijk te zijn over: robots.txt controleert kruipen, niet indexeren of toegang. Een niet-toegestaan URL kan nog steeds verschijnen in resultaten als andere sites link naar het, en het bestand is openbaar, dus het lijsten van een geheim pad adverteert het. Alles echt private heeft authenticatie of een noindex tag, niet een regel in dit bestand. Gebruik het om te houden kruipers weg van admin paden, zoekresultaten pagina's en dupliceer parameter URL's, en om ze te wijzen op uw sitemap.
Veelgestelde vragen
- Waar moet ik het robots.txt bestand plaatsen?
- Aan de wortel van uw domein, dus het is bereikbaar op yoursite.com/robots.txt. Crawlers nergens anders kijken.
- Stopt robots.txt een pagina die geïndexeerd wordt?
- Nee. Het stopt met kruipen, maar een geblokkeerde URL kan nog steeds worden vermeld als andere sites er naar verwijzen. Gebruik een noindex-tag om een pagina uit de index te houden.
- Moet ik mijn sitemap in robots.txt opnoemen?
- Ja. Het is de standaard manier om elke crawler te wijzen op uw sitemap zonder het te verzenden aan elk afzonderlijk.