Generar un archivo robots.txt
Genera un archivo robots.txt limpio con mapa de sitio y reglas de arrastrar.
Cómo utilizar el Robots.txt Generator
Elija el agente de usuario
Use * para cada gateer, o nombre uno específico cuando una regla sólo debe aplicar a ella.
Establecer sus caminos permitidos y desagüe
Listar los caminos que los rastreadores deben saltar, como admin o páginas de búsqueda interna, y cualquier excepción que permita.
Agregue su mapa de sitio y copia
Introduzca su URL de mapa de sitio, luego copiar el archivo y guardarlo como robots.txt en la raíz de su dominio.
Sobre el Robots.txt Generator
robots.txt es el primer archivo que un rastreador pide y uno de los más fáciles de equivocarse catastróficamente. Se sienta en la raíz de su dominio y le dice a los rastreadores qué caminos pueden solicitar. Un barranco de calle en una regla desleal puede ocultar un sitio entero de búsqueda, y porque nada rompe visiblemente, ese error a menudo sobrevive durante meses antes de que alguien lo conecte al tráfico que nunca llegó.
La sintaxis es pequeña pero imperdonable: las reglas son igualadas por prefijo, orden y especificidad interactúan, y un archivo en blanco o malformado se trata muy diferente de un permisivo. Esta herramienta construye un archivo válido de las partes que realmente te importa — a las que arrastrar una regla aplica, a lo que permitir, qué desahuir, y dónde vive tu mapa de sitio.
Una cosa vale la pena ser clara acerca de: robots.txt controla la arrastración, no indexación o acceso. Una URL no aceptada todavía puede aparecer en los resultados si otros sitios se unen a ella, y el archivo es público, por lo que enumerar una ruta secreta lo anuncia. Cualquier cosa genuinamente privada necesita autenticación o un no índice, no una línea en este archivo.
Preguntas frecuentes
- ¿Dónde pongo el archivo robots.txt?
- En la raíz de su dominio, por lo que es accesible en susite.com/robots.txt. Los Crawlers no miran en ningún otro lugar.
- ¿Los robots.txt detienen que una página sea indexada?
- No. Se detiene arrastrando, pero una URL bloqueada todavía puede ser listado si otros sitios se vinculan con ella. Utilice una etiqueta noindex para mantener una página fuera del índice.
- ¿Debería enumerar mi mapa de sitio en robots.txt?
- Sí. Es la forma estándar de señalar cada rastreador en su mapa de sitio sin enviarlo a cada uno individualmente.