Generador Robots.txt
Crea archivos robots.txt para controlar cómo los motores de búsqueda rastrean tu sitio web.
Cómo Usar
Selecciona el user-agent
Elige para qué bots de búsqueda crear reglas, o usa '*' para todos los bots.
Añade reglas allow/disallow
Especifica qué rutas permitir o bloquear. Usa los botones rápidos para patrones comunes.
Añade el sitemap y descarga
Añade la URL de tu sitemap, luego descarga el archivo robots.txt para subirlo a tu servidor.
Características
Preguntas Frecuentes
Robots.txt es un archivo de texto colocado en el directorio raíz de tu sitio web que indica a los rastreadores qué páginas pueden o no pueden acceder.
El archivo robots.txt debe colocarse en el directorio raíz de tu sitio web. Por ejemplo, si tu dominio es example.com, el archivo debe ser accesible en example.com/robots.txt.
Crea un archivo robots.txt para controlar cómo los motores de búsqueda rastrean tu sitio web. Permite o bloquea bots específicos, protege directorios sensibles y optimiza tu presupuesto de rastreo fácilmente.
¿Sabías que?
¡El estándar robots.txt fue creado en 1994 y es uno de los estándares web más antiguos todavía en uso. Está basado en el Protocolo de Exclusión de Robots, un acuerdo voluntario entre webmasters y motores de búsqueda - no hay mecanismo de aplicación!
Consejos de experto
- robots.txt es una sugerencia, no una medida de seguridad - no lo uses para ocultar datos sensibles
- Usa 'User-agent: *' para aplicar reglas a todos los bots
- Siempre incluye la URL de tu sitemap en robots.txt
Casos de uso comunes
- Bloquear crawlers de áreas de administración
- Prevenir indexación de contenido duplicado
- Gestionar presupuesto de rastreo para sitios grandes
- Bloquear bots malos y scrapers
- Dirigir crawlers a tu sitemap
Mejores prácticas
- Prueba tu robots.txt con Google Search Console
- Coloca robots.txt en el directorio raíz de tu sitio
- Sé específico con las rutas para evitar bloquear accidentalmente contenido importante
Explorar Otras Categorías
Descubre más herramientas útiles de diferentes categorías
Contador de Palabras
Cuenta palabras, caracteres, oraciones y párrafos en tu texto al instante.
Formateador JSON
Formatea, valida y embellece tus datos JSON con resaltado de sintaxis.
Generador de Código QR
Crea códigos QR para URLs, texto y más. Descarga como PNG.
Calculadora de Porcentaje
Calcula porcentajes, cambio porcentual y porcentaje de números.