Herramienta gratuita
Generador de robots.txt
Decida qué crawlers pueden leer su sitio: buscadores, crawlers de entrenamiento de IA, búsqueda con IA y asistentes que consultan páginas en nombre de un usuario. El archivo se genera en su navegador; no se nos envía nada.
En resumen
El robots.txt es una petición, no una cerradura. Los grandes buscadores y proveedores de IA publican los nombres de sus crawlers y declaran que respetan el archivo; los scrapers y bots de spam no están obligados a ello. Úselo para indicar a los crawlers respetuosos qué pueden leer y compruebe todo lo demás en el servidor.
Punto de partida
¿Qué crawlers deben quedarse fuera?
Los crawlers marcados reciben Disallow: /. Todos los demás siguen las reglas para todos los crawlers, incluidas las rutas de más abajo.
Cada línea empieza por /, por ejemplo /admin/ o /carrito/. Un * representa cualquier secuencia de caracteres.
La dirección completa de su sitemap XML, empezando por https://.
Cómo publicar el archivo
- 1Elija arriba los crawlers y las rutas y copie el resultado.
- 2Guárdelo como archivo de texto plano con el nombre robots.txt (UTF-8).
- 3Súbalo a la raíz de su dominio para que se abra en https://su-dominio/robots.txt. Cada subdominio necesita su propio archivo.
- 4Abra esa dirección en el navegador y compruebe que aparece exactamente este texto. Si su alojamiento o su CDN añade reglas propias, también las verá ahí.
Lo que el robots.txt no puede hacer
- No protege nada. Cualquiera puede seguir abriendo una ruta bloqueada, y el archivo es público: incluso enumera las rutas que usted preferiría ocultar.
- No detiene a los bots que lo ignoran, y precisamente de ellos procede el spam en formularios y los registros automatizados.
- Una página bloqueada puede aparecer igualmente en los resultados de búsqueda si otros sitios enlazan a ella. Para mantener una página fuera del índice, permita el rastreo y use noindex.
Preguntas frecuentes
¿Bloquea el robots.txt a los bots?
No. Es una petición que siguen los crawlers respetuosos. Los scrapers, los bots de spam y muchas herramientas automatizadas lo ignoran. Para detenerlos hace falta una comprobación en el servidor, por ejemplo límites de frecuencia o protección contra bots en sus formularios.
Si bloqueo GPTBot, ¿desaparece mi sitio de ChatGPT?
No necesariamente. OpenAI usa nombres distintos: GPTBot para el entrenamiento, OAI-SearchBot para la búsqueda en ChatGPT y ChatGPT-User cuando un usuario pregunta por una página. Bloquear uno deja intactos los demás. Anthropic y Perplexity también usan nombres distintos para estos fines.
¿Afecta el bloqueo de Google-Extended a mi posicionamiento en Google?
Según Google, no. Google-Extended solo controla si el contenido rastreado por Googlebot puede usarse para los modelos Gemini. El rastreo y la clasificación en la Búsqueda de Google no cambian.
¿Dónde debe estar el archivo?
En la raíz del host, en /robots.txt; por ejemplo, https://example.com/robots.txt. Un archivo en una subcarpeta se ignora, y cada subdominio necesita el suyo.
¿Qué es la línea Content-Signal?
Una propuesta publicada en contentsignals.org para indicar cómo puede usarse el contenido una vez rastreado: para resultados de búsqueda, como entrada para respuestas de IA o para el entrenamiento de IA. Expresa su deseo; si un crawler lo respeta depende de su operador.
¿Se envían mis datos a algún sitio?
No. El generador funciona por completo en su navegador. Nada de lo que introduzca se transmite ni se guarda.
Cuando los bots ignoran su robots.txt
SilentShield evalúa en el servidor los envíos de sus formularios según el comportamiento que los precedió, por defecto sin ninguna tarea para sus visitantes.