¿Estás bloqueando sin querer a los rastreadores de IA? Cómo revisar tu robots.txt

Sí, puede que lo estés haciendo. Muchas webs bloquean a los rastreadores de los asistentes de IA sin haberlo decidido: una regla heredada de una plantilla, un plugin de seguridad o un ajuste del proveedor de alojamiento. Si un buscador de IA no puede leer tu página, no hay contenido que trabajar: es lo primero que revisamos en cualquier proyecto de GEO, y se comprueba en una tarde.

¿Por qué un bloqueo en robots.txt puede dejarte fuera de las respuestas de IA?

El archivo robots.txt indica a los rastreadores qué partes de tu web pueden visitar. Los asistentes de IA con búsqueda necesitan leer páginas para poder usarlas como fuente. Si les has dicho que no, tu contenido queda fuera de juego antes de que nadie valore si es bueno.

Ojo con el matiz: dejar entrar a un rastreador no implica que te citen. Es una condición necesaria, no una garantía. Lo que decide después es la calidad, la claridad y la exactitud de lo que has publicado, y eso no lo controla ningún archivo técnico.

En el caso de Google, su documentación sobre las funciones de IA en Search indica que, para que una página pueda aparecer como enlace de apoyo en los resúmenes de IA, tiene que estar indexada y poder mostrarse con fragmento (snippet) en los resultados. No pide requisitos técnicos adicionales. Puedes verlo en la documentación oficial de Google. Si tu web ya funciona bien para el SEO tradicional, esa base la tienes cubierta.

¿Qué rastreadores conviene distinguir?

No todos los bots de IA hacen lo mismo. Algunos recogen contenido para entrenar modelos; otros lo leen para responder a una consulta concreta. Mezclarlos lleva a bloquear de más o de menos. OpenAI, por ejemplo, separa sus rastreadores y explica que se controlan de forma independiente en robots.txt, según su documentación de bots:

• OAI-SearchBot: se usa para mostrar sitios web en los resultados de búsqueda de ChatGPT. Si lo bloqueas, estás quitando tu web de esa búsqueda.
• GPTBot: se asocia al entrenamiento de modelos de OpenAI. Bloquearlo es una decisión sobre el uso de tu contenido para entrenar, distinta de la anterior.
• ChatGPT-User: actúa cuando un usuario pide al asistente que visite una página concreta.
• Googlebot y Google-Extended: Googlebot es el rastreador de Search. Google-Extended es una señal de robots.txt para el uso de contenido en sus modelos de IA generativa. Según la documentación de rastreadores de Google, no afecta a tu inclusión en Search.
• PerplexityBot: el rastreador de Perplexity, que publica su propia documentación. Conviene mirarla antes de decidir.

Los nombres y funciones de estos bots cambian con el tiempo. Revisa siempre la documentación de cada proveedor en el momento de tocar el archivo, no una lista de hace meses.

¿Cómo reviso mi web paso a paso?

1. Abre tu robots.txt escribiendo tudominio.com/robots.txt en el navegador. Busca reglas como «Disallow: /» bajo un user-agent concreto o bajo «*».
2. Anota qué bots están bloqueados y quién lo puso. Si no lo sabe nadie en tu equipo, pregunta a quien gestiona la web o el alojamiento.
3. Revisa otras capas: algunos servicios de seguridad, CDN o plugins bloquean bots automatizados fuera del robots.txt. Un archivo correcto no garantiza que el rastreador llegue a la página.
4. Comprueba la etiqueta noindex y los límites de fragmento en las páginas importantes. Si una página no se indexa o no admite snippet, Google no la considera para sus funciones de IA.
5. Decide por tipo de contenido (ver siguiente apartado) y deja la regla escrita, con fecha y motivo.
6. Vuelve a mirar pasado un tiempo: los cambios en robots.txt no se reflejan al instante en los rastreadores.

¿Debo dejar entrar a todos los bots de IA?

No necesariamente, y es una decisión de negocio, no técnica. Hay dos preguntas distintas que se suelen mezclar:

• ¿Quiero que mi contenido pueda servir de fuente cuando alguien pregunta por mi sector? Si tu negocio vive de que te encuentren (servicios, consultas, productos), suele interesar dejar entrar a los rastreadores de búsqueda.
• ¿Quiero que se use para entrenar modelos? Es una cuestión de propiedad del contenido. Hay empresas que prefieren excluirlo, y es legítimo.

También puedes ser selectivo: abrir el blog y las fichas de servicio y cerrar áreas privadas, listados duplicados o contenido de pago. Lo que no conviene es bloquear todo por defecto sin saber qué se pierde.

¿Y después del robots.txt, qué?

Con el acceso resuelto empieza el trabajo de verdad. En Altoclick revisamos si tus páginas responden con claridad a las preguntas reales de tus clientes, si los datos (precios, ubicación, condiciones, servicios) son exactos y están actualizados, y qué fuentes externas hablan de ti. Después medimos qué dicen los asistentes de tu empresa: registramos menciones, citas, exactitud y fuentes, con fecha y motor, para poder comparar en el tiempo sin fiarnos de una captura suelta. No prometemos aparecer en ninguna respuesta: trabajamos sobre lo que sí depende de ti, que es contenido útil y bien sostenido.

Si quieres ver cómo encaja con el resto de tu presencia online, tienes más contexto en nuestra página de visibilidad online y en el servicio de GEO. Y si prefieres empezar por un diagnóstico, puedes pedir la auditoría GEO gratuita: incluimos la revisión de acceso de rastreadores y te decimos qué conviene cambiar y qué no.