Qué robots de IA y de búsqueda entran en tu sitio y qué reciben
Los robots de IA y de búsqueda son los programas, como GPTBot, ClaudeBot, PerplexityBot y Googlebot, que leen las páginas para entrenar modelos, armar respuestas o indexarlas. Path Ranker pide tu página de inicio con la identidad de 18 robots, de ChatGPT, Claude y Perplexity a Googlebot y Bingbot, y compara cada respuesta con la de un navegador. Muestra quién entra, quién queda bloqueado, quién recibe una página distinta y qué dice el robots.txt a cada uno.
Cómo funciona
Pide la página como un navegador
Primero se lee la página de inicio como lo haría un navegador común. El tamaño y el título de esa respuesta sirven de referencia.
Repite con la identidad de cada robot
La misma página se pide 18 veces, cada una con el user-agent de un robot, cuatro a la vez. El robots.txt se lee con la regla de la coincidencia más larga, la misma que usa Google.
Compara y da el veredicto
Para cada robot: estado HTTP, tamaño, título y tiempo de respuesta. El veredicto es entra, bloqueado, contenido distinto o error, con el comando curl para repetirlo.
Qué comprueba
Los 18 robots
OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Google (Googlebot, Google-Extended), Bingbot, Applebot, meta-externalagent, Amazonbot, CCBot, Bytespider, GrokBot y DeepSeekBot.
Para qué sirve cada uno
8 son de entrenamiento, 7 de búsqueda y 3 de navegación a petición, cuando una persona pide al asistente que abra la página. Bloquear robots de entrenamiento aparece solo como información; bloquear los de búsqueda o de navegación a petición es un hallazgo de gravedad alta.
Bloqueo en el servidor
Una respuesta 401, 403, 429 o 503, o una página de desafío ("Just a moment", "Checking your browser", "Access denied"), cuenta como bloqueo. La corrección: permitir esos user-agents en el firewall o en la CDN.
Una página distinta
Si el robot recibe menos de la mitad del HTML que recibe el navegador, o un título distinto, el veredicto es contenido distinto. La corrección: servir el mismo HTML a todos.
Lo que dice el robots.txt
Para cada robot, si la raíz del sitio está permitida y qué línea decide (por ejemplo, "disallow: /"). Un robots.txt que bloquea asistentes de búsqueda se convierte en hallazgo, con la regla como evidencia.
La respuesta de cada uno
El informe trae una tabla con robot, empresa, finalidad, robots.txt, estado, tamaño en KB, tiempo de respuesta en ms y veredicto.
El comando para comprobarlo
Cada hallazgo viene con el comando para repetirlo, como curl -A "GPTBot" -o /dev/null -w "%{http_code}" seguido de la URL del sitio, y curl -s para leer el robots.txt.
Lo que no hace
- La prueba usa la identidad (user-agent) de cada robot, pero la petición sale del servidor de Path Ranker, no de las direcciones IP de esas empresas. Un firewall que comprueba la IP puede tratar al robot real de otra forma.
- Prueba la página de inicio, y el robots.txt se evalúa para la raíz del sitio. Una carpeta bloqueada más abajo no cambia el veredicto de esta tabla.
- Compara el HTML que recibe cada robot, sin ejecutar JavaScript.
- xAI y DeepSeek no publican una página oficial de su robot. Para GrokBot y DeepSeekBot, la prueba usa el nombre que aparece en las listas públicas de robots.txt, y el informe lo marca con un asterisco.
En qué planes
Starter, Pro y Enterprise, en el análisis completo o en el grupo "IA (GEO y AEO)". El plan Free no incluye la prueba de robots: el análisis gratuito lee solo la página de inicio para rendimiento, SEO técnico y datos estructurados.
Ver planesPreguntas frecuentes
- Es una decisión de la empresa, y el informe lo trata como información, no como error. Lo que se convierte en hallazgo grave es bloquear los robots de búsqueda y de navegación a petición, porque son los que leen la página cuando un asistente busca una respuesta.
- Porque el bloqueo vino del servidor, antes del robots.txt: un firewall, una CDN o una regla antirrobots respondió con 403, 429 o una página de desafío. La solución es permitir esos user-agents en las reglas de robots del firewall o de la CDN y volver a ejecutar el análisis.
- El robot recibió menos de la mitad del HTML del navegador, o una página con otro título. En la práctica, ese robot lee algo que no es tu página.
- En un terminal, ejecutar curl -A "GPTBot" -o /dev/null -w "%{http_code}" seguido de la URL del sitio, cambiando el nombre por el robot que se quiera. 200 indica que el servidor lo dejó entrar; 403 o 429, que lo bloqueó.
- No. Son 18 peticiones de la página de inicio, como las de cualquier visitante, y no se toca nada en el robots.txt ni en el servidor.
Otros recursos
Análisis en Bing
La empresa en Bing Maps y el sitio en las búsquedas de Bing, que también alimenta Copilot
Core Web Vitals
Usuarios reales de Chrome y Lighthouse en móvil y escritorio, lado a lado
Datos estructurados
schema.org en JSON-LD, microdata y RDFa comprobado contra el vocabulario oficial
E-E-A-T y confianza
28 señales de experiencia, especialización, autoridad y confianza, con la página de origen
Metas de SEO y de IA
Diez ajustes que suelen traer clientes, cada uno con el número, la meta y la situación
Monitoreo y alertas
Análisis programados, aviso de empeoramiento, caídas y certificado o dominio por caducar
Investigar palabras clave
Ideas de búsqueda con volumen, dificultad, coste por clic e intención, listas para seguir
Perfil en Google
Nota de 0 a 100, competencia local, geogrid y aviso cuando cambia un dato del perfil
Posiciones en Google
En qué posición aparece el sitio en Google para las palabras que importan, y cómo cambia
Privacidad y seguridad
RGPD y LGPD, consentimiento, cabeceras, certificado, DNS y credenciales expuestas
Preparación para IA
GEO, AEO, citabilidad por página, recorrido de agente y citas en IA
Informes
PDF, enlace con PIN, marca propia y el informe de la empresa, en 3 idiomas
Search Console y GA4
Clics, indexación y sesiones de Google en el informe, con las visitas que llegan de la IA
SEO semántico
Temas, páginas pilar, entidades y fragmentos que se entienden solos
SEO técnico
Rastreo, códigos de estado, canonical, robots.txt, sitemap, hreflang y JavaScript
Qué robots entran en tu sitio
Un análisis muestra, robot por robot, lo que recibe cada uno, la regla del robots.txt que se aplica y el comando para comprobarlo.
Probar gratis