Veja se os robôs de IA e de busca entram no seu site e o que recebem
Robôs de IA e de busca são os programas, como GPTBot, ClaudeBot, PerplexityBot e Googlebot, que leem as páginas para treinar modelos, montar respostas ou indexar. O Path Ranker pede a sua página inicial com a identidade de 18 robôs, do ChatGPT, do Claude e do Perplexity ao Googlebot e ao Bingbot, e compara cada resposta com a de um navegador. Mostra quem entra, quem é bloqueado, quem recebe uma página diferente e o que o robots.txt diz para cada um.
Como funciona
Busca a página como um navegador
A página inicial é lida primeiro como um navegador comum. O tamanho e o título dessa resposta viram a referência.
Repete com a identidade de cada robô
A mesma página é pedida 18 vezes, cada uma com o user-agent de um robô, quatro por vez. O robots.txt é lido com a regra de correspondência mais longa, a mesma que o Google usa.
Compara e dá o veredito
Para cada robô: status HTTP, tamanho, título e tempo de resposta. O veredito é entra, bloqueado, conteúdo diferente ou erro, com o comando curl para repetir.
O que é verificado
Os 18 robôs
OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Google (Googlebot, Google-Extended), Bingbot, Applebot, meta-externalagent, Amazonbot, CCBot, Bytespider, GrokBot e DeepSeekBot.
Para que serve cada um
8 são de treino, 7 de busca e 3 de navegação a pedido, quando uma pessoa pede ao assistente que abra a página. Bloquear robôs de treino aparece só como informação; bloquear os de busca ou de navegação a pedido é achado de gravidade alta.
Bloqueio no servidor
Respostas 401, 403, 429 ou 503, ou uma página de desafio ("Just a moment", "Checking your browser", "Access denied"), contam como bloqueio. A correção é liberar esses user-agents no firewall ou na CDN.
Página diferente
Se o robô recebe menos da metade do HTML que o navegador recebe, ou um título diferente, o veredito é conteúdo diferente. A correção é servir o mesmo HTML a todos.
O que o robots.txt diz
Para cada robô, se a raiz do site está liberada e qual linha decide (por exemplo, "disallow: /"). Um robots.txt que bloqueia assistentes de busca vira achado, com a regra como evidência.
A resposta de cada um
O relatório traz uma tabela com robô, empresa, finalidade, robots.txt, status, tamanho em KB, tempo de resposta em ms e veredito.
O comando para conferir
Cada achado vem com o comando para repetir, como curl -A "GPTBot" -o /dev/null -w "%{http_code}" seguido da URL do site, e curl -s para ler o robots.txt.
O que ele não faz
- O teste usa a identidade (user-agent) de cada robô, mas o pedido sai do servidor do Path Ranker, não dos endereços IP das empresas. Um firewall que confere o IP pode tratar o robô de verdade de outro jeito.
- Testa a página inicial, e o robots.txt é avaliado para a raiz do site. Uma pasta bloqueada mais abaixo não muda o veredito desta tabela.
- Compara o HTML que cada robô recebe, sem executar JavaScript.
- xAI e DeepSeek não publicam uma página oficial do robô. Para GrokBot e DeepSeekBot, o teste usa o nome que aparece nas listas públicas de robots.txt, e o relatório marca isso com um asterisco.
Em quais planos
Starter, Pro e Enterprise, na análise completa ou no grupo "IA (GEO e AEO)". O plano Free não inclui o teste dos robôs: a análise gratuita lê só a página inicial para performance, SEO técnico e dados estruturados.
Ver planosPerguntas frequentes
- É uma decisão da empresa, e o relatório trata como informação, não como erro. O que vira achado grave é bloquear os robôs de busca e de navegação a pedido, porque são eles que leem a página quando um assistente procura uma resposta.
- Porque o bloqueio veio do servidor, antes do robots.txt: um firewall, uma CDN ou uma regra contra robôs respondeu 403, 429 ou uma página de desafio. Libere esses user-agents nas regras de robôs do firewall ou da CDN e rode a análise de novo.
- O robô recebeu menos da metade do HTML do navegador, ou uma página com outro título. Na prática, esse robô lê outra coisa que não a sua página.
- No terminal, rode curl -A "GPTBot" -o /dev/null -w "%{http_code}" seguido da URL do seu site, trocando o nome pelo robô que quiser. 200 indica que o servidor deixou entrar; 403 ou 429, que bloqueou.
- Não. São 18 pedidos da página inicial, como os de qualquer visitante, e nada é alterado no robots.txt nem no servidor.
Outros recursos
Análise no Bing
A empresa no Bing Maps e o site nas buscas do Bing, que também abastece o Copilot
Core Web Vitals
Usuários reais do Chrome e Lighthouse no celular e no computador, lado a lado
Dados estruturados
schema.org em JSON-LD, microdata e RDFa conferido contra o vocabulário oficial
E-E-A-T e confiança
28 sinais de experiência, especialidade, autoridade e confiança, com a página de origem
Metas de SEO e IA
Dez ajustes que costumam trazer clientes, cada um com o número, a meta e a situação
Monitoramento e alertas
Análises agendadas, aviso de piora, site fora do ar e certificado ou domínio vencendo
Pesquisa de palavras-chave
Ideias de busca com volume, dificuldade, custo por clique e intenção, para acompanhar
Perfil no Google
Nota de 0 a 100, concorrência local, geogrid e aviso quando um dado do perfil muda
Posições no Google
Em que posição o site aparece no Google para as palavras que importam, e como isso muda
Privacidade e segurança
LGPD e GDPR, consentimento, cabeçalhos, certificado, DNS e credenciais expostas
Prontidão para IA
GEO, AEO, citabilidade por página, jornada de agente e citações em IA
Relatórios
PDF, link com PIN, marca própria e o relatório da empresa, em 3 idiomas
Search Console e GA4
Cliques, indexação e sessões do Google no relatório, incluindo as visitas vindas de IA
SEO semântico
Assuntos, páginas-pilar, entidades e trechos que se entendem sozinhos
SEO técnico
Rastreio, status, canonical, robots.txt, sitemap, hreflang e renderização em JavaScript
Descubra quais robôs entram no seu site
Rode uma análise e veja, robô por robô, o que cada um recebe, a regra do robots.txt que se aplica e o comando para conferir.
Testar grátis