Quem lê o seu site antes do cliente: os robôs de IA e como deixar entrar os certos

Q: Quais robôs de IA visitam o meu site?

Os principais são o Googlebot (busca e AI Overviews do Google), o OAI-SearchBot e o GPTBot (OpenAI/ChatGPT), o Claude-SearchBot e o ClaudeBot (Anthropic/Claude) e o PerplexityBot (Perplexity). Cada empresa separa o robô que indexa para a busca do robô que coleta conteúdo para treinar modelos.

Q: Bloquear o Google-Extended tira o meu site do Google?

Não. O Google afirma que o Google-Extended não afeta a inclusão do site na Busca nem é sinal de classificação. Ele controla o uso do conteúdo para treinar o Gemini e para embasar respostas nos apps do Gemini e na Vertex AI.

Q: O Cloudflare pode estar bloqueando o Google no meu site?

Pode. A Cloudflare anunciou que, a partir de 15 de setembro de 2026, quem escolheu bloquear robôs de treino de IA passa a bloquear também robôs de uso misto, que combinam busca e treino, como Googlebot, Applebot e Bingbot. Vale conferir as configurações de tráfego de IA no painel.

Antes do seu cliente, alguém já visitou o seu site. Não foi uma pessoa. E, dependendo de uma linha de configuração, esse visitante nunca conseguiu entrar.

Quadro do reel: Ela leu tudo em segundos, sobre uma cidade de dados verde-lima. — Quadro do reel desta nota, publicado no Instagram da Vanguard.

Publicado: 28 set 2026
Por: Vanguard Web Studio
Fontes: 6 citadas
Leitura: 5 min

Resposta curta

Robôs do Google, da OpenAI (ChatGPT), da Anthropic (Claude) e da Perplexity visitam o seu site antes dos clientes. Cada empresa tem um robô que indexa para a busca e outro que coleta conteúdo para treinar modelos. Para ser indicado pela IA, libere os robôs de busca: Googlebot, OAI-SearchBot, Claude-SearchBot e PerplexityBot. Bloquear os de treino (GPTBot, ClaudeBot, Google-Extended) é escolha sua e não tira o site da busca.

Quem são os visitantes

Quando alguém pergunta ao ChatGPT ou ao Google qual profissional procurar, a resposta sai do que os robôs dessas empresas leram antes. Eles se identificam pelo nome (o user-agent) e obedecem ao arquivo robots.txt do seu site.

Empresa	Robô de busca (coloca você na resposta)	Robô de treino (alimenta o modelo)	A pedido do usuário
Google	`Googlebot`: Busca e AI Overviews	`Google-Extended`: treino e respostas do Gemini	—
OpenAI	`OAI-SearchBot`: busca do ChatGPT	`GPTBot`	`ChatGPT-User`
Anthropic	`Claude-SearchBot`: busca do Claude	`ClaudeBot`	`Claude-User`
Perplexity	`PerplexityBot`	não declara robô de treino	`Perplexity-User`

Os robôs "a pedido do usuário" entram quando alguém pede à IA para abrir uma página específica. A OpenAI e a Perplexity avisam que, nesse caso, as regras do robots.txt podem não ser aplicadas.^{1, 3} A Anthropic diz que os três robôs dela respeitam o arquivo.²

Bloquear o treino não tira você da busca

Esse é o ponto que mais gera confusão. As regras são independentes. Você pode dizer "não use meu texto para treinar modelos" e, ao mesmo tempo, "pode me mostrar nas respostas".

A OpenAI é direta: sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, exceto como link de navegação. Bloquear só o GPTBot não tem esse efeito.¹

No Google, o Google-Extended não afeta a inclusão do site na Busca nem a classificação.⁴ Para o AI Overview, o que vale é a página estar indexada pelo Googlebot e apta a aparecer na Busca com trecho.⁵ Um detalhe: bloquear o Google-Extended também impede o uso do conteúdo para embasar respostas nos apps do Gemini.

Se ela entende, indica você. Se não entende, indica outro. — Se o robô de busca não entra, ele não lê. Se não lê, a IA indica outro nome.

A armadilha do Cloudflare, desde 15 de setembro

Muitos sites de pequenas empresas passam pelo Cloudflare, e muitos donos clicaram em "bloquear robôs de IA" sem pensar muito. A Cloudflare anunciou que, a partir de 15 de setembro de 2026, quem escolheu bloquear robôs de treino passa a bloquear também os robôs de uso misto, que fazem busca e treino ao mesmo tempo. A empresa cita pelo nome o Googlebot, o Applebot e o Bingbot.⁶

Na prática: um botão pensado para proteger o conteúdo pode estar tirando o site do Google. Se o seu site usa Cloudflare, confira as configurações de tráfego de IA no painel e veja o que está bloqueado.

Uma configuração segura para começar

Este robots.txt libera todos os robôs, inclusive os de busca, e bloqueia só os de treino. Se você não se importa com o treino, basta manter as duas primeiras linhas.

# libera todos os robôs
# (inclusive os de busca)
User-agent: *
Allow: /

# opcional: bloquear treino
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://seusite.com.br/sitemap.xml

A OpenAI e a Perplexity informam que mudanças no arquivo podem levar cerca de 24 horas para valer nos sistemas delas.^{1, 3}

Deixar entrar é metade. A outra é ser entendido.

Com a porta aberta, o robô lê o código da página: texto real no HTML, títulos que respondem perguntas, dados estruturados, datas e fontes. Um site todo em imagem continua invisível mesmo com o robots.txt perfeito. Detalhamos esses pontos na nota Google Zero.

Como conferir o seu site em 5 minutos

Abra o seu robots.txt. Digite seusite.com.br/robots.txt no navegador. Procure Disallow: / abaixo de Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot ou User-agent: *. Qualquer um deles fecha a porta para a busca.
Olhe o painel do Cloudflare, se usar. Veja se há bloqueio de robôs de IA ou de treino ativado e se ele alcança robôs de uso misto.
Pergunte à IA sobre você. No ChatGPT e no Perplexity, pergunte o que o seu cliente perguntaria, com a sua cidade. Repita 3 vezes, porque a resposta varia. Anote se você aparece e quem aparece no seu lugar.
Leia o código-fonte. Clique com o botão direito na página e escolha "Exibir código-fonte". Procure a frase principal dos seus serviços. Se não estiver lá, o robô também não a encontra.

Perguntas frequentes

Quais robôs de IA visitam o meu site?

Os principais são o Googlebot (Busca e AI Overviews), o OAI-SearchBot e o GPTBot (ChatGPT), o Claude-SearchBot e o ClaudeBot (Claude) e o PerplexityBot (Perplexity). Cada empresa separa o robô de busca do robô de treino.

Se eu bloquear o GPTBot, saio do ChatGPT?

Não. O GPTBot coleta conteúdo para treino. Quem coloca o site nas respostas de busca do ChatGPT é o OAI-SearchBot. Bloquear o OAI-SearchBot, sim, tira o site dessas respostas.

Bloquear o Google-Extended tira o meu site do Google?

Não. O Google afirma que ele não afeta a inclusão na Busca nem a classificação. Ele controla o uso do conteúdo para treinar o Gemini e embasar as respostas dos apps do Gemini.

O Cloudflare pode estar bloqueando o Google no meu site?

Pode. Desde 15 de setembro de 2026, quem bloqueia robôs de treino no Cloudflare bloqueia também robôs de uso misto, como Googlebot, Applebot e Bingbot. Confira no painel.

Quem consegue entrar no seu site hoje? Conferimos o robots.txt, o Cloudflare e o que a IA entende das suas páginas, e mandamos o diagnóstico. Sem custo.

Pedir o diagnóstico pelo WhatsApp

Fontes

OpenAI. Overview of OpenAI Crawlers. Consultado em 28 set. 2026.
Anthropic. Does Anthropic crawl data from the web, and how can site owners block the crawler? Consultado em 28 set. 2026.
Perplexity. Perplexity Crawlers. Consultado em 28 set. 2026.
Google. Google's common crawlers (Google-Extended). Consultado em 28 set. 2026.
Google Search Central. AI features and your website.
Cloudflare, 1º jul. 2026. Your site, your rules: new AI traffic options for all customers.