Crawl budget: o que é, quando importa e como otimizar o rastreamento

Crawl budget é o conjunto de URLs que o Google pode e quer rastrear num site, definido pela capacidade do servidor e pelo interesse do Google nas páginas. O tema pesa em sites com dezenas de milhares de páginas ou com conteúdo que muda todo dia, e a otimização começa pela redução de URLs sem valor.

Principais pontos do artigo

• O Google indica o guia de crawl budget para sites com mais de 1 milhão de páginas que mudam toda semana ou mais de 10 mil que mudam todo dia.
• Arquivos de CSS, JavaScript, chamadas XHR e versões alternativas como hreflang contam no rastreamento, porque cada uma é uma URL pedida.
• Noindex não economiza rastreamento, porque o Google pede a página e só depois a descarta.
• Rastreamento não é fator de ranqueamento, segundo o Google; rastrear mais não sobe a posição.
• O relatório de estatísticas de rastreamento do Search Console e os logs do servidor mostram onde o tempo do Googlebot é gasto.

O que é crawl budget

O guia do Google sobre crawl budget, atualizado em 22/07/2026, define o termo como o conjunto de URLs que o Google pode e quer rastrear num site. O orçamento é contado por hostname, então blog.exemplo.com.br e www.exemplo.com.br têm orçamentos separados.

O rastreamento é a primeira etapa da busca, antes da indexação e da exibição dos resultados. Página que não é rastreada não chega ao índice, e página rastreada com atraso aparece no Google numa versão antiga. É aí que o crawl budget entra no SEO técnico, a frente que cuida de como os buscadores encontram e leem o site.

Como o crawl budget funciona

O guia do Google descreve duas forças que, somadas, definem quanto o site é rastreado.

Força	O que é	O que aumenta ou reduz
Limite de capacidade (hostload)	quanto tempo os rastreadores podem manter conexões abertas sem sobrecarregar o servidor	tempo de resposta estável aumenta; lentidão, erros 5xx e respostas 429 reduzem
Demanda de rastreamento	quanto o Google quer rastrear	inventário de URLs conhecidas, popularidade das páginas e necessidade de atualizar versões antigas

Três detalhes do guia mudam a leitura do problema. O inventário de URLs é o fator que o dono do site mais controla, e nele entram duplicadas e endereços que ninguém quer no Google. O limite de capacidade é dividido entre todos os rastreadores do Google. Por fim, mesmo com capacidade sobrando, demanda baixa resulta em pouco rastreamento.

A página de mitos sobre rastreamento, atualizada em 18/12/2025, acrescenta que toda URL rastreada conta no orçamento: versões alternativas, como as páginas ligadas por hreflang, e os recursos que a página carrega, como CSS, JavaScript e chamadas XHR. A documentação do Googlebot, atualizada em 03/02/2026, confirma que cada recurso citado no HTML é buscado à parte. Quem depende de muitos arquivos para renderizar o conteúdo paga essa conta, assunto do guia de JavaScript SEO.

Quando o crawl budget importa para o negócio

O Google publica três situações em que o tema pesa, como estimativa e sem tratá-las como limites exatos:

• sites com mais de 1 milhão de páginas únicas e conteúdo que muda cerca de uma vez por semana;
• sites com mais de 10 mil páginas únicas e conteúdo que muda todo dia;
• sites com muitas URLs marcadas como “Descoberta, mas não indexada” no Search Console.

Para quem está fora delas, o próprio guia considera suficiente manter o sitemap atualizado e acompanhar o relatório de indexação de páginas.

Num exemplo ilustrativo, uma loja virtual com 2 mil produtos oferece filtros de cor, tamanho, preço e ordenação. Cada combinação gera um endereço, e o inventário que o Google enxerga passa de centenas de milhares de URLs. Enquanto o rastreador se ocupa das combinações de filtro, produtos novos e preços alterados demoram a aparecer na busca.

Site pequeno também dá sinais que merecem atenção. Em diagnósticos técnicos de sites institucionais, é comum encontrar URLs que o Googlebot não visita há meses e uma diferença grande entre o número de URLs que o Bing e o Google registram do mesmo site. Num site desse porte, URL esquecida pelo rastreador costuma indicar problema de inventário ou de link interno, já que o volume de páginas fica bem abaixo das faixas do guia do Google.

Como otimizar o crawl budget

As correções seguem as boas práticas do guia do Google, na ordem em que costumam ser aplicadas.

1. Reduza o inventário: consolide páginas duplicadas com redirecionamento ou canonical e bloqueie no robots.txt URLs sem valor para a busca, como filtros e ordenações.

2. Devolva 404 ou 410 para páginas removidas: o Google trata o 404 como sinal forte para parar de pedir a URL.

3. Elimine soft 404: páginas vazias que respondem 200 continuam sendo rastreadas.

4. Mantenha o sitemap.xml atualizado: inclua só o que deve ser rastreado e use a data de atualização (lastmod) nas páginas alteradas.

5. Encurte cadeias de redirecionamento: cada salto é mais um pedido.

6. Acelere a resposta do servidor: responda com 304 quando a página não mudou, para o Google reaproveitar a cópia guardada.

7. Revise os links internos: página importante sem link interno perde demanda.

O guia faz dois alertas. O primeiro é que noindex não serve para controlar rastreamento, já que o Google pede a página antes de descartá-la. O segundo é que bloquear URLs no robots.txt não transfere o orçamento para outras páginas, a menos que o site já esteja no limite de capacidade.

Como medir o crawl budget

O relatório de estatísticas de rastreamento do Search Console fica nas configurações da propriedade e só existe em propriedades de nível raiz. Ele mostra total de solicitações, tamanho total do download, tempo médio de resposta e status do host, com divisões por código de resposta, tipo de arquivo, finalidade (descoberta ou atualização) e tipo de Googlebot.

A leitura se completa com o relatório de indexação de páginas. “Descoberta, mas não indexada” significa que o Google conhece a URL e ainda não a rastreou, em geral porque esperava sobrecarregar o site.

Os logs do servidor acrescentam a data do último pedido do Googlebot a cada URL, que revela quais endereços estão sem rastreio há meses.

Métrica	Onde ver	O que indica
Tempo médio de resposta	estatísticas de rastreamento	saúde do servidor e limite de capacidade
Pedidos por finalidade	estatísticas de rastreamento	quanto do rastreamento descobre páginas novas
URLs “Descoberta, mas não indexada”	indexação de páginas	demanda maior do que o rastreamento entregue
Dias desde o último rastreamento das páginas importantes	logs do servidor	páginas que o Google deixou de visitar

Recomendo conferir uma vez por mês o relatório de estatísticas de rastreamento e o de indexação de páginas, com a meta de que as páginas importantes (serviço, pilar e produto) tenham sido rastreadas nos últimos 30 dias. A análise de logs entra a cada mudança estrutural, como migração, poda de URLs ou alteração de filtros, e vira rotina mensal nos sites que estão nas faixas do guia do Google.

Mitos e erros comuns sobre crawl budget

A página de mitos do Google trata das dúvidas mais repetidas:

• Sitemap compactado aumenta o orçamento: falso; o Google ainda precisa buscar o arquivo.
• Site pequeno é rastreado com menos frequência: falso; conteúdo importante que muda com frequência é rastreado com frequência, em qualquer porte.
• Velocidade e erros afetam o orçamento: verdadeiro; muitos erros 5xx ou tempos esgotados reduzem o rastreamento.
• Rastreamento é fator de ranqueamento: falso; ser rastreado é condição para aparecer, e rastrear mais não melhora posição.
• A regra crawl-delay controla o Google: falso; os rastreadores do Google não processam essa regra.
• Nofollow economiza orçamento: em parte; a URL marcada ainda é rastreada se outra página apontar para ela sem nofollow.

Quanto esforço o crawl budget exige

Para a maioria dos sites institucionais, o esforço é baixo: sitemap atualizado, conferência mensal do relatório de indexação e correção de URLs duplicadas. Em loja virtual, portal de notícias e site com filtros, o trabalho inclui análise de logs, mudanças no código de navegação e acompanhamento contínuo, com horas de desenvolvimento a cada ciclo. A análise segue sempre as mesmas etapas: leitura dos relatórios do Search Console, extração dos logs do servidor, cruzamento com o sitemap e com a lista de páginas importantes, priorização das correções e nova leitura depois de aplicadas. O tempo de cada ciclo varia com o volume de URLs, a quantidade de filtros e parâmetros, o acesso aos logs do servidor e a necessidade de mudança no código, e a estimativa para cada site sai no orçamento a partir desse levantamento.

O que a experiência da Studio Visual mostra

Nas reestruturações que conduzo, o plano começa pelo inventário e prevê a poda das páginas sem ligação com o serviço: as URLs que têm backlink dofollow são redirecionadas uma a uma, as sem backlink e sem cluster são tratadas em lote, e as de cada cluster saem junto com a publicação do pilar correspondente. Reduzir o número de endereços que o Google conhece é, aliás, a primeira boa prática do guia de crawl budget.

Opinião

Para mim, a correção de rastreamento com mais retorno por esforço é a de link interno, feita por regra e com automação quando o volume justifica. Página importante sem link interno perde demanda de rastreamento, e a correção uma a uma não acompanha o ritmo de publicação. Na Minha Biblioteca, plataforma de livros digitais para ensino, a auditoria encontrou 909 páginas com um único link interno de entrada, e a solução validada em homologação foi linkagem automatizada por plugin, com palavras-chave importadas por CSV. Em seguida vem o redirecionamento: a cadeia de vários saltos vira um único 301 para o destino final, com pouco trabalho e menos pedidos desperdiçados.

Próximo passo

Se você quer saber se o rastreamento limita o seu site e o que corrigir primeiro, a página do serviço de SEO técnico mostra como a Studio Visual faz o diagnóstico com Search Console e logs.