Como você otimiza seu orçamento de rastreamento (Crawl Budget)? Você descobrirá algumas dicas para ajudar a tornar seu site o mais rastreável possível para o SEO.
Vamos lá!
O orçamento de rastreamento é um conceito vital de SEO que geralmente é esquecido.
Há tantas tarefas e questões que um especialista em SEO deve ter em mente que geralmente é colocado em segundo plano.
Em resumo, o orçamento de rastreamento pode e deve ser otimizado.
Neste artigo, você aprenderá:
- Como melhorar seu orçamento de rastreamento ao longo do caminho.
- Analise as alterações para rastrear o orçamento como um conceito nos últimos dois anos.
O que é Crawl Budget ou orçamento de rastreamento?
Portanto, para aqueles que tiveram tanto em que pensar / se preocupar / suar a ponto de esquecermos o que o orçamento de rastreamento significa, aqui está uma rápida recapitulação.
O orçamento do rastreamento é simplesmente a frequência com que os rastreadores do mecanismo de pesquisa (como spiders e bots) passam pelas páginas do seu domínio.
Essa frequência é conceituada como um equilíbrio provisório entre as tentativas do Googlebot de não sobrecarregar seu servidor e o desejo geral do Google de rastrear seu domínio.
A otimização do orçamento de rastreamento é apenas uma série de etapas que você pode executar especificamente para aumentar a taxa na qual os robôs dos mecanismos de pesquisa visitam suas páginas.
Quanto mais eles visitam, mais rápido ele entra no índice em que as páginas foram atualizadas.
Conseqüentemente, seus esforços de otimização levarão menos tempo para começar a afetar seus rankings.
Com essa redação, certamente parece a coisa mais importante que todos devemos fazer a cada segundo, certo?
Bem, não inteiramente.
Por que a otimização do orçamento de rastreamento é negligenciada?
Para responder a essa pergunta, basta dar uma olhada nesta postagem oficial do blog do Google.
Como o Google explica claramente, o rastreamento por si só não é um fator de classificação.
Portanto, basta isso para impedir que certos profissionais de SEO pensem no orçamento de rastreamento.
Para muitos de nós, “não é um fator de classificação” é equiparado a “não é meu problema”.
Não concordo com isso de todo o coração.
Mas mesmo esquecendo disso, existem os comentários de Gary Illyes, do Google. Ele declarou abertamente que, com certeza, para um site enorme de milhões e milhões de páginas, o gerenciamento do orçamento de rastreamento faz sentido.
Mas se você é um domínio de tamanho modesto, não precisa se preocupar muito com o orçamento de rastreamento. (E, de fato, acrescentou que, se você realmente possui milhões e milhões de páginas, considere cortar algum conteúdo, o que seria benéfico para o seu domínio em geral.)
Mas, como sabemos, o SEO não é um jogo de mudar um grande fator e obter os resultados.
O SEO é um processo de fazer pequenas mudanças incrementais, cuidando de dezenas de métricas.
Nosso trabalho, em grande medida, é garantir que milhares de pequenas coisas sejam o mais otimizadas possível.
Além disso, embora não seja um fator de rastreamento grande por si só, como do Google John Mueller respondeu a um usuário no Twitter , é bom para a conversão e para a saúde geral do site.
Com tudo isso dito, acho importante garantir que nada no seu site esteja afetando ativamente seu orçamento de rastreamento.
Como otimizar seu orçamento de rastreamento
Ainda existem coisas que são super pesadas e a importância de outras pessoas mudou drasticamente a ponto de não ser relevante.
Você ainda precisa prestar atenção ao que eu chamo de “suspeitos comuns” da saúde do site.
Permita o rastreamento de suas páginas importantes no Robots.Txt
Este é o primeiro e mais importante passo natural.
O gerenciamento do robots.txt pode ser feito manualmente ou usando uma ferramenta de auditoria do site.
Eu prefiro usar uma ferramenta sempre que possível. Esse é um dos casos em que uma ferramenta é simplesmente mais conveniente e eficaz.
Basta adicionar o seu robots.txt à ferramenta de sua escolha para permitir / bloquear o rastreamento de qualquer página do seu domínio em segundos. Então você simplesmente carrega um documento editado e pronto !
Obviamente, qualquer um pode fazê-lo manualmente. Mas, pela minha experiência pessoal, sei que em um site muito grande, onde calibrações frequentes podem ser necessárias, é muito mais fácil deixar uma ferramenta ajudá-lo.
Cuidado com as cadeias de redirecionamento
Essa é uma abordagem de senso comum à integridade do site.
Idealmente, você poderia evitar ter uma única cadeia de redirecionamento em todo o seu domínio.
Honestamente, é uma tarefa impossível para um site muito grande – os redirecionamentos 301 e 302 provavelmente aparecerão.
Mas muitos deles, encadeados, definitivamente prejudicam seu limite de rastreamento, a um ponto em que o rastreador do mecanismo de pesquisa pode simplesmente parar de rastrear sem chegar à página que você precisa indexar.
Um ou dois redirecionamentos aqui e ali podem não danificá-lo muito, mas é algo que todos precisam cuidar bem.
Use HTML sempre que possível
Agora, se estamos falando do Google, deve-se dizer que o rastreador ficou um pouco melhor no rastreamento do JavaScript em particular, mas também melhorou no rastreamento e na indexação do Flash e XML.
Por outro lado, outros mecanismos de busca ainda não chegaram lá.
Por isso, meu ponto de vista pessoal é, sempre que possível, que você deve se ater ao HTML.
Dessa forma, você não está prejudicando suas chances com nenhum rastreador, com certeza.
Não permita que erros de HTTP consumam seu orçamento de rastreamento
Tecnicamente, páginas 404 e 410 são inseridas no seu orçamento de rastreamento.
E se isso não bastasse, eles também prejudicam sua experiência de usuário!
É exatamente por isso que corrigir todos os códigos de status 4xx e 5xx é realmente uma situação em que todos saem ganhando.
Nesse caso, novamente, sou a favor do uso de uma ferramenta para auditoria de sites.
O SE Ranking e o Screaming Frog são duas ótimas ferramentas que os profissionais de SEO usam para fazer uma auditoria no site.
Cuide dos seus parâmetros de URL
Lembre-se de que URLs separados são contados pelos rastreadores como páginas separadas, desperdiçando um orçamento de rastreamento inestimável.
Mais uma vez, informar o Google sobre esses parâmetros de URL será uma situação em que todos saem ganhando, economize seu orçamento de rastreamento e evite levantar preocupações sobre o conteúdo duplicado.
Portanto, adicione-os à sua conta do Google Search Console.
Atualize seu sitemap
Mais uma vez, é realmente vantajoso para todas as partes cuidar do seu mapa do site XML.
Os bots terão um tempo de entendimento muito melhor e mais fácil para onde os links internos levam.
Use apenas os URLs canônicos para o seu sitemap.
Além disso, verifique se corresponde à versão mais recente do robots.txt carregada.
Tags Hreflang são vitais
Para analisar suas páginas localizadas, os rastreadores empregam tags hreflang. E você deve informar ao Google sobre versões localizadas de suas páginas o mais claramente possível.
Primeiro, use o cabeçalho da sua página. Onde “lang_code” é um código para um idioma suportado .
<link rel="alternate" hreflang="lang_code" href="url_da_pagina" />
E você deve usar o elemento <loc> para qualquer URL. Dessa forma, você pode apontar para as versões localizadas de uma página.
Portanto, se você estava se perguntando se a otimização do orçamento de rastreamento ainda é importante para o seu site, a resposta é claramente sim .
O orçamento de rastreamento é, foi e provavelmente será uma coisa importante a ser lembrada por todos os profissionais de SEO.
Felizmente, essas dicas ajudarão você a otimizar seu orçamento de rastreamento e melhorar seu desempenho de SEO.
Boa sorte!
