O Bing anunciou uma ferramenta de teste Robots.txt a qual está disponível em sua plataforma “Bing Webmaster Tools”.
A ferramenta atende a uma necessidade importante porque obter um arquivo robots.txt errado pode resultar em resultados de SEO inesperados. Produzir um arquivo robots.txt perfeito é essencial e uma prioridade para o SEO.
Um arquivo robots.txt é um arquivo que informa aos rastreadores do mecanismo de pesquisa o que fazer e o que não fazer em um site. Um arquivo robots.txt é uma das poucas maneiras pelas quais um editor pode exercer controle sobre os mecanismos de pesquisa.
Mesmo que você não precise bloquear um rastreador de pesquisa, ainda é importante ter um para não gerar uma notação de log de erro 404 desnecessária.
Erros em um arquivo Robots.txt podem fazer com que os mecanismos de pesquisa rastreiem páginas que não deveriam estar indexando.
Entradas indesejadas em um arquivo robots.txt também podem resultar na não classificação das páginas da web porque foram bloqueadas acidentalmente.
Erros em um arquivo robots.txt são uma fonte comum de problemas de classificação de pesquisa. É por isso que é tão importante que a ferramenta de teste de robots.txt aprimorada do Bing.
Seja proativo com testes e diagnósticos do Robots.txt
Os administradores de sites agora podem ser proativos na revisão e teste de seus arquivos Robots.txt.
Testar para ver como um rastreador de pesquisa responde a um robots.txt e diagnosticar possíveis problemas são recursos importantes que podem ajudar o SEO de um editor.
Essa ferramenta também pode ser útil para consultores de auditoria de pesquisa para ajudá-los a identificar possíveis problemas que precisam ser corrigidos.
A nova ferramenta do Bing atende a uma necessidade importante, conforme descrito pelo Bing:
“Embora o protocolo de exclusão de robôs forneça o poder de informar robôs e rastreadores da web quais seções de um site não devem ser processadas ou verificadas, o número crescente de mecanismos de pesquisa e parâmetros forçaram os webmasters a pesquisar seu arquivo robots.txt entre milhões de pastas em seus servidores de hospedagem, editando-os sem orientação e, finalmente, coçando a cabeça, pois o problema daquele rastreador indesejado ainda persiste. ”
Estas são as ações que a ferramenta Bing robots.txt executa para fornecer informações acionáveis:
- Analise o robots.txt
- Identifique os problemas
- Orienta os editores durante o processo de busca e upload.
- Verifica as declarações de permissão / proibição
De acordo com o anúncio do Bing:
“O testador Robots.txt ajuda os webmasters não apenas a analisar seu arquivo robots.txt e destacar os problemas que os impediriam de serem rastreados de forma otimizada pelo Bing e outros robôs; mas também os orienta passo a passo desde a busca do arquivo mais recente até o upload do mesmo arquivo no endereço apropriado.
Os webmasters podem enviar um URL para a ferramenta Testar robots.txt e ela opera como o Bingbot e o BingAdsBot o fariam, para verificar o arquivo robots.txt e verificar se o URL foi permitido ou bloqueado de acordo. ”
Um recurso útil da ferramenta de teste de robots.txt é que ela exibe quatro versões do robots.txt no editor que correspondem à versão segura e não segura de com e sem o prefixo WWW, ou seja,
- http: //
- https: //
- http: // www
- https: // www.
