Tag

Robots.txt

Browsing

O Robots.txt é um arquivo que fica na raiz de um site, com o objetivo de informar aos robôs de busca (como o Googlebot) o mapeamento do site e as páginas que podem (ou não) aparecer como resultados para pesquisas na rede.

Funções do Robots.txt

Existem alguns comandos específicos que podem ser usados para direcionar os robôs de busca:

  • User-agent: usado para direcionar comandos diretos para um robô de busca específico. Exemplo: User-agent: Googlebot.
  • Disallow: comando para especificar quais as páginas do site que não devem aparecer nas buscas. Exemplo: páginas de login interno.
  • Allow: nesse caso, é usado para mostrar aos robôs as páginas e diretórios que podem aparecer nas buscas. Quando o comando “Disallow” não é empregado, fica subentendido que tudo está habilitado a aparecer nas pesquisas, sem a necessidade de aplicar o “Allow”.
  • Sitemap: usado para indicar o caminho do Sitemap.xml, que nada mais é do que um mapa do site. O sitemap facilita para que os robôs de busca identifiquem todas as suas páginas.

Os diversos robôs de busca

Usar o Robots.txt não é tão simples quanto parece. Cada robô de busca tem uma interpretação diferente e pode, até mesmo, não seguir os comandos especificados. O ideal é buscar pelos padrões de busca de cada robô antes de criar um Robots.txt.

Se você gostou, temos mais artigos relacionados ao assunto, logo abaixo!

Pin It