Robots.txt

Foram publicados 3 posts sobre Robots.txt aqui no blog da Mateada.

O que é Robots.txt?

O Robots.txt é um arquivo que fica na raiz de um site, com o objetivo de informar aos robôs de busca (como o Googlebot) o mapeamento do site e as páginas que podem (ou não) aparecer como resultados para pesquisas na rede.

Funções do Robots.txt

Existem alguns comandos específicos que podem ser usados para direcionar os robôs de busca:

  • User-agent: usado para direcionar comandos diretos para um robô de busca específico. Exemplo: User-agent: Googlebot.
  • Disallow: comando para especificar quais as páginas do site que não devem aparecer nas buscas. Exemplo: páginas de login interno.
  • Allow: nesse caso, é usado para mostrar aos robôs as páginas e diretórios que podem aparecer nas buscas. Quando o comando “Disallow” não é empregado, fica subentendido que tudo está habilitado a aparecer nas pesquisas, sem a necessidade de aplicar o “Allow”.
  • Sitemap: usado para indicar o caminho do Sitemap.xml, que nada mais é do que um mapa do site. O sitemap facilita para que os robôs de busca identifiquem todas as suas páginas.

Os diversos robôs de busca

Usar o Robots.txt não é tão simples quanto parece. Cada robô de busca tem uma interpretação diferente e pode, até mesmo, não seguir os comandos especificados. O ideal é buscar pelos padrões de busca de cada robô antes de criar um Robots.txt.

Se você gostou, temos mais artigos relacionados ao assunto, logo abaixo!

Meu site não aparece no Google, o que pode ser?

Você tem um site e ele não aparece nos resultados de busca do Google? Imagino que você deve estar frustrado com isso, mas felizmente tem solução. O passo mais importante é identificar o que está causando isso. Algumas vezes o problema está ligado a um pequeno erro de configuração que pode ser solucionado com apenas…

SEO para Google Imagens

Em março desse ano a Moz publicou um estudo sobre o comportamento dos usuários nos resultados de busca do Google e alguns dados chamaram minha atenção (recomendo que você também leia esse estudo). De todos os dados compartilhados por Rand Fishkin, o que mais me chamou a atenção foi o grande interesse das pessoas por…

Os 7 erros mais comuns em SEO

Reunimos os erros mais comuns que os analistas de SEO cometem e que nós mais vemos por aí. Separamos sete deles e é sobre eles que vamos falar neste vídeo. Desde mitos do universo do SEO até falhas estratégicas no início da gestão. Ah, também incluímos dicas para quem quer começar na área e uma…