Como o próprio nome já diz, robots.txt é um arquivo no formato .txt (bloco de notas). Funciona como um filtro para os robôs dos sites de busca e faz com que os webmasters controlem permissões de acesso a determinadas páginas ou pastas dos sites. O robots.txt controla qual informação de um site deve ou não deve ser indexada pelos sites de busca. A sintaxe do arquivo é bem simples, e deve ser colocada pelo webmaster responsável pelo site na raiz da hospedagem. O próprio Google usa um arquivo emhttp://www.google.com/robots.txt, e navegar por ele é no mínimo curioso.

Sintaxe do Robots.txt

User-agent

• Google: User-agent: Googlebot
• Google Imagens: User-agent: Googlebot-images
• Google Adwords: User-agent: Adsbot-Google
• Google Adsense: User-agent: Mediapartners-Google
• Yahoo: User-agent: Slurp
• Bing: User-agent: Bingbot
• Todos os mecanismos: User-agent: * (ou simplesmente não incluir o comando user-agent)

Disallow

• Disallow: /prod - orienta aos robots a não indexarem pastas ou arquivos que comecem com "prod";
• Disallow: /prod/ - orienta aos robots a não indexarem conteúdo dentro da pasta "prod"
• Disallow: print1.html - orienta aos robots a não indexarem conteúdo da página print1.html.

Allow

O comando Allow orienta aos robots qual diretório ou página deve ter o conteúdo indexado. Diretórios e páginas são por definição sempre permitidos. Assim, este comando deve ser utilizado apenas em situações em que o webmaster bloqueou o acesso a um diretório por meio do comando Disallow, mas gostaria de ter indexado um arquivo ou sub-diretório dentro do diretório bloqueado. Note por exemplo no robots.txt do Google, logo no início, as duas linhas abaixo.

Sitemap

Uma outra função permitia pelo robots.txt é a indicação do caminho e nome do sitemap em formato XML do site. A ferramenta para Webmasters do Google, porém, oferece um maior controle e visibilidade para a mesma função comunicar ao Google onde está o ou os arquivos sitemap. Note como o Google submete, em seu robots.txt, diversos sitemaps:

Sitemap: http://www.google.com/hostednews/sitemap_index.xml  
Sitemap: http://www.google.com/sitemaps_webmasters.xml  
Sitemap: http://www.google.com/ventures/sitemap_ventures.xml  
Sitemap: http://www.gstatic.com/dictionary/static/sitemaps/sitemap_index.xml  
Sitemap: http://www.gstatic.com/earth/gallery/sitemaps/sitemap.xml  
Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml  
Sitemap: http://www.gstatic.com/trends/websites/sitemaps/sitemapindex.xml

Uma das mais valiosas dicas: faça o site de modo que o usuário ache o que quer, de maneira e leitura fácil, e com os conteúdos mais relevantes possíveis. Quero dizer, se eu, por exemplo, entrar em um site de computação, então

supõe-se que eu queira ver artigos relacionados à computação. Não vai ser legal se eu encontrar links e conteúdo sobre culinária. Não tente enganar o buscador, colocando assuntos pornográficos ou polêmicos para chamar tráfego ao seu site. Este tipo de prática é condenada pelos buscadores e com frequencia resultam em punições.

Espero que tenham gostado e até a próxima!

http://www.tiagoserra.com.br

tiagoss@gmail.com