Robots.txt: o que é, importância e para que serve

O robots.txt é uma ferramenta que ajuda os navegadores a enxergarem o seu site e todas as páginas que o compõem, além de sinalizar o que deve ou não ser indexado pelos algoritmos.

Quem tem um negócio digital sabe como é importante ter um site e fazer com que ele apareça entre os primeiros resultados nas pesquisas do Google. O problema é que aprimorar o ranqueamento de uma página não é uma tarefa tão simples assim.

Entretanto, para configurar este arquivo corretamente, é preciso entender alguns dos fundamentos dos códigos que estruturam os mecanismos de busca, como Google e Bing.

Por isso, continue a leitura conosco e aprenda o que é robots.txt e como aplicá-lo à construção da sua página e à estratégia de marketing digital do seu negócio.

O que é robots.txt?

O robots.txt é um arquivo de texto que deve ser salvo e publicado dentro da pasta raiz do seu site sinalizando para os robôs do Google e de outros mecanismos de busca quais são os conteúdos que devem ou não ser acessados e indexados por eles.

Como o nome sugere, esse é um arquivo em formato de texto .txt, desses que criamos com programas com o Bloco de Notas, do Windows, ou outro editor de texto. Ou seja, não é necessário ter ferramentas específicas para sua criação.

Esse recurso costuma ser bastante usado para evitar uma possível sobrecarga de sites com solicitações de indexação em páginas que não possuem necessidade ou que também não sejam relevantes para o leitor.

Além disso, o robots.txt costuma usar um Protocolo de Exclusão de Robôs padrão, que funciona em conjunto com os algoritmos para não prejudicar a experiência e navegabilidade do conteúdo entregue ao usuário.

Como esse é um arquivo salvo diretamente na pasta raiz do site, costuma ser bem simples acessar esse código. Basta digitar o endereço do seu site na barra do navegador, e acionar o comando “/robots.txt” após o final.

Por exemplo: https://seusite.com.br/robots.txt.

Para que serve o robots.txt?

De maneira geral, o robots.txt serve para dar algumas ordens específicas aos robôs dos mecanismos de busca, como Google e Bing.

Abaixo, você encontra as principais funções deste arquivo:

Acesso a imagens

Com a utilização do robots.txt, é possível impedir que os arquivos de imagem da sua página, como infográficos, sejam exibidos nos resultados de busca.

Isso pode ser bastante importante para evitar que cópias sem autorização prévia sejam realizadas na internet, ou quando estiver reproduzindo um conteúdo com direito de imagem protegido e precisar preservá-lo desta maneira. No entanto, não protege da cópia inadequada.

Sendo assim, para que o usuário tenha acesso ao conteúdo, ele precisará entrar no seu site de maneira obrigatória. Esse método é bem interessante para quem costuma utilizar gatilhos mentais ou precisa captar novos leads utilizando o pixel do Google e do Facebook, por exemplo.

Acesso a páginas da web

As páginas do seu site também podem fazer uso do robots.txt sem grandes problemas, já que o uso não se limita a apenas imagens.

Além de impedir que os robôs acessem conteúdos restritos, o código ajuda a evitar que o servidor responsável por armazenar o seu site fique sobrecarregado com o acesso dos robôs de busca.

Esse processo pode fazer com que a sua página tenha uma navegação mais rápida e evite gastos maiores, como migrar todo o seu domínio para uma hospedagem dedicada, por exemplo.

Entretanto, assim como as imagens, os usuários que tiverem o link de acesso direto ao seu site poderão fazer uso do conteúdo da mesma maneira.

Bloqueio de acesso a recursos do site

Caso você tenha interesse em bloquear o acesso de outros arquivos de script e de estilos menos importantes para facilitar o trabalho do servidor, o robots.txt também pode ser útil.

Mesmo que seja possível utilizar o código para essa finalidade, é muito importante ter cautela. Afinal, se esses recursos forem indispensáveis para o carregamento da sua página, o bloqueio dos rastreadores pode ser afetado. Isso pode prejudicar a análise da sua página e fazer com que o trabalho de otimizações de SEO se torne mais lento e complicado.

Como criar um arquivo robots.txt?

Mesmo que o nome possa parecer confuso, a criação de um arquivo robots.txt é relativamente simples. Para isso, é necessário o conhecimento de poucos comandos específicos para que o código tenha o efeito desejado.

O primeiro passo é o local de criação. O código pode ser criado com um simples bloco de notas ou qualquer outro editor de texto da sua preferência. Além disso, é necessário ter acesso ao diretório raiz do seu site.

Em seguida, basta escrever os comandos desejados, colocar o código dentro da pasta raiz do servidor e aguardar as atualizações.

Quais os principais comandos?

Os comandos do robots.txt funcionam de maneira similar ao HTML e demais linguagens de programação. Sendo assim, existem códigos que direcionam os robôs dos mecanismos de busca pelas páginas do seu site.

A seguir, você confere alguns dos principais comandos e códigos do robots.txt:

Disallow

Esse comando é o responsável por descrever quais páginas de diretórios ou sites não devem ser incluídos nos resultados de busca do Google e outros mecanismos de pesquisa.

Para conseguir orientar os robôs a não acessarem determinada página, como “beta.php”, por exemplo, seria necessário acionar o comando:

Disallow: /beta.php

Já para bloquear o acesso a pastas específicas, é importante utilizar o comando

Disallow: /arquivos/

Allow

Já o recurso Allow permite que você informe aos robôs quais serão os diretórios ou páginas que precisam ser indexados. Ou seja, aqui é possível informar ao Google e outros buscadores quais são as páginas que devem ser priorizadas na indexação.

Por padrão, todas as páginas do seu site são indexadas, a não ser que você utilize o comando Disallow.

Portanto, o comando Allow deve ser utilizado quando você bloqueia o acesso a algum diretório com o comando Disallow, mas ainda gostaria que um arquivo ou pasta específico desse mesmo diretório seja indexado.

Por exemplo, imagine que você quer bloquear o acesso à pasta “arquivos”, mas quer que o acesso à página “produtos.php” continue liberado. Nesse caso, você usaria os seguintes códigos no robot.txt:

Disallow: /arquivos/

Allow: /arquivos/produtos.php

O mesmo funciona para subpastas. Seguindo com o exemplo acima, imagine que você queira liberar o acesso à subpasta “projetos” dentro de “arquivos”. Assim, os comandos utilizados serão:

Disallow: /arquivos/

Allow: /arquivos/projetos/

User-agent

Com o comando user-agent, você pode inserir ordens direcionadas a cada um dos robôs de indexação existentes no mercado. Nesse caso, basta determinar a qual robô você está se referindo.

Atualmente existem inúmeros user-agents. Falando especificamente do Google, o que você deve se preocupar é o Googlebot.

Por isso, se quiser enviar comandos específicos para ele, é necessário inserir o seguinte comando dentro do robots.txt do seu site:

User-agent: Googlebot

Agora, caso queira inserir um direcionamento que deve ser seguido por todos os mecanismos de busca, basta mandar a seguinte mensagem dentro do código:

User-agent:*

Sitemap

Pensando em otimização de site, saber utilizar o sitemap pode ser um importante aliado no desempenho do seu site e na configuração do código robots.txt, mesmo que esteja começando a cair em desuso pelo Google Search Console.

Caso você deseje inserir o endereço do seu sitemap no código dentro da pasta do servidor, é necessário que ele seja salvo dentro da pasta raiz. Para isso, basta utilizar o seguinte comando:

https://seusite.com.br/sitemap.xml.

Aprimore o ranqueamento do seu site como robots.txt

Conquistar um bom posicionamento nas páginas de busca é essencial para quem deseja ter alcance na internet e atrair tráfego orgânico de qualidade.

O robots.txt, como você viu ao longo deste texto, permite refinar a sua estratégia de marketing digital, dando orientações específicas para os robôs dos buscadores e indicando quais páginas e arquivos devem ou não ser indexados.

Mas essa não é a única estratégia capaz de impulsionar o SEO do seu negócio. Se você não sabe como fazer com que o seu site conquiste maior destaque nos buscadores, nós podemos te ajudar. Confira o nosso conteúdo sobre como aparecer no Google.