Adicione robots.txt e ajude o Google a indexar seu site

2a atrás

Ion

---

0 0

Introdução

Robots.txt é um arquivo responsável por informar aos bots de motores de busca informações básicas sobre o seu site. Como, quais páginas podem ser indexas ou não e a estrutura de páginas do seu site, sitemap.xml.

Esse arquivo deve estar na raiz do seu site, por exemplo: https://www.example.com/robots.txt

Configuração básica

O arquivo deve conter 1 ou mais blocos de configuração por User-agent (bots), e pode conter 1 ou mais referências ao sitemap. Uma configuração mínima seria:

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Nesse caso, estamos dizendo que todos os User-Agent podem acessar todas as urls do site, e que o sitemap do site está localizado em https://www.example.com/sitemap.xml

Adicionando mais blocos de configuração

Você pode adicionar mais blocos de configuração conforme forem necessários. No exemplo abaixo, vamos adicionar um bloco que impede que os bots Googlebot e AdsBot-Google indexem as páginas /nogooglebot/

User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml