Ce este fișierul robots.txt?

Robots.txt este un fișier text care are două roluri:

• de a specifica ce pagini sau tipologii de pagini să evite Googlebot sau alți boți -> prin directiva Disallow:;
• de a specifica care sunt paginile pe care să intre Googlebot în primul și în primul rând -> prin intermediul sitemapurilor xml, acompaniate de directiva Sitemap:.

Ce este Googlebot?

Googlebot este robotul Google care intră și verifică conținutul paginilor de pe siteurile noastre.

Așa arată un fișier robots.txt, conform cu cele scrise mai sus