Ce este Googlebot?

Acesta este crawler-ul de la Google care sare din pagină în pagină, din site în site, pentru a găsi pagini noi și astfel a îmbogăți indexul uriaș stocat pe serverele Google.

Acesta este specific pentru indexarea în vederea prezenței în rezultatele organice pentru o căutare normală din Google.

Vezi aici toți boții pe care îi folosește Google, pentru fiecare scop în parte: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers