Fie că ești programator, proprietar de website sau specialist SEO, cu siguranță ai ajuns să auzi despre robots.txt, acest fișier foarte util, dar și capricios.
De ce zic capricios?
- pentru că el trebuie pus în folderul root al siteului;
- directivele pe care i le oferi sunt case-sensitive; și astea sunt doar 2 motive.
Dar am zis și că e foarte util. Păi de ce?
Cuprinsul articolului
Ce este fișierul robots.txt?
El este doar un fișier txt simplu și se află în folderul principal al siteului. El are o serie de directive, așezate una sub cealaltă în așa fel încât să aibă sens pentru boții care accesează fișierul (în cazul nostru ne interesează cel mai mult, botul oficial principal al Google).
Ok, și ce rol are robots.txt?
Rolul lui este de a-i spune botului ce pagini de pe site să acceseze și ce pagini să nu. Și o face prin directivele menționate mai sus (acum că există și boți cărora n-o să le pese de aceste directive, e partea a doua și o discuție pe altădată; Googlebot e de treabă și va ține cont tot timpul de directive!)
Cum arată acesta?
Uite, de exemplu, cum arată robots txt de la Fujix:
Ce face acest fișier, în cazul de față?
- primul rând ne spune că directivele de disallow și allow ce urmează se adresează tuturor boților care vor crawlui (deși unii nu vor respecta, unfortunately) prin acel *;
- al doilea rând începe cu o directivă de disallow, urmată de denumirea unui folder -> asta înseamnă cu Googlebot nu va intra pe folderul /wp-admin/ din site;
- al treilea rând conține directiva Allow, urmată de un subfolder al celui menționat mai sus -> asta înseamnă că Googlebot va intra totuși, cu acordul nostru, pe /wp-admin/admin-ajax.php, chiar dacă face parte din folderul /wp-admin/ pe care nu are voie;
- și ultimul rând conține directiva sitemap, împreună cu denumirea sitemapului nostru principal -> asta îi dă lui Google mură-n gură informațiile necesare legate de ce pagini să crawluiască de pe siteul nostru (se află toate in sitemapuri, ce sunt conținute în sitemapul principal din imagine).
„Ok, deci dacă pun disallow în robots.txt, atunci Google nu va mai indexa fișierele (paginile) din acel folder”
Nooot really. Și da, și nu.
Într-adevăr, dacă sunt niște pagini obscure ce n-au nicio relevanță SEO și Google nici nu are ocazia sa le crawluiască din robots.txt, atunci sunt șanse bune că n-o să fie indexate.
Dacă, însă, acelea sunt pagini importante dpdv SEO, cum ar fi homepageul, șansele ca acestea să fie indexate sunt extrem de mari, pur și simplu din motivul că Google are șansa de a ajunge la acelea prin mult mai multe moduri decât printr-un sitemap sau sărind din pagină în pagină pe siteul tău.
Dacă vrei ca o pagină să nu fie indexată în Google, trebuie să-i specifici acest lucru din codul html al paginii, prin meta robots noindex.
Robots.txt texter
Sau cum să te asiguri că nu oprești Google de la a găsi și crawlui pagini importante.
Acesta este un tool gratis de la Google, care îți permite să faci teste cu propriul fișier txt (într-un mediu de test, Google nu îți poate modifica el fișierul în sine) ca să te asiguri că nu blochezi pagini importante sau că nu dai acces la pagini la care acesta n-ar trebui să aibă acces.
Arată cam așa
Și îl găsești accesând link-ul: https://www.google.com/webmasters/tools/robots-testing-tool, selectând după aceea proprietatea pe care vrei să testezi de la „Please select a property”.
Să zicem, spre exemplu, că pentru mine e important ca un anumit folder inventat acum de mine să nu fie crawluit. El se numește /folder-secret/. Și atunci testez o directivă de disallow în felul următor:
- scriu „Disallow: /folder-secret/” pe al treilea rând;
- mă duc în bara de jos de tot și scriu numele unui fișier, spre exemplu „folder-secret/fisier-secret.html”;
- dau click pe „Test”.
Hai să vedem.
Rezultatul?
Fișierul robots.txt își face treaba!
Generator de robots.txt
Există așa ceva?
Da, există!
Dacă nu vrei să-ți faci griji legat de ce directivă să scrii și unde, sau cum se creează un fișier txt, du-te pur și simplu pe pagina https://www.seoptimer.com/robots-txt-generator , dă-i inputurile toate de care ai nevoie, și voila! e gata fișierul.
Tot ce mai trebuie să faci după e să dai click pe „Create and Download Robots.txt” și va apărea posibilitatea de a salva fișierul în calculator.
Robots.txt în WordPress
Dacă ai siteul în WordPress și știi care-i treaba cu directivele, tu doar vrei să le scrii fără a mai trebui să faci vreo modificare prin cPanel sau alt manager de fișiere, află că toolul Rank Math te poate ajuta în acest sens!
Te duci așa (presupunem că ai instalat deja pluginul):
- Rank Math SEO;
- General Settings;
- Edit robots.txt.
Și aici îți faci treaba.
Uite și vizual:
Practica bate teoria.
Vrei să înveți SEO, aplicat, pe clienți și situații reale? Programează un call de 15 minute cu Matei în Calendly și hai să creem o situație win-win!
