Ghid SEO: configurarea corectă și accesibilitatea fișierului robots.txt pentru roboții de căutare

De fiecare dată când explorează un site, roboții motoarelor de căutare verifică instrucțiunile din fișierul robots.txt pentru a stabili ce pagini și resurse au permisiunea de a fi indexate și ce directoare trebuie ocolite.

Dar ce se întâmplă uneori în practică? În loc ca motorul de căutare să preia fișierul robots.txt direct din directorul rădăcină al site-ului, din cauza unor legături greșite sau a unor cereri anormale, acesta ajunge să fie căutat în subdirectoare adânci unde nu există, generând mesaje de eroare 404 în jurnalele serverului.

Dacă dorești ca motoarele de căutare să găsească fără erori acest fișier indiferent de locația din care îl solicită, poți adăuga în fișierul de configurare .htaccess următoarele reguli de rescriere:

RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
RewriteCond %{REQUEST_URI} robots\.txt [NC]
RewriteRule .* http://domeniu.com/robots.txt [R=301,L]

Această regulă interceptează orice cerere care conține denumirea robots.txt dar nu indică spre locația standard /robots.txt, redirecționând botul printr-un cod 301 (Permanent Redirect) direct către fișierul din rădăcina domeniului. Asigură-te că înlocuiești domeniu.com cu domeniul tău pentru a menține o indexare eficientă și un crawl budget curat.