Generator robots.txt

Exemple de robots.txt

Variante gata făcute: copiază codul direct sau deschide exemplul în generator și modifică-l după nevoie.

WordPress standard Ce pune și WordPress în robots.txt-ul virtual, plus sitemap-ul.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.exemplu.ro/wp-sitemap.xml

Magazin WooCommerce Coșul, plata și contul nu au ce căuta în rezultate.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cos/
Disallow: /checkout/
Disallow: /contul-meu/
Disallow: /*?add-to-cart=*

Sitemap: https://www.exemplu.ro/sitemap_index.xml

Site în lucru (staging) Blochează tot. Pentru un site de test e mai sigură și o parolă, robots.txt doar roagă roboții.

User-agent: *
Disallow: /

Fără antrenarea modelelor AI Google Search rămâne neatins; Google-Extended oprește doar folosirea pentru Gemini.

User-agent: *
Disallow:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

Blochează PDF-urile $ înseamnă sfârșitul adresei, * orice șir de caractere.

User-agent: *
Disallow: /*.pdf$

Cum folosești generatorul de robots.txt

Alege un model de pornire: WordPress, permite tot sau blochează tot.
Bifează ce vrei: blocarea /wp-admin/ (cu admin-ajax.php permis), blocarea căutării interne (/?s= și /search/) și blocarea roboților AI.
Scrie adresa sitemap-ului și, dacă e nevoie, alte căi de blocat în câmpul Disallow suplimentar, câte una pe rând.
Copiază rezultatul într-un fișier robots.txt pus în rădăcina domeniului, de exemplu https://exemplu.ro/robots.txt. Generatorul rulează în browser; nu se trimite nimic către server.

Sintaxa

Fiecare grup începe cu User-agent (numele robotului sau * pentru toți), urmat de reguli Disallow și Allow. Când două reguli se potrivesc, Google o aplică pe cea mai specifică (cea mai lungă). * înseamnă orice șir de caractere, iar $ marchează sfârșitul adresei.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*.pdf$

User-agent: GPTBot
Disallow: /

Sitemap: https://exemplu.ro/sitemap.xml

Roboții de inteligență artificială

Lista din generator include GPTBot, ChatGPT-User și OAI-SearchBot (OpenAI), ClaudeBot, Claude-User și Claude-SearchBot (Anthropic), Google-Extended, Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance) și Meta-ExternalAgent. Unii colectează date pentru antrenare, alții aduc pagini în motoarele de căutare AI; dacă îi blochezi pe aceștia din urmă, nu mai apari în răspunsurile lor. Google-Extended controlează doar folosirea conținutului pentru Gemini, nu poziția în Google Search.

Ce nu face robots.txt

Este o rugăminte, nu o protecție: roboții corecți o respectă, ceilalți nu. Nu scoate pagini din index; o pagină blocată poate apărea în continuare în Google fără descriere. Pentru scoaterea din index folosește noindex și lasă pagina accesibilă. Google ignoră Crawl-delay.

Întrebări frecvente

Pot ascunde o pagină secretă cu robots.txt?

Nu. Fișierul este public și oricine îl poate citi, deci chiar dezvălui adresa. Protejează pagina cu parolă.

Unde pun fișierul pe WordPress?

WordPress generează un robots.txt virtual. Dacă urci un fișier real în rădăcina site-ului, acela are prioritate.