Crawlere AI și robots.txt: cine îți folosește conținutul

Controlezi crawlerele AI prin robots.txt, câte un bot pe rând. Lucrul important e că marile companii AI folosesc acum boți separați pentru antrenare, pentru căutare și pentru deschiderea unei pagini atunci când un om o cere, așa că „blochează AI” nu e un singur buton. Pentru majoritatea site-urilor de firmă, varianta rezonabilă e să lași deschiși boții de căutare și cei declanșați de utilizator, care îți pot aduce vizibilitate, și să decizi separat despre cei de antrenare.

Contează pentru că o singură regulă care blochează tot te poate scoate pe tăcute din răspunsurile pe care oamenii le primesc de la ChatGPT, Claude sau din funcțiile AI ale Google. Invers, dacă lași tot deschis, conținutul tău ajunge la antrenarea modelelor fără ca tu să fi ales asta. Mai jos vezi cum se împart boții principali, ce poate și ce nu poate face robots.txt și ce setup am recomanda unei firme mici obișnuite.

Ce fel de boți AI îți vizitează site-ul?

Sunt trei roluri, iar vestea bună e că marile companii au început să le separe.

**Crawlerele de antrenare** adună pagini pentru construirea viitoarelor modele. Dacă le blochezi, conținutul tău rămâne în afara antrenărilor viitoare; asta nu schimbă dacă apari în rezultatele de căutare.

**Crawlerele de căutare** indexează pagini ca un produs AI să le poată cita și lega în răspunsuri, ca un motor de căutare clasic. Ei sunt cei care pot aduce vizitatori, deci blocarea lor te face de obicei mai puțin vizibil, nu mai protejat.

**Boții declanșați de utilizator** deschid o pagină pentru că cineva a cerut unui asistent să o citească sau a lipit un link. Acționează la cererea unui om, nu cutreieră web-ul de capul lor, de aceea companiile îi tratează diferit față de ceilalți doi.

Care bot e care?

Numele se schimbă, deci ia tabelul ca pe o imagine de moment și verifică documentația fiecărei companii înainte să editezi ceva. În noiembrie 2026, cei principali sunt cei de mai jos.

Unde se încadrează Google?

Google funcționează altfel și e cel mai des înțeles greșit. Google-Extended nu e un crawler separat. E un token pe care îl pui în robots.txt ca să spui că ce a colectat Googlebot nu trebuie folosit la antrenarea și „grounding”-ul Gemini. Google precizează că nu afectează includerea sau poziția în Google Search.

Googlebot-ul obișnuit alimentează Search, iar AI Overviews fac parte din Search. Deci dacă interzici Google-Extended, nu ieși din AI Overviews. Dacă vrei să fii vizibil acolo, munca e cea de dinainte: pagini clare, rapide, bine structurate, despre care vorbim în ghidul nostru despre AI Overviews și GEO. Google a descris și alte controale separate pentru felul în care Search folosește fragmentele, așa că citește Search Central înainte să crezi că o singură linie rezolvă tot.

Ce poate face robots.txt și ce nu?

robots.txt e o rugăminte politicoasă, definită într-un standard public (Robots Exclusion Protocol, RFC 9309). Crawlerele care se poartă corect îl citesc înainte să ceară pagini și îl respectă. Nu e un lacăt. Orice pagină pe care o poți deschide într-un browser poate fi descărcată de un bot care alege să ignore fișierul, iar unii chiar o fac.

Din asta rezultă trei limite practice. Prima: regulile au nevoie de timp. OpenAI spune că o modificare poate dura în jur de 24 de ore până e luată în calcul, deci nu testa la cinci minute după salvare. A doua: regulile privesc crawlingul viitor, nu ce a fost deja colectat. A treia: cererile inițiate de utilizator pot să nu urmeze aceleași reguli. OpenAI spune că, fiind pornite de un om, acțiunile ChatGPT-User pot să nu respecte robots.txt, în timp ce Anthropic spune că toți cei trei boți ai săi îl respectă. Furnizorii diferă și își revizuiesc documentația, încă un motiv să verifici sursa.

Dacă ceva chiar nu trebuie citit de nimeni, robots.txt e unealta greșită. Pune conținutul în spatele unei autentificări sau nu îl publica. Pentru ce nu vrei să vezi în seturi de antrenare, robots.txt e un semnal rezonabil și larg respectat.

Ce setup recomandăm unui site de firmă obișnuit?

Un site de firmă există ca să fie găsit, așa că pentru cei mai mulți dintre cititorii noștri varianta de bază e să rămâi deschis pentru boții care te afișează și te citează și să alegi conștient în privința antrenării.

Permite boții de căutare și cei declanșați de utilizator de la OpenAI și Anthropic (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User). Dacă îi blochezi, poți apărea mai rar când cineva întreabă un asistent despre domeniul tău, iar Anthropic avertizează chiar ea asupra acestui compromis. Apoi decide despre boții de antrenare: GPTBot, ClaudeBot și tokenul Google-Extended. Blochează-i dacă publici texte, fotografii sau cercetări originale pe care nu vrei să le vezi absorbite în modele fără mențiune. Lasă-i deschiși dacă ești o firmă mică de servicii și notorietatea numelui contează mai mult decât principiul.

Nu există un răspuns valabil pentru toți și ne-am feri de oricine pretinde contrariul. Un fotograf sau un editor au alte interese decât un instalator. Important e ca alegerea să fie deliberată, notată și revăzută o dată sau de două ori pe an.

Un robots.txt minimal pentru varianta prudentă (deschis pentru căutare, închis pentru antrenare) arată simplu: un grup pentru GPTBot cu Disallow: /, unul pentru ClaudeBot cu Disallow: /, unul pentru Google-Extended cu Disallow: / și nicio regulă pentru boții de căutare și de utilizator. Fiecare grup are o linie User-agent urmată de o linie Disallow. Reține că blocarea se aplică per gazdă, deci un subdomeniu are nevoie de fișierul lui.

Un detaliu despre regulile vechi: Anthropic a retras numele Claude-Web și anthropic-ai, deci liniile care le menționează doar pe ele nu mai fac nimic. Dacă robots.txt-ul tău a fost copiat dintr-un articol vechi de un an sau doi, merită revizuit.

Cum verifici că funcționează?

Deschide tudomeniu.ro/robots.txt în browser și citește-l ca un bot: e fiecare grup unde ai vrut, iar ceva e blocat din greșeală, de exemplu un „User-agent: * Disallow: /” rămas de la un site de test? Apoi caută în logurile serverului sau în statisticile de hosting numele boților de mai sus. Dacă îi vezi, vizitele au loc; dacă un bot blocat dispare după o zi-două de la modificare, blocarea merge.

Fii prudent cu concluziile din loguri pe un site mic: user agent-ul poate fi falsificat, deci un nume dintr-un log dovedește puțin singur. Furnizorii care publică intervale de IP permit verificarea vizitelor reale; pentru majoritatea firmelor mici, e suficient fișierul corect plus o privire periodică în loguri.

Cu ce te putem ajuta?

Pe site-urile pe care le construim, robots.txt, sitemap-ul și datele structurate sunt generate din cod, deci schimbarea unei politici e o modificare de o linie, nu o căutare printre pluginuri. Dacă vrei o părere despre ce boți să permiți pentru tipul tău de afacere sau vrei să îți verificăm fișierul actual, pornește de la serviciul nostru de creare site web sau uită-te la prețuri și spune-ne ce publici și cine ar trebui să găsească asta.