Pe scurt: Din 76 de site-uri de firme din Harghita, 16 (21%) resping cu eroarea 403 cel puțin un robot AI, în 15 cazuri deși robots.txt l-ar permite. În robots.txt doar 3 site-uri blochează roboți AI. Robotul Claude e exclus pe 15 site-uri, căutarea ChatGPT pe 2. llms.txt: 7 site-uri (9%).
Motoarele de căutare AI (ChatGPT, Claude, Perplexity) citesc site-urile cu roboți proprii. Dacă un site îi respinge, AI-ul nu poate spune nimic precis despre el și nici nu îl recomandă. Am vrut să știu dacă motoarele de căutare AI văd site-urile firmelor din Harghita, așa că am măsurat pe 31 octombrie 2026.
Ce am măsurat?
Am folosit eșantionul din studiul din septembrie: cele mai mari 50 de firme din județ și 50 de firme mici. Din ele, 76 aveau site funcțional pe domenii distincte. La fiecare am verificat trei lucruri:
- ce scrie în robots.txt despre roboții AI
- ce răspunde serverul când cererea se prezintă ca robot AI (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)
- dacă există fișierul llms.txt
Nici acum nu public nume de firme, doar cifre agregate.
Robots.txt permite aproape peste tot
Din 76 de site-uri, doar 3 blochează un robot AI în robots.txt, și doar unul exclude căutarea ChatGPT sau alt robot care citește pentru răspunsuri. Zece site-uri nu au deloc robots.txt valid, adică orice robot are voie.
Cine se uită doar la robots.txt ar crede că site-urile din Harghita sunt deschise pentru AI.
Serverul însă respinge la fiecare al cincilea
Când am cerut aceeași pagină ca robot AI, 16 site-uri (21%) au respins cu eroarea 403 cel puțin un robot. Din cele 16, la 15 robots.txt ar fi permis același lucru. Proprietarul, cel mai probabil, nu știe: blocarea o face o regulă de securitate a găzduirii sau un plugin de securitate.
Pe roboți:
- ClaudeBot (Anthropic): 15 site-uri (20%)
- GPTBot (OpenAI): 6 site-uri (8%), alte 4 l-au încetinit cu eroarea 429
- PerplexityBot: 4 site-uri (5%)
- OAI-SearchBot (căutarea ChatGPT): 2 site-uri (3%)
Din cele 16, doar 2 sunt în spatele Cloudflare. La celelalte filtrează găzduirea însăși. Printre site-urile care resping sunt și firme mari, și firme mici (5, respectiv 11).
Contează ce robot excluzi
Roboții se împart în două grupe. GPTBot și ClaudeBot adună text în primul rând pentru antrenarea modelelor AI. Blocarea lor poate fi și o decizie conștientă și nu afectează apariția în motoarele de căutare. OAI-SearchBot și PerplexityBot citesc însă site-ul ca să-l poată cita în răspuns. Dacă pe aceștia îi excluzi, ChatGPT sau Perplexity nu te pot arăta ca sursă.
OpenAI descrie public la ce folosește fiecare robot.
Llms.txt: există pe 7 site-uri
Llms.txt e un fișier text în rădăcina site-ului, care rezumă pentru AI despre ce e site-ul și unde e conținutul important. Din 76 de site-uri, îl au 7 (9%), toate fișiere reale, completate. Trei dintre cele șapte sunt hoteluri.
Și site-ul meu are unul, cu 271 de adrese. Nu cunosc însă nicio confirmare publică că marile motoare de căutare AI l-ar folosi. Se face într-un sfert de oră și nu strică, dar singur nu îți face site-ul mai vizibil. Respingerea roboților contează mult mai mult.
Limitele măsurătorii
- Cererile le-am trimis de pe calculatorul meu, prezentându-mă ca robot AI. Roboții reali vin de pe adresele furnizorului lor, iar unele firewall-uri îi tratează diferit după adresă. Cifra arată cum tratează site-ul o cerere care se prezintă ca robot AI.
- Eroarea 429 am considerat-o limită de viteză, așa că am remăsurat cu pauze de patru secunde. Rezultatele 403 s-au păstrat și la a doua măsurare.
- Eșantionul de firme mici conține doar firme cu site funcțional, ca în studiul din septembrie.
Ce să verifici pe site-ul tău?
- Deschide
domeniultau.ro/robots.txtși uită-te dacă apare GPTBot, OAI-SearchBot, ClaudeBot sau PerplexityBot lângăDisallow. - Întreabă firma de găzduire dacă are activată blocarea roboților AI sau un filtru de „bad bots” și pe ce roboți se aplică.
- Dacă folosești Cloudflare, caută în setările de Security comutatorul pentru roboții AI.
Pe site-ul meu, la cereri individuale, trec toți cei patru roboți. La cereri dese însă și găzduirea mea încetinește cu eroarea 429 cei doi roboți de antrenare (GPTBot, ClaudeBot), pe cei de căutare nu. Dacă nu știi cum stau lucrurile pe al tău, trimite-mi adresa și fac aceeași măsurătoare.
