Văd motoarele de căutare AI site-ul tău? 76 de site-uri de firme din Harghita

Am măsurat cum răspund 76 de site-uri de firme din Harghita când bate la ușă robotul ChatGPT, Claude sau Perplexity. Aproape nimeni nu îi blochează în robots.txt, dar serverul respinge unul dintre ei la fiecare al cincilea site. Scriu și despre llms.txt.

Pe scurt: Din 76 de site-uri de firme din Harghita, 16 (21%) resping cu eroarea 403 cel puțin un robot AI, în 15 cazuri deși robots.txt l-ar permite. În robots.txt doar 3 site-uri blochează roboți AI. Robotul Claude e exclus pe 15 site-uri, căutarea ChatGPT pe 2. llms.txt: 7 site-uri (9%).

Motoarele de căutare AI (ChatGPT, Claude, Perplexity) citesc site-urile cu roboți proprii. Dacă un site îi respinge, AI-ul nu poate spune nimic precis despre el și nici nu îl recomandă. Am vrut să știu dacă motoarele de căutare AI văd site-urile firmelor din Harghita, așa că am măsurat pe 31 octombrie 2026.

Ce am măsurat?

Am folosit eșantionul din studiul din septembrie: cele mai mari 50 de firme din județ și 50 de firme mici. Din ele, 76 aveau site funcțional pe domenii distincte. La fiecare am verificat trei lucruri:

  • ce scrie în robots.txt despre roboții AI
  • ce răspunde serverul când cererea se prezintă ca robot AI (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)
  • dacă există fișierul llms.txt

Nici acum nu public nume de firme, doar cifre agregate.

Robots.txt permite aproape peste tot

Din 76 de site-uri, doar 3 blochează un robot AI în robots.txt, și doar unul exclude căutarea ChatGPT sau alt robot care citește pentru răspunsuri. Zece site-uri nu au deloc robots.txt valid, adică orice robot are voie.

Cine se uită doar la robots.txt ar crede că site-urile din Harghita sunt deschise pentru AI.

Serverul însă respinge la fiecare al cincilea

Când am cerut aceeași pagină ca robot AI, 16 site-uri (21%) au respins cu eroarea 403 cel puțin un robot. Din cele 16, la 15 robots.txt ar fi permis același lucru. Proprietarul, cel mai probabil, nu știe: blocarea o face o regulă de securitate a găzduirii sau un plugin de securitate.

Pe roboți:

  • ClaudeBot (Anthropic): 15 site-uri (20%)
  • GPTBot (OpenAI): 6 site-uri (8%), alte 4 l-au încetinit cu eroarea 429
  • PerplexityBot: 4 site-uri (5%)
  • OAI-SearchBot (căutarea ChatGPT): 2 site-uri (3%)

Din cele 16, doar 2 sunt în spatele Cloudflare. La celelalte filtrează găzduirea însăși. Printre site-urile care resping sunt și firme mari, și firme mici (5, respectiv 11).

Contează ce robot excluzi

Roboții se împart în două grupe. GPTBot și ClaudeBot adună text în primul rând pentru antrenarea modelelor AI. Blocarea lor poate fi și o decizie conștientă și nu afectează apariția în motoarele de căutare. OAI-SearchBot și PerplexityBot citesc însă site-ul ca să-l poată cita în răspuns. Dacă pe aceștia îi excluzi, ChatGPT sau Perplexity nu te pot arăta ca sursă.

OpenAI descrie public la ce folosește fiecare robot.

Llms.txt: există pe 7 site-uri

Llms.txt e un fișier text în rădăcina site-ului, care rezumă pentru AI despre ce e site-ul și unde e conținutul important. Din 76 de site-uri, îl au 7 (9%), toate fișiere reale, completate. Trei dintre cele șapte sunt hoteluri.

Și site-ul meu are unul, cu 271 de adrese. Nu cunosc însă nicio confirmare publică că marile motoare de căutare AI l-ar folosi. Se face într-un sfert de oră și nu strică, dar singur nu îți face site-ul mai vizibil. Respingerea roboților contează mult mai mult.

Limitele măsurătorii

  • Cererile le-am trimis de pe calculatorul meu, prezentându-mă ca robot AI. Roboții reali vin de pe adresele furnizorului lor, iar unele firewall-uri îi tratează diferit după adresă. Cifra arată cum tratează site-ul o cerere care se prezintă ca robot AI.
  • Eroarea 429 am considerat-o limită de viteză, așa că am remăsurat cu pauze de patru secunde. Rezultatele 403 s-au păstrat și la a doua măsurare.
  • Eșantionul de firme mici conține doar firme cu site funcțional, ca în studiul din septembrie.

Ce să verifici pe site-ul tău?

  • Deschide domeniultau.ro/robots.txt și uită-te dacă apare GPTBot, OAI-SearchBot, ClaudeBot sau PerplexityBot lângă Disallow.
  • Întreabă firma de găzduire dacă are activată blocarea roboților AI sau un filtru de „bad bots” și pe ce roboți se aplică.
  • Dacă folosești Cloudflare, caută în setările de Security comutatorul pentru roboții AI.

Pe site-ul meu, la cereri individuale, trec toți cei patru roboți. La cereri dese însă și găzduirea mea încetinește cu eroarea 429 cei doi roboți de antrenare (GPTBot, ClaudeBot), pe cei de căutare nu. Dacă nu știi cum stau lucrurile pe al tău, trimite-mi adresa și fac aceeași măsurătoare.

Sárosi Zoltán

Autorul articolului

Sárosi Zoltán

Fondator, dezvoltator WordPress – Eagle Solutions

Din 2011 construiesc site-uri și magazine online din județul Harghita, pentru IMM-uri, asociații și agenții partenere. Ce scriu aici vine din proiectele mele reale.

Mai multe despre mine →

Ai o întrebare despre site-ul tău?

Scrie-mi în câteva rânduri de ce ai nevoie. Răspund în maximum o zi lucrătoare, prima consultație este gratuită.

Ai deja un site? Scrie adresa lui în mesaj și îți trimit gratuit, în 10 puncte, ce aș îmbunătăți.

Nu știi încă exact ce îți trebuie? Calculează intervalul de preț în două minute →

Descarcă lista de verificare în 10 puncte pentru site-ul tău (PDF) →

← Înapoi la blog