Látják-e az AI-keresők a weboldaladat? 76 hargitai céges oldal mérése

Megmértem, hogyan válaszol 76 hargitai céges weboldal, ha a ChatGPT, a Claude vagy a Perplexity robotja kopogtat. A robots.txt-ben szinte senki nem tiltja őket, a szerver viszont minden ötödik oldalon elutasítja valamelyiket. Az llms.txt-ről is írok.

Röviden: 76 hargitai céges weboldalból 16 (21%) 403-as hibával utasítja el legalább egy AI-robot kérését, 15 esetben úgy, hogy a robots.txt engedné. A robots.txt-ben csak 3 oldal tilt AI-robotot. A Claude robotját 15, a ChatGPT keresőjét 2 oldal zárja ki. llms.txt 7 oldalon van (9%).

Az AI-keresők (ChatGPT, Claude, Perplexity) saját robotokkal olvassák a weboldalakat. Ha egy oldal elutasítja őket, az AI nem tud róla pontosat mondani, és nem is ajánlja. Kíváncsi voltam, látják-e az AI-keresők a hargitai céges oldalakat, ezért 2026. október 31-én lemértem.

Mit mértem?

A szeptemberi felmérés mintáját használtam: a megye 50 legnagyobb cégét és 50 kisvállalkozást. Ebből 76 egyedi domainen működött a weboldal. Mindegyiknél három dolgot néztem:

  • mit ír a robots.txt az AI-robotokról
  • mit válaszol a szerver, ha a kérés AI-robotként mutatkozik be (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)
  • van-e llms.txt fájl

Cégnevet most sem közlök, csak összesített számot.

A robots.txt szinte mindenhol enged

A 76 oldalból csak 3 tilt AI-robotot a robots.txt-ben, és ebből egyetlen egy zárja ki a ChatGPT keresőjét vagy más, válaszadáshoz olvasó robotot. Tíz oldalnak nincs is érvényes robots.txt-je, ami azt jelenti, hogy minden robot mehet.

Ha valaki csak a robots.txt-t nézi, azt hinné, a hargitai oldalak nyitva állnak az AI előtt.

A szerver viszont minden ötödiknél elutasítja

Amikor ugyanazt az oldalt AI-robotként kértem le, 16 oldal (21%) 403-as hibával utasított el legalább egy robotot. A 16-ból 15-nél a robots.txt engedte volna ugyanezt. Az oldal gazdája tehát nagy valószínűséggel nem tud róla: a tiltást a tárhely biztonsági szabálya vagy egy biztonsági bővítmény végzi.

Robotonként:

  • ClaudeBot (Anthropic): 15 oldal (20%)
  • GPTBot (OpenAI): 6 oldal (8%), további 4 oldal 429-es hibával lassította
  • PerplexityBot: 4 oldal (5%)
  • OAI-SearchBot (a ChatGPT keresője): 2 oldal (3%)

A 16 oldalból csak 2 van Cloudflare mögött. A többinél maga a tárhely szűr. Az elutasító oldalak között nagy cégek és kisvállalkozások is vannak (5, illetve 11).

Számít, melyik robotot zárod ki

A robotok két csoportba tartoznak. A GPTBot és a ClaudeBot elsősorban az AI-modellek tanításához gyűjt szöveget. Ezek tiltása tudatos döntés is lehet, és nem rontja a keresőkben való megjelenést. Az OAI-SearchBot és a PerplexityBot viszont azért olvassa az oldalt, hogy a válaszban hivatkozni tudjon rá. Ha ezeket zárod ki, a ChatGPT vagy a Perplexity nem tud téged forrásként megmutatni.

Az OpenAI nyilvánosan leírja, melyik robotja mire való.

Llms.txt: 7 oldalon van

Az llms.txt egy szöveges fájl a weboldal gyökerében, amely az AI-nak összefoglalja, miről szól az oldal, és hol vannak a fontos tartalmak. A 76 oldalból 7-en van (9%), mind valódi, kitöltött fájl. A hétből három szálloda.

Az én oldalamon is van, 271 címmel. Általam ismert nyilvános megerősítés viszont nincs arról, hogy a nagy AI-keresők használnák. Elkészíteni negyedóra, kárt nem okoz, de ettől önmagában nem fog jobban látszani az oldalad. A robotok elutasítása sokkal többet számít.

A mérés korlátai

  • A kéréseket a saját gépemről küldtem, AI-robotnak bemutatkozva. A valódi robotok a saját szolgáltatójuk címeiről jönnek, és egyes tűzfalak cím alapján másképp kezelik őket. A mért szám azt mutatja, hogyan bánik az oldal egy AI-robotnak bemutatkozó kéréssel.
  • A 429-es hibát sebességkorlátnak vettem, ezért négy másodperces szünetekkel újramértem. A 403-as eredmények ismételt mérésre is megmaradtak.
  • A kkv-minta csak működő weboldalú cégekből áll, ahogy a szeptemberi felmérésben.

Mit nézz meg a saját oldaladon?

  • Nyisd meg a domained.hu/robots.txt címet, és nézd meg, szerepel-e benne GPTBot, OAI-SearchBot, ClaudeBot vagy PerplexityBot Disallow mellett.
  • Kérdezd meg a tárhelyszolgáltatót, van-e bekapcsolva AI-robot-tiltás vagy „bad bot” szűrő, és mely robotokra vonatkozik.
  • Ha Cloudflare-t használsz, nézd meg a Security beállítások között az AI-robotokra vonatkozó kapcsolót.

Az én oldalamon egyenkénti kérésre mind a négy robot átmegy. Sűrű lekérésnél viszont a tárhelyem is 429-es hibával lassítja a két tanító robotot (GPTBot, ClaudeBot), a keresőrobotokat nem. Ha nem tudod, a tiéden mi a helyzet, írd meg a címét, és lefuttatom rá ugyanezt a mérést.

Sárosi Zoltán

A cikk szerzője

Sárosi Zoltán

Alapító, WordPress fejlesztő – Eagle Solutions

2011 óta készítek weboldalakat és webshopokat Hargita megyéből, kis- és középvállalkozásoknak, egyesületeknek és ügynökségi partnereknek. Amit itt leírok, azt a saját projektjeimben tapasztaltam.

Többet rólam →

Kérdésed van a saját oldaladdal kapcsolatban?

Írj pár mondatot, mire lenne szükséged. Egy munkanapon belül válaszolok, az első konzultáció ingyenes.

Van már weboldalad? Írd be a címét az üzenetbe, és ingyen, 10 pontban leírom, mit javítanék rajta.

Még nem tudod pontosan, mi kell? Számold ki az ársávot két perc alatt →

Töltsd le a 10 pontos weboldal-ellenőrző listát (PDF) →

← Vissza a bloghoz