Röviden: 76 hargitai céges weboldalból 16 (21%) 403-as hibával utasítja el legalább egy AI-robot kérését, 15 esetben úgy, hogy a robots.txt engedné. A robots.txt-ben csak 3 oldal tilt AI-robotot. A Claude robotját 15, a ChatGPT keresőjét 2 oldal zárja ki. llms.txt 7 oldalon van (9%).
Az AI-keresők (ChatGPT, Claude, Perplexity) saját robotokkal olvassák a weboldalakat. Ha egy oldal elutasítja őket, az AI nem tud róla pontosat mondani, és nem is ajánlja. Kíváncsi voltam, látják-e az AI-keresők a hargitai céges oldalakat, ezért 2026. október 31-én lemértem.
Mit mértem?
A szeptemberi felmérés mintáját használtam: a megye 50 legnagyobb cégét és 50 kisvállalkozást. Ebből 76 egyedi domainen működött a weboldal. Mindegyiknél három dolgot néztem:
- mit ír a robots.txt az AI-robotokról
- mit válaszol a szerver, ha a kérés AI-robotként mutatkozik be (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot)
- van-e llms.txt fájl
Cégnevet most sem közlök, csak összesített számot.
A robots.txt szinte mindenhol enged
A 76 oldalból csak 3 tilt AI-robotot a robots.txt-ben, és ebből egyetlen egy zárja ki a ChatGPT keresőjét vagy más, válaszadáshoz olvasó robotot. Tíz oldalnak nincs is érvényes robots.txt-je, ami azt jelenti, hogy minden robot mehet.
Ha valaki csak a robots.txt-t nézi, azt hinné, a hargitai oldalak nyitva állnak az AI előtt.
A szerver viszont minden ötödiknél elutasítja
Amikor ugyanazt az oldalt AI-robotként kértem le, 16 oldal (21%) 403-as hibával utasított el legalább egy robotot. A 16-ból 15-nél a robots.txt engedte volna ugyanezt. Az oldal gazdája tehát nagy valószínűséggel nem tud róla: a tiltást a tárhely biztonsági szabálya vagy egy biztonsági bővítmény végzi.
Robotonként:
- ClaudeBot (Anthropic): 15 oldal (20%)
- GPTBot (OpenAI): 6 oldal (8%), további 4 oldal 429-es hibával lassította
- PerplexityBot: 4 oldal (5%)
- OAI-SearchBot (a ChatGPT keresője): 2 oldal (3%)
A 16 oldalból csak 2 van Cloudflare mögött. A többinél maga a tárhely szűr. Az elutasító oldalak között nagy cégek és kisvállalkozások is vannak (5, illetve 11).
Számít, melyik robotot zárod ki
A robotok két csoportba tartoznak. A GPTBot és a ClaudeBot elsősorban az AI-modellek tanításához gyűjt szöveget. Ezek tiltása tudatos döntés is lehet, és nem rontja a keresőkben való megjelenést. Az OAI-SearchBot és a PerplexityBot viszont azért olvassa az oldalt, hogy a válaszban hivatkozni tudjon rá. Ha ezeket zárod ki, a ChatGPT vagy a Perplexity nem tud téged forrásként megmutatni.
Az OpenAI nyilvánosan leírja, melyik robotja mire való.
Llms.txt: 7 oldalon van
Az llms.txt egy szöveges fájl a weboldal gyökerében, amely az AI-nak összefoglalja, miről szól az oldal, és hol vannak a fontos tartalmak. A 76 oldalból 7-en van (9%), mind valódi, kitöltött fájl. A hétből három szálloda.
Az én oldalamon is van, 271 címmel. Általam ismert nyilvános megerősítés viszont nincs arról, hogy a nagy AI-keresők használnák. Elkészíteni negyedóra, kárt nem okoz, de ettől önmagában nem fog jobban látszani az oldalad. A robotok elutasítása sokkal többet számít.
A mérés korlátai
- A kéréseket a saját gépemről küldtem, AI-robotnak bemutatkozva. A valódi robotok a saját szolgáltatójuk címeiről jönnek, és egyes tűzfalak cím alapján másképp kezelik őket. A mért szám azt mutatja, hogyan bánik az oldal egy AI-robotnak bemutatkozó kéréssel.
- A 429-es hibát sebességkorlátnak vettem, ezért négy másodperces szünetekkel újramértem. A 403-as eredmények ismételt mérésre is megmaradtak.
- A kkv-minta csak működő weboldalú cégekből áll, ahogy a szeptemberi felmérésben.
Mit nézz meg a saját oldaladon?
- Nyisd meg a
domained.hu/robots.txtcímet, és nézd meg, szerepel-e benne GPTBot, OAI-SearchBot, ClaudeBot vagy PerplexityBotDisallowmellett. - Kérdezd meg a tárhelyszolgáltatót, van-e bekapcsolva AI-robot-tiltás vagy „bad bot” szűrő, és mely robotokra vonatkozik.
- Ha Cloudflare-t használsz, nézd meg a Security beállítások között az AI-robotokra vonatkozó kapcsolót.
Az én oldalamon egyenkénti kérésre mind a négy robot átmegy. Sűrű lekérésnél viszont a tárhelyem is 429-es hibával lassítja a két tanító robotot (GPTBot, ClaudeBot), a keresőrobotokat nem. Ha nem tudod, a tiéden mi a helyzet, írd meg a címét, és lefuttatom rá ugyanezt a mérést.
