Ma változik a Cloudflare AI crawler-kezelése: a Googlebotot is érintheti egy rossz beállítás

2026. szeptember 15-én életbe lép a Cloudflare AI crawler-kezelésének fontos változása. A szolgáltató a webes robotokat már nem egyszerűen egyetlen „AI bot” kategóriaként kezeli: a webhelytulajdonosok külön szabályozhatják a Search, Agent és Training célú botforgalmat. A mai naptól új alapértelmezések is érvénybe lépnek az újonnan Cloudflare-re kerülő domaineknél.

A változás technikai SEO szempontból azért különösen fontos, mert egyes crawlerek több célt is szolgálhatnak. A Cloudflare szerint a keresésre és modelltréningre egyaránt használt többcélú robotokra a legszigorúbb alkalmazható szabály érvényesülhet. Emiatt egy AI-tréning blokkolására szánt beállítás bizonyos konfigurációkban olyan keresőrobotokat is érinthet, mint a Googlebot, az Applebot vagy a BingBot.

Mi változik 2026. szeptember 15-én?

A Cloudflare 2026 júliusában vezette be az AI-forgalom részletesebb kezelését. A korábbi, általános Block AI bots kapcsoló helyett három fő viselkedési kategóriát különböztet meg: Search, Agent és Training. Ezekhez külön engedélyezési vagy blokkolási szabályok állíthatók be.

• Search: olyan crawlerek, amelyek tartalmakat gyűjtenek keresési és felfedezési célokra.
• Agent: olyan automatizált rendszerek, amelyek valós időben egy felhasználó nevében érnek el webes tartalmat.
• Training: olyan crawlerek, amelyek tartalmat gyűjtenek AI-modellek tanításához vagy finomhangolásához.

Szeptember 15-től az újonnan Cloudflare-re kerülő domaineknél a Training és Agent kategóriába sorolt botok alapértelmezetten blokkolva lesznek azokon az oldalakon, ahol a Cloudflare hirdetést érzékel. A Search kategória ezzel szemben alapértelmezetten engedélyezett marad.

A többcélú crawlerek miatt válik igazán fontossá a változás

A legfontosabb újdonság nem önmagában a három kategória, hanem az, ahogyan a Cloudflare a többféle célt egyszerre kiszolgáló crawlereket kezeli. Egy bot ugyanis használható egyszerre klasszikus keresési indexelésre és AI-modellekhez kapcsolódó adatgyűjtésre is.

A Cloudflare szeptember 15-től az ilyen többcélú crawlereknél minden ismert viselkedést figyelembe vesz. Ha egy webhely tulajdonosa blokkolja a Training kategóriát, akkor a keresési és tréningcélúként is besorolt crawlerre a szigorúbb szabály alkalmazható.

A Googlebotot is blokkolhatja egy Training szabály

A Cloudflare saját bejelentése külön megnevezi a Googlebotot, az Applebotot és a BingBotot a többcélú crawlerek példái között. A szolgáltató szerint azoknál az ügyfeleknél, akik a Training viselkedést blokkolják, ezek a crawlerek is blokkolás alá kerülhetnek, ha a Cloudflare az adott robotot Search és Training célúként egyaránt kezeli.

Ez már közvetlen SEO-kockázat. Ha egy keresőrobot technikailag nem tudja lekérni az oldalakat, az nem ugyanaz a helyzet, mint amikor egy webhely egyszerűen megtiltja, hogy tartalmát AI-modell tanítására használják. A keresőrobot tartós blokkolása feltérképezési és később indexelési problémákat is okozhat.

Ez nem azt jelenti, hogy a Cloudflare automatikusan letiltja a Googlebotot mindenkinél

Fontos különbség, hogy nem általános Googlebot-blokkolásról van szó. Az új domaineknél a Search kategória alapértelmezetten engedélyezett marad. A kockázat akkor jelenik meg, amikor egy többcélú crawler egyik másik viselkedésére – például Trainingre – blokkolási szabály vonatkozik.

Ezért nem érdemes abból kiindulni, hogy az „AI botok blokkolása” biztosan nincs hatással a keresőoptimalizálásra. A tényleges működés attól függ, milyen Cloudflare-beállítások aktívak, és az adott crawler milyen viselkedési kategóriákba van besorolva.

Mit érdemes most ellenőrizni a Cloudflare-ben?

Cloudflare-t használó webhelyeknél érdemes átnézni az AI botokra vonatkozó szabályokat, különösen akkor, ha korábban bekapcsoltad a régi Block AI bots funkciót, vagy kifejezetten szeretnéd tiltani a tartalmad AI-tréningre történő felhasználását.

• Nyisd meg az adott domain Security Settings beállításait.
• Keresd meg az AI botokra vagy botforgalomra vonatkozó szabályokat.
• Ellenőrizd külön a Search, Agent és Training kategóriák beállítását.
• Ha a Training blokkolva van, ellenőrizd, hogyan kezeli a rendszer a többcélú crawlereket.
• SEO szempontból különösen fontos, hogy a kereséshez szükséges robotok hozzáférése megfeleljen a saját szándékodnak.
• Egy módosítás után érdemes a Search Console és a szerver- vagy Cloudflare-logok alapján is figyelni a crawl aktivitást.

A robots.txt és a Cloudflare blokkolása nem ugyanaz

A robots.txt alapvetően utasítást vagy preferenciát közöl a crawlerekkel. A Cloudflare dokumentációja is kiemeli, hogy a robots.txt szabályainak betartása önkéntes: egy robot technikailag figyelmen kívül hagyhatja az ott szereplő kérést.

A Cloudflare AI crawler-szabályai ezzel szemben hálózati szinten is képesek ténylegesen blokkolni a kéréseket. Ez sokkal erősebb kontrollt ad a webhely tulajdonosának, ugyanakkor nagyobb figyelmet is igényel, mert egy rosszul megválasztott blokkolási szabály valóban megakadályozhatja egy crawler hozzáférését.

AI-tréning tiltása és keresőből való láthatóság: két külön cél

Sok webhely tulajdonosa szeretné megakadályozni, hogy tartalmát AI-modellek tanítására használják, miközben továbbra is szeretne megjelenni a Google, a Bing és más keresők találatai között. A Cloudflare új kategóriái elvileg pontosan ezt a különbséget próbálják kezelhetővé tenni.

A többcélú crawlerek azonban megnehezítik a szétválasztást. Ha ugyanaz a robot több feladatot is végez, a webhely tulajdonosának el kell döntenie, hogy melyik felhasználást tekinti fontosabbnak. A Cloudflare ezért a crawlerek viselkedésének átláthatóbb besorolását sürgeti.

Mit jelent ez SEO szempontból?

Technikai SEO-nál eddig is alapvető volt annak ellenőrzése, hogy a Googlebot hozzáfér-e az indexelni kívánt URL-ekhez. Az AI crawler-szabályok terjedésével ehhez egy új ellenőrzési pont társul: a CDN, WAF vagy botvédelmi rendszer nem blokkolja-e véletlenül azt a keresőrobotot, amelytől organikus láthatóságot várunk.

Egy weboldal robots.txt fájlja lehet tökéletes, a meta robots beállítása lehet index, és a canonical URL is lehet helyes – ha a szerver vagy a Cloudflare már a kérés szintjén megtagadja a hozzáférést a crawlertől, a kereső nem feltétlenül tudja megfelelően feltérképezni az oldalt.

Röviden: mire figyelj szeptember 15-től?

• A Cloudflare külön kezeli a Search, Agent és Training botviselkedést.
• Az új domaineknél a Training és Agent botok hirdetést tartalmazó oldalakon alapértelmezetten blokkoltak, a Search engedélyezett marad.
• A többcélú crawlereknél a szigorúbb alkalmazható szabály érvényesülhet.
• A Cloudflare a Googlebotot, Applebotot és BingBotot is megnevezi többcélú crawlerként.
• A Training blokkolása ezért bizonyos konfigurációkban keresési crawlereket is érinthet.
• A robots.txt-ban megadott kérés és a hálózati szintű Cloudflare-blokkolás nem ugyanaz.
• Cloudflare-t használó webhelyeknél érdemes ma ellenőrizni az AI bot policy beállításokat.

A crawler-kezelés mostantól technikai SEO-kérdés is

Az AI-crawlerek terjedésével egyre kevésbé működik az az egyszerű felosztás, hogy vannak keresőrobotok és vannak AI-botok. Ugyanaz a crawler többféle célra is használható, miközben a webhely tulajdonosa nem feltétlenül szeretné minden felhasználási módhoz ugyanazt a hozzáférést megadni.

A Cloudflare szeptember 15-i változása ezért nem csak AI- vagy adatvédelmi kérdés. Aki Cloudflare-en keresztül védi a webhelyét, annak a crawler-szabályokat mostantól a technikai SEO részeként is érdemes kezelnie: pontosan tudni kell, kit blokkolunk, miért blokkoljuk, és közben mely robotoktól várjuk, hogy továbbra is megtalálják és indexeljék az oldalainkat.