2026. szeptember 15-én életbe lép a Cloudflare AI crawler-kezelésének fontos változása. A szolgáltató a webes robotokat már nem egyszerűen egyetlen „AI bot” kategóriaként kezeli: a webhelytulajdonosok külön szabályozhatják a Search, Agent és Training célú botforgalmat. A mai naptól új alapértelmezések is érvénybe lépnek az újonnan Cloudflare-re kerülő domaineknél.

A változás technikai SEO szempontból azért különösen fontos, mert egyes crawlerek több célt is szolgálhatnak. A Cloudflare szerint a keresésre és modelltréningre egyaránt használt többcélú robotokra a legszigorúbb alkalmazható szabály érvényesülhet. Emiatt egy AI-tréning blokkolására szánt beállítás bizonyos konfigurációkban olyan keresőrobotokat is érinthet, mint a Googlebot, az Applebot vagy a BingBot.

A Cloudflare 2026 júliusában vezette be az AI-forgalom részletesebb kezelését. A korábbi, általános Block AI bots kapcsoló helyett három fő viselkedési kategóriát különböztet meg: Search, Agent és Training. Ezekhez külön engedélyezési vagy blokkolási szabályok állíthatók be.

Szeptember 15-től az újonnan Cloudflare-re kerülő domaineknél a Training és Agent kategóriába sorolt botok alapértelmezetten blokkolva lesznek azokon az oldalakon, ahol a Cloudflare hirdetést érzékel. A Search kategória ezzel szemben alapértelmezetten engedélyezett marad.

A többcélú crawlerek miatt válik igazán fontossá a változás

A legfontosabb újdonság nem önmagában a három kategória, hanem az, ahogyan a Cloudflare a többféle célt egyszerre kiszolgáló crawlereket kezeli. Egy bot ugyanis használható egyszerre klasszikus keresési indexelésre és AI-modellekhez kapcsolódó adatgyűjtésre is.

A Cloudflare szeptember 15-től az ilyen többcélú crawlereknél minden ismert viselkedést figyelembe vesz. Ha egy webhely tulajdonosa blokkolja a Training kategóriát, akkor a keresési és tréningcélúként is besorolt crawlerre a szigorúbb szabály alkalmazható.

A Googlebotot is blokkolhatja egy Training szabály

A Cloudflare saját bejelentése külön megnevezi a Googlebotot, az Applebotot és a BingBotot a többcélú crawlerek példái között. A szolgáltató szerint azoknál az ügyfeleknél, akik a Training viselkedést blokkolják, ezek a crawlerek is blokkolás alá kerülhetnek, ha a Cloudflare az adott robotot Search és Training célúként egyaránt kezeli.

Ez már közvetlen SEO-kockázat. Ha egy keresőrobot technikailag nem tudja lekérni az oldalakat, az nem ugyanaz a helyzet, mint amikor egy webhely egyszerűen megtiltja, hogy tartalmát AI-modell tanítására használják. A keresőrobot tartós blokkolása feltérképezési és később indexelési problémákat is okozhat.

Ez nem azt jelenti, hogy a Cloudflare automatikusan letiltja a Googlebotot mindenkinél

Fontos különbség, hogy nem általános Googlebot-blokkolásról van szó. Az új domaineknél a Search kategória alapértelmezetten engedélyezett marad. A kockázat akkor jelenik meg, amikor egy többcélú crawler egyik másik viselkedésére – például Trainingre – blokkolási szabály vonatkozik.

Ezért nem érdemes abból kiindulni, hogy az „AI botok blokkolása” biztosan nincs hatással a keresőoptimalizálásra. A tényleges működés attól függ, milyen Cloudflare-beállítások aktívak, és az adott crawler milyen viselkedési kategóriákba van besorolva.

Mit érdemes most ellenőrizni a Cloudflare-ben?

Cloudflare-t használó webhelyeknél érdemes átnézni az AI botokra vonatkozó szabályokat, különösen akkor, ha korábban bekapcsoltad a régi Block AI bots funkciót, vagy kifejezetten szeretnéd tiltani a tartalmad AI-tréningre történő felhasználását.

A robots.txt és a Cloudflare blokkolása nem ugyanaz

A robots.txt alapvetően utasítást vagy preferenciát közöl a crawlerekkel. A Cloudflare dokumentációja is kiemeli, hogy a robots.txt szabályainak betartása önkéntes: egy robot technikailag figyelmen kívül hagyhatja az ott szereplő kérést.

A Cloudflare AI crawler-szabályai ezzel szemben hálózati szinten is képesek ténylegesen blokkolni a kéréseket. Ez sokkal erősebb kontrollt ad a webhely tulajdonosának, ugyanakkor nagyobb figyelmet is igényel, mert egy rosszul megválasztott blokkolási szabály valóban megakadályozhatja egy crawler hozzáférését.

AI-tréning tiltása és keresőből való láthatóság: két külön cél

Sok webhely tulajdonosa szeretné megakadályozni, hogy tartalmát AI-modellek tanítására használják, miközben továbbra is szeretne megjelenni a Google, a Bing és más keresők találatai között. A Cloudflare új kategóriái elvileg pontosan ezt a különbséget próbálják kezelhetővé tenni.

A többcélú crawlerek azonban megnehezítik a szétválasztást. Ha ugyanaz a robot több feladatot is végez, a webhely tulajdonosának el kell döntenie, hogy melyik felhasználást tekinti fontosabbnak. A Cloudflare ezért a crawlerek viselkedésének átláthatóbb besorolását sürgeti.

Technikai SEO-nál eddig is alapvető volt annak ellenőrzése, hogy a Googlebot hozzáfér-e az indexelni kívánt URL-ekhez. Az AI crawler-szabályok terjedésével ehhez egy új ellenőrzési pont társul: a CDN, WAF vagy botvédelmi rendszer nem blokkolja-e véletlenül azt a keresőrobotot, amelytől organikus láthatóságot várunk.

Egy weboldal robots.txt fájlja lehet tökéletes, a meta robots beállítása lehet index, és a canonical URL is lehet helyes – ha a szerver vagy a Cloudflare már a kérés szintjén megtagadja a hozzáférést a crawlertől, a kereső nem feltétlenül tudja megfelelően feltérképezni az oldalt.

Röviden: mire figyelj szeptember 15-től?

A crawler-kezelés mostantól technikai SEO-kérdés is

Az AI-crawlerek terjedésével egyre kevésbé működik az az egyszerű felosztás, hogy vannak keresőrobotok és vannak AI-botok. Ugyanaz a crawler többféle célra is használható, miközben a webhely tulajdonosa nem feltétlenül szeretné minden felhasználási módhoz ugyanazt a hozzáférést megadni.

A Cloudflare szeptember 15-i változása ezért nem csak AI- vagy adatvédelmi kérdés. Aki Cloudflare-en keresztül védi a webhelyét, annak a crawler-szabályokat mostantól a technikai SEO részeként is érdemes kezelnie: pontosan tudni kell, kit blokkolunk, miért blokkoljuk, és közben mely robotoktól várjuk, hogy továbbra is megtalálják és indexeljék az oldalainkat.

A szeptember 15-i változás részleteit a Cloudflare eredeti bejelentése ismerteti.

Az aktuális Search, Agent és Training bot policy beállításokat a Cloudflare dokumentációja részletesen bemutatja.

A robots.txt és a tényleges crawler-blokkolás közötti különbségről a Cloudflare managed robots.txt dokumentációjában olvashatsz.

Ha a saját weboldalad technikai SEO-beállításait szeretnéd ellenőrizni, a ByBence ingyenes eszközei külön oldalon érhetők el.

2026. szeptember 15-én életbe lépnek a Cloudflare új AI crawler-alapértelmezései. A Search, Agent és Training botok külön kezelhetők, a többcélú crawlerek blokkolása pedig SEO-kockázatot is jelenthet.

SEO hírek

Ma változik a Cloudflare AI crawler-kezelése: a Googlebotot is érintheti egy rossz beállítás