Mi az a crawling SEO-ban? Így térképez a Googlebot
Hogyan járják be a keresőrobotok a webet, és hogyan találják meg az oldalakat?
Röviden
A crawling során a keresőrobot URL-eket fedez fel és kér le. A crawler jellemzően linkekből, sitemapből és korábban ismert URL-ekből talál új vagy frissítendő oldalakat.
Mi az a crawling?
A crawling során a keresőrobot URL-eket fedez fel és kér le. A Google esetében ezt a feladatot elsősorban a Googlebot végzi.
A crawler linkeket követ, korábban ismert URL-eket látogat újra, és sitemapekből is találhat új oldalakat.
Interaktív gyakorlat
Crawl → index folyamat
Kapcsold be a robots tiltást vagy a noindexet, és nézd meg, hol változik meg a folyamat. A kettő nem ugyanazt csinálja.
robots.txt tiltja a crawl-t
meta robots: noindex
✓ Link megtalálva
→
✓ Googlebot lekéri
→
✓ Oldal tartalma olvasható
→
✓ Indexelhető
Az oldal jelenleg crawlolható és indexelhetőnek jelzett.
Crawlability
Egy oldal crawlable, ha a keresőrobot technikailag el tudja érni. A robots.txt szabályok, hibás szerverválaszok, autentikáció vagy rossz URL-struktúra akadályozhatják ezt.
Miért fontos?
Amit a Google nem tud elérni, azt nem tudja megfelelően feldolgozni és indexelni sem.
Hogyan talál meg egy új oldalt?
Tegyük fel, hogy létrehozol egy új cikket. Ha a főoldalról vagy egy kategóriaoldalról belső link mutat rá, a crawler egy már ismert oldal következő bejárásakor felfedezheti az új URL-t. A sitemap ugyanehhez további felfedezési jelzést adhat.
A crawler linkeken keresztül fedez fel új URL-eket
Ismert URL
Belső link
Új URL
Googlebot
Honnan találhat új URL-eket a crawler?
A keresőrobot új URL-eket leggyakrabban már ismert oldalakon található crawlolható linkekből fedez fel. Sitemapek, korábban ismert URL-ek és külső hivatkozások szintén segíthetik a felfedezést.
Egy URL megléte önmagában nem jelenti azt, hogy a kereső is ismeri. Ha az oldal belső link nélkül, elszigetelten létezik, a crawler számára nehezebben felfedezhető és a webhely struktúrájában is kevésbé értelmezhető.
Gyakori crawling problémák
- robots.txt tiltja a szükséges útvonal vagy erőforrás lekérését.
- A szerver 4xx vagy 5xx választ ad a crawlernek.
- A fontos link nem valódi <a href> linkként jelenik meg.
- Az oldal csak bejelentkezés vagy más hozzáférési korlát után érhető el.
- A belső linkstruktúrában az URL túl mélyen vagy egyáltalán nem szerepel.
Gyakori kérdések
A crawling és az indexelés ugyanaz?
Nem. Crawlingkor a keresőrobot felfedez és lekér egy URL-t. Indexeléskor a Google feldolgozza a tartalmat, és eldöntheti, hogy bekerüljön-e a keresési indexbe.
A sitemap garantálja, hogy a Google crawlolja az oldalt?
Nem. A sitemap fontos felfedezési segítség, de nem garantál sem crawlingot, sem indexelést.
Források és további olvasnivaló
A technikai állítások ellenőrzéséhez elsődlegesen hivatalos dokumentációt érdemes használni. A keresők működése és támogatott funkciói idővel változhatnak.
SEO a gyakorlatban
Ha ezt egy valódi weboldalon szeretnéd rendbe tenni.
Az Academy a működést magyarázza el. A szolgáltatásoldalakon azt látod, hogyan néz ki ugyanez auditként vagy egy új weboldal technikai alapjaként.