ByBence / Blog
SEO
Robots.txt útmutató: Allow, Disallow és Googlebot ellenőrzés
Mi az a robots.txt, hogyan működik az Allow és Disallow, mit jelent a User-agent, és hogyan ellenőrizd, hogy a Googlebot feltérképezhet-e egy URL-t?
Balogh Bence
9 perc
A robots.txt az egyik legegyszerűbb SEO-fájl, mégis komoly feltérképezési hibát lehet vele okozni. Egy túl széles Disallow szabály elrejthet fontos oldalakat a crawl elől, miközben egy hiányzó robots.txt önmagában általában nem probléma.
Ha rögtön egy domain aktuális szabályait szeretnéd ellenőrizni, használd az ingyenes eszközt.
Robots.txt ellenőrző→Mi az a robots.txt?
A robots.txt egy nyilvánosan elérhető szövegfájl a domain gyökerében. User-agent csoportokkal adható meg, hogy egy robot mely útvonalakat feltérképezheti vagy melyeket kerülje.
User-agent
A User-agent sor megmondja, mely robotra vonatkozik a blokk. A csillag általános csoport, míg például a Googlebot név konkrét crawlerre céloz.
Allow és Disallow
A Disallow tiltott crawl útvonalat jelöl, az Allow pedig kivételt engedhet egy egyébként tiltott könyvtáron belül. Egymással ütköző szabályoknál a pontos illeszkedés és a crawler implementációja számít.
A robots.txt nem noindex
Gyakori hiba, hogy valaki Disallow segítségével szeretné eltávolítani az URL-t a Google-ből. Ettől az URL még ismert maradhat külső vagy belső linkekből. Ha noindex a cél, a keresőnek hozzá kell férnie az oldalhoz, hogy a noindex jelzést elolvashassa.
Sitemap megadása
A robots.txt fájlban Sitemap sorokkal hivatkozhatsz XML sitemapekre. Ez nem kötelező, de tiszta felfedezési útvonalat adhat a keresőknek.
Az XML sitemapet külön is ellenőrizheted URL-szám, formátum és alapvető hibák szerint.
Sitemap ellenőrző→Gyakori hibák
- Disallow: / véletlenül éles környezetben
- CSS vagy JavaScript erőforrások indokolatlan tiltása
- staging környezet szabályainak átmásolása productionre
- noindex és robots.txt összekeverése
- nem létező vagy másik hoston keresett robots.txt
Összefoglalás
A robots.txt akkor jó, ha szándékos, egyszerű és ellenőrizhető. Ne használd indexelésbiztonsági kapcsolóként, és minden élesítés vagy migráció után teszteld a fontos URL-eket konkrét User-agenttel.
Gyakori kérdések
A robots.txt kizárja az oldalt a Google indexéből?
Nem feltétlenül. A robots.txt a feltérképezést szabályozza; az indexelés kizárásához általában noindex direktíva szükséges olyan oldalon, amelyet a robot el tud érni.
Hol található a robots.txt?
A webhely hostjának gyökerében, például https://pelda.hu/robots.txt címen.
Lehet több Sitemap sor a robots.txt-ben?
Igen. Több Sitemap direktíva is megadható, és ezek nem kötődnek egyetlen User-agent blokkhoz.
Kapcsolódó szolgáltatás
Nem csak automatikus pontszámot szeretnél?
A részletes SEO elemzésnél technikai, on-page, tartalmi és belső linkelési problémákat is átnézek, majd prioritás szerint összerakom, mit érdemes javítani. Az elemzés ára a weboldal méretétől és mélységétől függően 10–20 ezer Ft.