robots.txt SEO: mire való, mit tilt és hogyan használd?
Mit szabályoz a robots.txt, és mit nem?
Röviden
A robots.txt a crawler hozzáférését szabályozza bizonyos útvonalakhoz. Nem ugyanaz, mint a noindex, és önmagában nem megbízható módszer egy URL keresési indexből való eltávolítására.
Mire való?
A robots.txt elsősorban a crawl hozzáférést szabályozza. Megadhatod, hogy bizonyos botok mely útvonalakat ne térképezzenek fel.
Nem noindex
A robots.txt tiltás nem ugyanaz, mint a noindex. Egy blokkolt URL bizonyos esetekben továbbra is megjelenhet az indexben, ha a Google más forrásból ismeri.
Egyszerű robots.txt példa
Ebben a példában minden robot számára tiltott az /admin/ útvonal crawlja, a sitemap helyét pedig külön megadjuk. A robots.txt szabályoknál mindig pontosan ellenőrizd, mely URL-ekre illeszkedik egy útvonal.
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlMire nem való a robots.txt?
A robots.txt crawl szabályozásra való, nem megbízható eltávolítási eszköz a Google indexéből. Ha egy blokkolt URL-re más oldalakról link mutat, a Google az URL-t a tartalom crawlolása nélkül is ismerheti.
Ha az a célod, hogy egy elérhető dokumentum ne szerepeljen a keresési indexben, a noindex direktíva a megfelelő jelzés. Ehhez viszont a Google-nak hozzá kell férnie az oldalhoz, hogy elolvashassa a direktívát.
Gyakori robots.txt hibák
- Véletlenül teljes webhely vagy fontos könyvtár letiltása.
- CSS vagy JavaScript erőforrások blokkolása, amelyek kellenek a rendereléshez.
- A robots.txt és a noindex szerepének összekeverése.
- Nem létező vagy rossz sitemap URL megadása.
- Élesítés után fejlesztői Disallow szabály bent hagyása.
Gyakori kérdések
A robots.txt eltávolít egy oldalt a Google-ből?
Nem megbízhatóan. A robots.txt a crawlingot szabályozza. Indexből való kizárásra az elérhető oldalon alkalmazott noindex való.
Lehet sitemap URL a robots.txt fájlban?
Igen. A Sitemap mezővel megadhatod egy vagy több sitemap teljes URL-jét.
Források és további olvasnivaló
A technikai állítások ellenőrzéséhez elsődlegesen hivatalos dokumentációt érdemes használni. A keresők működése és támogatott funkciói idővel változhatnak.