robots.txt SEO: mire való, mit tilt és hogyan használd?
Mit szabályoz a robots.txt, és mit nem?
Röviden
A robots.txt a crawler hozzáférését szabályozza bizonyos útvonalakhoz. Nem ugyanaz, mint a noindex, és önmagában nem megbízható módszer egy URL keresési indexből való eltávolítására.
Mire való?
A robots.txt elsősorban a crawl hozzáférést szabályozza. Megadhatod, hogy bizonyos botok mely útvonalakat ne térképezzenek fel.
Interaktív gyakorlat
Crawl → index folyamat
Kapcsold be a robots tiltást vagy a noindexet, és nézd meg, hol változik meg a folyamat. A kettő nem ugyanazt csinálja.
robots.txt tiltja a crawl-t
meta robots: noindex
✓ Link megtalálva
→
✓ Googlebot lekéri
→
✓ Oldal tartalma olvasható
→
✓ Indexelhető
Az oldal jelenleg crawlolható és indexelhetőnek jelzett.
Nem noindex
A robots.txt tiltás nem ugyanaz, mint a noindex. Egy blokkolt URL bizonyos esetekben továbbra is megjelenhet az indexben, ha a Google más forrásból ismeri.
Egyszerű robots.txt példa
Ebben a példában minden robot számára tiltott az /admin/ útvonal crawlja, a sitemap helyét pedig külön megadjuk. A robots.txt szabályoknál mindig pontosan ellenőrizd, mely URL-ekre illeszkedik egy útvonal.
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlMire nem való a robots.txt?
A robots.txt crawl szabályozásra való, nem megbízható eltávolítási eszköz a Google indexéből. Ha egy blokkolt URL-re más oldalakról link mutat, a Google az URL-t a tartalom crawlolása nélkül is ismerheti.
Ha az a célod, hogy egy elérhető dokumentum ne szerepeljen a keresési indexben, a noindex direktíva a megfelelő jelzés. Ehhez viszont a Google-nak hozzá kell férnie az oldalhoz, hogy elolvashassa a direktívát.
Gyakori robots.txt hibák
- Véletlenül teljes webhely vagy fontos könyvtár letiltása.
- CSS vagy JavaScript erőforrások blokkolása, amelyek kellenek a rendereléshez.
- A robots.txt és a noindex szerepének összekeverése.
- Nem létező vagy rossz sitemap URL megadása.
- Élesítés után fejlesztői Disallow szabály bent hagyása.
Gyakori kérdések
A robots.txt eltávolít egy oldalt a Google-ből?
Nem megbízhatóan. A robots.txt a crawlingot szabályozza. Indexből való kizárásra az elérhető oldalon alkalmazott noindex való.
Lehet sitemap URL a robots.txt fájlban?
Igen. A Sitemap mezővel megadhatod egy vagy több sitemap teljes URL-jét.
Saját adat / ByBence Webindex 2026
Így néz ki ez a gyakorlatban debreceni vállalkozói weboldalakon.
Az első nyilvános állapotkép 100 kiválasztott helyi webhelyből 53 feldolgozott webhelyet tartalmaz. A riport külön nevezővel mutatja a canonical, strukturált adatok, sitemap és mobil Lighthouse eredményeket.
Debreceni weboldalak 2026 – kutatási eredmények →Források és további olvasnivaló
A technikai állítások ellenőrzéséhez elsődlegesen hivatalos dokumentációt érdemes használni. A keresők működése és támogatott funkciói idővel változhatnak.
SEO a gyakorlatban
Ha ezt egy valódi weboldalon szeretnéd rendbe tenni.
Az Academy a működést magyarázza el. A szolgáltatásoldalakon azt látod, hogyan néz ki ugyanez auditként vagy egy új weboldal technikai alapjaként.