Tester robots.txt

Otestujte, zda vaše pravidla v robots.txt povolují nebo blokují přístup ke konkrétní URL. Zjistěte, které pravidlo se aplikuje.

Vložte obsah vašeho robots.txt souboru nebo ho načtete z webu.

Zadejte cestu bez domény (např. /admin/ nebo /blog/článek)

Vyberte crawlera, pro kterého chcete otestovat pravidla

Jak funguje robots.txt

Soubor robots.txt říká vyhledávacím robotům, které části vašeho webu mohou indexovat a které ne. Je to první věc, kterou crawler čte.

Základní syntaxe

User-agent: *

Pravidla pro všechny crawlery

Allow: /public/

Povolí přístup k /public/ a podsložkám

Disallow: /admin/

Zablokuje přístup k /admin/ a podsložkám

Sitemap: https://...

Odkaz na sitemapu pro crawlery

Wildcards a vzory

Disallow: /*.pdf$

Zablokuje všechny PDF soubory ($ = konec URL)

Disallow: /*/private/

Zablokuje /cokoliv/private/ (* = libovolný text)

Disallow: /*?

Zablokuje všechny URL s query parametry

Crawl-delay: 10

Prodleva mezi requesty (Google ignoruje)

Časté chyby v robots.txt

Blokování CSS a JS

Google potřebuje načíst CSS a JS pro správné renderování stránky. Blokování těchto souborů může negativně ovlivnit ranking.

Disallow: / pro všechny

Toto pravidlo zablokuje celý web pro všechny crawlery. Používejte pouze dočasně (např. na staging).

Chybějící sitemap

Přidejte odkaz na sitemap.xml - pomáhá crawlerům najít všechny důležité stránky.

Spoléhání na Crawl-delay

Google a Bing Crawl-delay ignorují. Pro řízení rychlosti crawlování použijte Search Console.

Často kladené otázky

Soubor robots.txt musí být v kořenovém adresáři webu, tj. na adrese https://vasedomena.cz/robots.txt. Crawlery hledají přesně na této adrese.

Příklad správného robots.txt

# Pravidla pro všechny crawlery
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /api/
Disallow: /*?*         # URL s query parametry
Allow: /api/public/

# Specifická pravidla pro Google
User-agent: Googlebot
Allow: /

# Blokování specifických botů
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

# Sitemap (důležité!)
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-posts.xml

Google dokumentace

Oficiální příručka

Bing dokumentace

Příručka pro Bing

Wikipedia

Historie a standardy

Potřebujete kompletní technický audit?

robots.txt je jen začátek. Pro skutečně dobré SEO potřebujete zkontrolovat desítky technických faktorů.

Zjistit více o technickém auditu