Robots.txt 2026: Strážce Vašeho Webu Před SEO Peklem

Je to jen textový soubor o velikosti pár kilobajtů. Přesto má robots.txt moc srazit váš byznys na kolena. Stačí jedno chybné lomítko a Google přestane váš web vidět. Ze dne na den.

V roce 2026 už ale nejde jen o Googlebota. Váš web navštěvují desítky "hladoletů" — AI boti (GPTBot, ClaudeBot, Google-Extended), kteří netouží po tom vás rankovat. Chtějí vaše data, aby na nich zdarma natrénovali své modely.

V tomto článku vám ukážu, jak nastavit robots.txt tak, aby pustil dovnitř zákazníky (Google) a vykopnul zloděje dat (AI scrapers).

Co je robots.txt (Vrátník vašeho webu)

Představte si váš web jako exkluzivní klub. robots.txt je svalnatý vyhazovač u dveří. V ruce má seznam:

• "Ty s tou čepičkou Googlebot? Pojď dál, pro tebe máme VIP salónek."
• "Ty s tou maskou GPTBot? Pro tebe máme zavřeno."

Technicky je to textový soubor v kořenovém adresáři (vasedomena.cz/robots.txt), který využívá protokol REP (Robots Exclusion Protocol).

Důležité: Je to doporučení, ne zákon. Slušní roboti (Google, Bing, Seznam) ho respektují. Škodliví boti (hackeři) ho ignorují.

K čemu slouží?

1. Optimalizace rozpočtu crawlování (crawl budget): Říkáte Googlu: "Neztrácej čas v admin sekci nebo ve filtrech. Běž raději indexovat produkty."
2. Ochrana soukromí: Skrytí technických sekcí (košík, přihlášení, PDF faktury).
3. Blokování AI: Zákaz trénování modelů na vašem obsahu.

Syntaxe: Jak mluvit s roboty

Jazyk robotů je primitivní. Zvládne ho i dítě.

Základní příkazy

• User-agent: Komu to říkáte? (Jméno robota nebo * pro všechny).
• Disallow: Kam nesmí? (Cesta k adresáři nebo souboru).
• Allow: Kam smí? (Výjimka v zákazu).
• Sitemap: Kde je mapa webu?

Příklad "zlatého standardu" pro e-shop

User-agent: *
Disallow: /admin/
Disallow: /kosik/
Disallow: /ucet/
Disallow: /*?filter=
Disallow: /*?sort=

User-agent: GPTBot
Disallow: /

Sitemap: https://vasedomena.cz/sitemap.xml

AI Wars: Jak zablokovat AI boty v roce 2026

Pokud tvoříte originální obsah, nechcete, aby ho OpenAI použila k tomu, aby její ChatGPT odpovídal na otázky vašich potenciálních zákazníků, aniž by k vám přišli.

Čísla mluví jasně: Podle Cloudflare vzrostl provoz GPTBot mezi květnem 2024 a květnem 2025 o 305 %. Téměř 21 % z 1000 nejnavštěvovanějších webů světa má pravidla pro GPTBot ve svém robots.txt (Paul Calvano, 2025). Trénování AI modelů generuje až 8x větší objem crawlování než vyhledávače.

Zde je seznam největších "vykradačů", které doporučuji blokovat:

1. GPTBot (OpenAI)

User-agent: GPTBot
Disallow: /

Tímto říkáte ChatGPT: "Nesmíš použít můj web k trénování."

Pozor (prosinec 2025): OpenAI změnil pravidla - bot ChatGPT User (pro uživatelské akce) nyní robots.txt ignoruje. Blokování GPTBot zabrání pouze trénování, ne live odpovědím v ChatGPT.

2. CCBot (Common Crawl)

Obrovský dataset, který používá většina menších AI modelů.

User-agent: CCBot
Disallow: /

3. Google-Extended

Tento bot slouží pro Gemini a Vertex AI. Pozor: Nezaměňovat s Googlebot (toho potřebujete pro vyhledávání!). Google-Extended je pouze pro trénování AI.

User-agent: Google-Extended
Disallow: /

4. ClaudeBot (Anthropic)

User-agent: ClaudeBot
Disallow: /

Můj názor: Pokud nejste Wikipedia, blokujte je. Nedávají vám nic zpět (žádný traffic), jen berou.

Nejste sami - podle BuzzStream analýzy 79 % top zpravodajských webů blokuje alespoň jednoho AI bota. CCBot (Common Crawl) blokuje 75 % z nich, Anthropic-ai 72 %, GPTBot 62 %.

Nechce se vám tohle všechno řešit vlastními silami? Přesně tyhle věci dělám za majitele firem každý den. Pošlete mi adresu webu a do 48 hodin víte, co vás v Googlu brzdí a co bych opravila jako první — zdarma a bez závazku.

Chci SEO audit zdarma

5 smrtelných hříchů v robots.txt

Za svou kariéru jsem viděla robots.txt zničit mnoho webů. Tady jsou ty nejhorší chyby.

1. Zabila jsem celý web (The Slate-Wiper)

User-agent: *
Disallow: /

Jedno lomítko. To je vše. Tento příkaz říká: "Nikdo sem nesmí." Často zůstane na webu po přesunu z vývojové verze (kde má smysl) na ostrou.

Mějte na to checklist!

2. Blokování CSS a JS (The Design-Killer)

Disallow: /css/
Disallow: /js/

Dříve (kolem roku 2010) to bylo běžné. Dnes Google potřebuje vidět styly, aby pochopil, zda je web responzivní (mobile-friendly). Pokud mu zakážete vidět CSS, uvidí web jako rozsypaný text a pošle vás v rankingu dolů.

3. Konfliktní pravidla (The Confuser)

Googlebot respektuje nejkonkrétnější pravidlo.

Disallow: /blog/
Allow: /blog/clanek-1

Toto funguje. Ale pokud máte v souboru chaos, bot se může zachovat nepředvídatelně. Držte se jednoduchosti.

4. Noindex přes Robots.txt (The Paradox)

Chcete deindexovat stránku, tak ji dáte do robots.txt. Chyba!

Pokud Googlebot nesmí na stránku vstoupit, nemůže si přečíst meta tag <meta name="robots" content="noindex">.

Výsledek: Stránka zůstane v indexu (bez popisu), protože na ni někdo odkazuje.

Řešení: Pro deindexaci použijte meta tag, ne robots.txt!

5. Citlivá data (The Leaker)

Disallow: /tajny-projekt-neverejne/

Hackeři milují robots.txt. První věc, kterou udělají, je, že se podívají, co skrýváte. Pokud tam dáte cestu k tajným datům, právě jste jim dali mapu k pokladu.

Tajné věci chraňte heslem, ne textovým souborem.

Jak testovat robots.txt (Než zmáčknete Enter)

Nikdy, opakuji, NIKDY needitujte robots.txt přímo na produkci bez testu.

1. Google Robots Testing Tool: Bohužel Google tento nástroj ve staré Search Console zabil. V nové GSC vidíte jen stav aktuálního souboru.
2. Merkle Robots.txt Tester: technicalseo.com — Skvělý externí nástroj. Vložte URL a pravidla a simulujte přístup.
3. Screaming Frog: Můj favorit. Spusťte crawl v režimu "Ignore robots.txt", ale v nastavení si zapněte report "Robots.txt blocked".

Co robots.txt NEUMÍ (a časté pasti)

Robots.txt NEZABRAŇUJE indexaci

Tohle je nejčastější mýtus. Spousta lidí si myslí: "Zakážu v robots.txt, Google to neindexuje." Špatně.

Robots.txt říká: "Nechoď tam." Ale Google může stránku indexovat i bez procházení, pokud na ni vede odkaz odjinud.

Příklad:

Máte stránku /private/heslo.html a v robots.txt je:

Disallow: /private/

Google stránku nenavštíví. Ale pokud na ni vede odkaz z jiného webu, Google ji může zobrazit ve výsledcích s popisem "Informace o této stránce nejsou k dispozici kvůli robots.txt".

Co použít místo robots.txt pro neindexaci

Pokud chcete, aby stránka nebyla v Google vůbec, použijte:

Meta tag:

<meta name="robots" content="noindex">

HTTP hlavička:

X-Robots-Tag: noindex

To je skutečný zákaz indexace. Více o tom v článku Noindex: Jak vyřadit stránky z Google.

Robots.txt není ochrana citlivých dat

Soubor je veřejný. Kdokoliv může otevřít vas-web.cz/robots.txt a vidět, co jste zakázali.

Občas tam lidi píšou:

Disallow: /tajne-dokumenty/
Disallow: /internal-reports/

Gratuluju, právě jste řekli celému internetu, kde máte citlivá data.

Pro ochranu použijte:

• Přihlášení (login a heslo)
• Firewall nebo IP whitelisting

Případová studie

📈 Fintech startup: Z bezpečnostní díry k TOP 5 za 6 měsíců

Spolupracovala jsem s fintech startupem, který měl nejen špatně nastavený robots.txt, ale i nízkou autoritu webu v konkurenčním prostředí.

Metrika	Před	Po 6 měsících
Domain Authority	19	41
Organická návštěvnost	1 500/měs	8 200/měs

Co rozhodlo: Opravili jsme technické nastavení a podpořili ho masivním budováním odkazů z DA50+ finančních a tech portálů. PR články na prestižních webech vybudovaly důvěryhodnost, kterou fintech sektor vyžaduje.

→ Chcete podobné výsledky?

Pokročilé direktivy

Wildcards (zástupné znaky)

Robots.txt podporuje dva speciální znaky:

Hvězdička * = jakýkoliv text

Disallow: /search?*

Zakáže všechny URL začínající na /search? (interní vyhledávání).

Dolar $ = konec URL

Disallow: /*.pdf$

Zakáže všechny PDF soubory.

Crawl-delay (pozor, nepoužívat u Google)

Některé crawlery podporují Crawl-delay — pauzu mezi požadavky:

User-agent: *
Crawl-delay: 10

Google to ignoruje. Místo toho použijte nastavení v Google Search Console.

Typický robots.txt pro e-shop (2026)

# Obecná pravidla pro všechny crawlery
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=

Allow: /

# Blokace AI tréninkových botů (volitelné)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://vas-eshop.cz/sitemap.xml

Co to dělá:

• Zakazuje admin, košík, checkout, účet uživatele
• Zakazuje interní vyhledávání a stránky s filtry (duplicity)
• Blokuje AI tréninkové boty (pokud nechcete, aby vaše produktové popisy trénovaly AI modely)
• Odkazuje na sitemap

Závěr: Respektujte vrátníka

robots.txt je malý soubor s velkou zodpovědností. V roce 2026 už nestačí jen zkopírovat starý vzor. Musíte aktivně řešit AI boty a šetřit rozpočet crawlování Googlu pro to podstatné.

Zkontrolujte svůj soubor ještě dnes. Možná blokujete víc, než chcete.

Máte správně nastaveného "vrátníka"?

Provedu audit vašeho robots.txt v rámci kompletní technické analýzy webu. Zjistím, jestli neblokujete Google v rozletu a jestli nekrmíte svými daty AI konkurenci.

Chci technický audit webu ->

Často kladené otázky (FAQ)

1. Musím mít robots.txt?

Nemusíte. Pokud chybí, vyhledávače předpokládají Allow: / (vše povoleno). Ale přicházíte o kontrolu (rozpočet crawlování, AI blokace).

2. Jaká je maximální velikost robots.txt?

Google čte pouze prvních 500 KiB (kibibajtů). Pokud máte soubor větší (což byste neměli mít, pokud nepoužíváte špatnou automatizaci), zbytek ignoruje.

3. Co znamená User-agent: *?

Hvězdička je "wildcard" pro "všechny roboty". Pravidla pod tím platí pro Googlebot, Bingbot, Seznambot i ostatní, pokud nemají vlastní specifickou sekci.

4. Můžu v robots.txt blokovat konkrétní země?

Ne. Robots.txt neřídí geolokaci. To musíte řešit na úrovni serveru (IP blocking) nebo CDN (Cloudflare).

5. Funguje Crawl-delay na Google?

Ne. Příkaz Crawl-delay: 10 (čekej 10s mezi požadavky) Google ignoruje. Respektuje ho Bing a Yandex. Pro Google musíte nastavit rychlost procházení v Search Console.

Autorka: SEO specialistka s roky zkušeností. Má ráda pořádek v kódu i v životě.

Potřebujete technický audit? Kompletní SEO audit - od 5 990 Kč

O autorce

SEO specialistka s roky zkušeností v oboru. Pomohla jsem firmám zlepšit jejich viditelnost v Google. Specializuji se na technické SEO, obsahový marketing a budování odkazů.

Kontaktujte nás | Další články