Nástroj zdarma
Poběží mi to? Kalkulačka lokálních AI modelů
Vyberte svůj počítač a model — kalkulačka spočítá, jestli se model vejde do paměti, jakou kvantizaci zvolit a jak rychle bude generovat. Počítá s reálnými daty z Hugging Face a se skutečnou propustností paměti vašeho hardwaru.
Na čem to poběží?
Jaký model chcete spustit?
Kvantizace a kontext
Q4_K_M / MLX 4bit: znatelná, ale pro EN použití OK; u malých modelů trpí čeština
Poběží, ale pomalu (část v RAM)
Qwen3 30B-A3B (MoE) (Q4_K_M) potřebuje ~20.8 GB, k dispozici je ~15.1 GB + 28.0 GB RAM.
~20.8 GB
váhy 18.5 + kontext 0.8 + režie 1.5
~41–55 tok/s
rychlejší, než stíháte číst
288 GB/s propustnost paměti ÷ 2.0 GB čtených na token, × reálná efektivita. Generování omezuje paměť, ne výpočet.
- Do VRAM se vejde jen ~69 % vah, zbytek čte z pomalejší RAM — rychlost tomu odpovídá.
- U MoE modelů bývá offload méně bolestivý, když ve VRAM zůstanou sdílené vrstvy (llama.cpp: --n-cpu-moe).
Která kvantizace se vám vejde
Čárkovaná linka = paměť dostupná pro model (~15.1 GB). Kliknutím kvantizaci vyberete.
Odhady vycházejí z propustnosti paměti a reálné efektivity běžných aplikací (llama.cpp, LM Studio, Ollama, MLX). Skutečnost se může lišit ±20 % podle verze, délky promptu a zaplnění kontextu. Data modelů: Hugging Face, snapshot 16. 07. 2026.
Jak kalkulačka počítá
Žádná magie, jen aritmetika, kterou si můžete ověřit. Paměť se skládá ze tří položek: váhy modelu (počet parametrů × bity zvolené kvantizace ÷ 8), KV cache (paměť, ve které si model drží rozpracovaný kontext — roste s každým tokenem) a pár set MB až jednotky GB režie běhového prostředí.
Rychlost generování je u velkých jazykových modelů skoro vždycky omezená propustností paměti, ne výpočetním výkonem. Na každý vygenerovaný token musí čip přečíst všechny aktivní váhy modelu. Proto horní odhad rychlosti = propustnost paměti ÷ velikost aktivních vah — a reálný výsledek je o 25–45 % nižší podle platformy a běhového prostředí. Přesně s tímhle kalkulačka počítá a odhady jsme kalibrovali na veřejné benchmarky llama.cpp, LM Studia a MLX.
Počty parametrů a architekturu modelů nebereme z marketingových materiálů, ale přímo z metadat na Hugging Face (config.json + safetensors). U kvantizací počítáme efektivní bity na váhu podle skutečných velikostí GGUF souborů, včetně režie — proto vám čísla budou sedět s tím, co reálně stáhnete.
Co je kvantizace a jakou zvolit
Kvantizace je komprese vah modelu — místo 16 bitů na číslo se uloží 8, 4 nebo i méně. Model se tím zmenší a zrychlí (čte se méně dat), za cenu drobné ztráty přesnosti. V praxi: Q8 je prakticky k nerozeznání od originálu, Q6 skoro taky, Q4 je rozumný kompromis a pod Q4 už kvalita znatelně padá.
Pro češtinu doporučujeme být konzervativnější: malé modely (do ~10 mld. parametrů) začínají při agresivní kvantizaci komolit skloňování a diakritiku dřív, než se to projeví v angličtině. U nich se držte Q8; u modelů kolem 14–32 mld. stačí Q6 a velké modely (70 mld.+) snesou Q4 bez viditelné újmy.
Formát souborů se liší podle běhového prostředí: GGUF používá llama.cpp, LM Studio, Ollama a Jan (funguje všude — Windows, Linux, Mac), MLX je formát optimalizovaný pro Apple Silicon. Prakticky: nainstalujte si LM Studio nebo Ollamu, vyhledejte model podle jména a aplikace vám správný soubor nabídne sama — odkaz na Hugging Face hledat nemusíte.
Proč jsou MoE modely pro domácí hardware zajímavé
MoE (Mixture of Experts) modely mají velký mozek, ale na každý token z něj zapojí jen zlomek — třeba Qwen3 30B-A3B nese 30,5 mld. parametrů, ale aktivně počítá jen s ~3,3 mld. Do paměti se musí vejít celý, jenže číst se na každý token musí jen ta aktivní část. Výsledek: znalosti velkého modelu, rychlost malého. Na strojích s hodně pamětí a pomalejší propustností (Macy, DGX Spark, PC s hodně RAM) je to nejvýhodnější kategorie.
Bonus pro majitele slabších grafik: u MoE modelů funguje překvapivě dobře rozdělení mezi GPU a RAM (v llama.cpp přepínač --n-cpu-moe), kdy sdílené vrstvy zůstanou na grafice a experti se čtou z RAM.
Na co si dát pozor
- Zpracování dlouhého promptu je jiná disciplína. Kalkulačka odhaduje rychlost generování odpovědi. Načtení dlouhého vstupu (třeba celého dokumentu) je omezené výpočetním výkonem — a tam jsou grafiky NVIDIA výrazně rychlejší než Macy. Na Macu s velkým kontextem počítejte s desítkami sekund až minutami čekání, než model začne odpovídat.
- macOS limituje paměť pro GPU. Standardně pustí grafickou část k ~67–75 % sjednocené paměti. Limit jde dočasně zvýšit příkazem
sudo sysctl iogpu.wired_limit_mb=…, ale nechte systému aspoň 8 GB, jinak se Mac zadusí. - Více grafik ≠ automaticky vyšší rychlost. Druhá karta přidá paměť, ale llama.cpp dělí model po vrstvách, takže rychlost zůstává zhruba na úrovni jedné karty. Škálovat rychlost umí až vLLM s tensor parallelismem.
- Kontext žere paměť. U některých modelů je KV cache při plném kontextu větší než samotné váhy. Pokud se nevejdete, první krok je zmenšit kontext nebo kvantizovat KV cache na Q8 — obojí si v kalkulačce můžete vyzkoušet.
Časté otázky
Kolik tokenů za sekundu je „dost“?
Člověk čte zhruba 5–7 tokenů za sekundu. Cokoliv nad ~10 tok/s působí plynule, nad 20 tok/s už rychlost přestáváte vnímat. Pro dávkové úlohy (přepisy, sumarizace přes noc) klidně stačí i 3–5 tok/s.
Proč mi reálná rychlost vyšla jinak než v kalkulačce?
Odhad je střed pásma ±20 %. Roli hraje verze runtime, kvantizace KV cache, zaplnění kontextu (čím delší konverzace, tím pomalejší generování) a u notebooků snižování výkonu při přehřátí (throttling). Pokud jste výrazně pod odhadem, zkontrolujte, že model opravdu běží na GPU a ne na CPU.
Jaký model je nejlepší na češtinu?
Z otevřených modelů si s češtinou nejlépe rozumí větší Qwen3, Gemma 3 (12B/27B) a Mistral. Obecně platí: větší model v nižší kvantizaci bývá na češtinu lepší než malý model v plné přesnosti — a pod Q4 čeština trpí jako první.
Nemám žádnou grafiku. Má to vůbec smysl?
Má — díky MoE modelům. Qwen3 30B-A3B v Q4 poběží na běžném PC s 32 GB DDR5 kolem 10 tokenů za sekundu, což je použitelné tempo. Běžný model stejné velikosti (bez MoE) by na stejném stroji lezl pod 2 tok/s.
Odkud kalkulačka bere data a jak jsou stará?
Parametry modelů čteme z metadat na Hugging Face (u předvoleb ze snapshotu, u vlastních modelů živě), propustnosti hardwaru z oficiálních specifikací výrobců a efektivitu jsme kalibrovali na veřejné benchmarky. Pokud najdete nesrovnalost, napište nám — opravíme ji.
Řešíte AI i na svém webu?
Lokální modely jsou zábava — ale jestli podnikáte, důležitější je, aby vás AI vyhledávače a Google vůbec našly. Podívám se na váš web zdarma a řeknu vám, co mu brání růst.
Chci audit zdarma