Poběží mi to? Kalkulačka lokálních AI modelů

Žádná magie, jen aritmetika, kterou si můžete ověřit. Paměť se skládá ze tří položek: váhy modelu (počet parametrů × bity zvolené kvantizace ÷ 8), KV cache (paměť, ve které si model drží rozpracovaný kontext) a pár set MB až jednotky GB režie běhového prostředí. KV cache počítáme podle skutečné architektury — u modelů s hybridní lineární pozorností (Qwen 3.6, Ornith, Bonsai) nebo lokálními okny (Gemma 4, gpt-oss) roste s kontextem jen zlomek vrstev, takže dlouhý kontext stojí řádově méně, než by napovídal starý vzorec.

Rychlost generování je u velkých jazykových modelů skoro vždycky omezená propustností paměti, ne výpočetním výkonem. Na každý vygenerovaný token musí čip přečíst všechny aktivní váhy modelu. Proto horní odhad rychlosti = propustnost paměti ÷ velikost aktivních vah — a reálný výsledek je o 25–45 % nižší podle platformy a běhového prostředí. Přesně s tímhle kalkulačka počítá a odhady jsme kalibrovali na veřejné benchmarky llama.cpp, LM Studia a MLX.

Počty parametrů a architekturu modelů nebereme z marketingových materiálů, ale přímo z metadat na Hugging Face (config.json + safetensors) — včetně případů, kdy metadata lžou (modely vydané nativně ve FP4 hlásí polovinu parametrů; přepočítáváme je z architektury). U kvantizací počítáme efektivní bity na váhu podle skutečných velikostí GGUF souborů, proto vám čísla budou sedět s tím, co reálně stáhnete.

Hybridní lineární pozornost zlevnila dlouhý kontext. Nová generace modelů (Qwen 3.6, Gemma 4, Ornith, Qwen3 Coder Next) už neskládá samé klasické attention vrstvy — tři čtvrtiny vrstev nahrazuje lineární pozorností, která si nedrží celou historii. Výsledek: 256K kontext, který dřív spolkl desítky GB, dnes u Gemma 4 12B zabere zhruba 2 GB. Kalkulačka to zohledňuje u každého modelu zvlášť.

MoE se stalo normou. Většina nových modelů nese desítky až stovky miliard parametrů, ale na token jich aktivuje jen pár — Gemma 4 26B-A4B, Qwen3.6 35B-A3B nebo Hy3 (295 mld., aktivních ~21 mld.). Přesně tahle kategorie dělá z Maců, DGX Sparků a PC s hodně RAM plnohodnotné AI stroje.

Nativně nízkobitové modely. Bonsai 27B od PrismML je Qwen3.6-27B přetrénovaný do ~1bitových vah: 27miliardový model v souboru o velikosti 3,8 GB, který si podle autorů drží ~90 % kvality originálu. Není to klasická kvantizace, kterou si vyberete — model se tak rovnou dodává (potřebuje aktuální llama.cpp nebo MLX).

I obří modely jdou domů. Dynamické 1–2bitové kvantizace (unsloth UD) zvládnou GLM-5.2 (753 mld.) na dvou DGX Sparcích a DeepSeek V4 Flash nebo Hy3 na jednom výkonném stroji se 128+ GB. Kvalita je znatelně nižší než u Q4 a dekomprese ubírá rychlost — ale ještě loni to nešlo vůbec.

Kvantizace je komprese vah modelu — místo 16 bitů na číslo se uloží 8, 4 nebo i méně. Model se tím zmenší a zrychlí (čte se méně dat), za cenu drobné ztráty přesnosti. V praxi: Q8 je prakticky k nerozeznání od originálu, Q6 skoro taky, Q4 je rozumný kompromis a pod Q4 už kvalita znatelně padá. Výjimkou jsou obří MoE modely, kde extrémní dynamické kvantizace (IQ2, unsloth „1bit“) drží pozornost a sdílené vrstvy v ~5 bitech a šetří jen na expertech — proto je kalkulačka nabízí jen u MoE modelů nad 100 mld. parametrů.

Pro češtinu doporučujeme být konzervativnější: malé modely (do ~10 mld. parametrů) začínají při agresivní kvantizaci komolit skloňování a diakritiku dřív, než se to projeví v angličtině. U nich se držte Q8; u modelů kolem 12–35 mld. stačí Q6 a velké modely snesou Q4 bez viditelné újmy.

Pozor na modely, které se nativně dodávají v nízké přesnosti — gpt-oss (MXFP4), DeepSeek V4 (FP8/FP4) nebo Bonsai (1bitový QAT). U nich kvantizaci nevybíráte, počítá se reálná velikost souboru. Formát souborů se pak liší podle běhového prostředí: GGUF používá llama.cpp, LM Studio, Ollama a Jan (funguje všude — Windows, Linux, Mac), MLX je formát optimalizovaný pro Apple Silicon. Prakticky: nainstalujte si LM Studio nebo Ollamu, vyhledejte model podle jména a aplikace vám správný soubor nabídne sama.

MoE (Mixture of Experts) modely mají velký mozek, ale na každý token z něj zapojí jen zlomek — třeba Qwen3.6 35B-A3B nese 36 mld. parametrů, ale aktivně počítá jen s ~4 mld. Do paměti se musí vejít celý, jenže číst se na každý token musí jen ta aktivní část. Výsledek: znalosti velkého modelu, rychlost malého. Na strojích s hodně pamětí a pomalejší propustností (Macy, DGX Spark, PC s hodně RAM) je to nejvýhodnější kategorie — a v roce 2026 už i hlavní proud: Gemma 4 26B-A4B, GLM-4.7 Flash, Qwen3 Coder Next.

Bonus pro majitele slabších grafik: u MoE modelů funguje překvapivě dobře rozdělení mezi GPU a RAM (v llama.cpp přepínač --n-cpu-moe), kdy sdílené vrstvy zůstanou na grafice a experti se čtou z RAM.