Druhý DGX Spark doma: jeden byl chyba a dnes na nich zkusím šílenost

Minulý pátek mi dorazil první DGX Spark. A ukázalo se, že to byla pěkná chyba.

Ne kvůli krabičce samotné — ta funguje přesně tak, jak jsem popisovala v prvním díle deníku. Ta chyba je jinde: měla jsem vzít rovnou dva. A mít víc peněz, tak ideálně čtyři. Chtěla jsem začít pomalu a s rozumem, jenže do 24 hodin od zapojení mi bylo jasné, že jeden je prostě málo. Tenhle díl je o tom, jak jsem to dohnala a co ukázaly první testy na dvou propojených strojích.

Proč vůbec: úkol, který žere pět předplatných

Nejdřív kontext, ať dává zbytek smysl. Co přesně na Sparcích chystám, si nechám pro sebe (je to klientská práce). Rozsah ale prozradit můžu: úkol, na kterém teď dělám, mi zaměstnává pět předplatných Claude Max. A stejně skoro denně koukám na hlášku o vyčerpaném limitu a čekám, až se obnoví. To se pracuje špatně.

Cíl je proto jasný: přestavět část té práce na pipeline, kterou odbaví Sparky u mě doma. Bez limitů a bez čekání, za cenu elektřiny. A protože pipeline je jen tak dobrá, jak dobrý model v ní běží, testuju teď na svých reálných úlohách, který z otevřených modelů to utáhne.

Qwen (můj dříč z prvního dílu, nějakou formu jsem rozjela i na Mac Studiu) odbavil první kolo. A je to poctivý pracant. Jenže ono se to má tak: když celé dny pracujete s Fable, výstupy 35miliardového modelu vás dvakrát neohromí. Nejsou špatné. Jsou „v pořádku". Na část práce to stačí, na zbytek ne. Přesně v ten moment mi došlo, že jeden Spark byl špatný nákup. Slabý není, jenže větší modely se do jeho 128 GB prostě nevejdou.

Zdražili mi ho pod rukama

Tak jsem šla koupit druhý Gigabyte AI TOP Atom. Ve čtvrtek o půlnoci byl ještě normálně v obchodě za 109 990 Kč. Když jsem se den nato odhodlala, stál 119 990. Zdražení o deset tisíc přes noc mě samozřejmě nepotěšilo, i když jsem ho vlastně čekala (paměti kvůli AI zdražují všude a tyhle krabičky jsou z půlky paměť).

Nakonec jsem objednala ASUS Ascent GX10 s 1TB diskem. Uvnitř je úplně stejný čip NVIDIA GB10 a stejných 128 GB sdílené paměti, jen disk je čtvrtinový proti Atomu (1 TB místo 4). Snad se mi to malé SSD v budoucnu nevymstí. (Prozradím dopředu: při stahování jednoho hodně velkého modelu už jsme kvůli místu museli mazat. Ale o tom za chvíli.)

Jeden kabel a ze dvou strojů je jeden

Každý Spark má vzadu síťový port na 200 Gb/s (dvěstěkrát rychlejší než běžná domácí síť). Stačí jeden kabel napřímo, žádný switch, a ze dvou krabiček je jeden stroj s 256 GB paměti pro modely, které se do jedné nevejdou ani omylem.

Propojení jsem tentokrát neklikala já, řešil ho můj agent. Já dodala druhý stroj a zásuvku. A první velký model, který jsme na tu dvojici pustili, byl DeepSeek V4 Flash: 170 GB vah, kontext milion tokenů.

DeepSeek mě upřímně nadchnul, a hlavně rychlostí:

• 58 tokenů za sekundu na jeden dotaz. Model přes dva stroje je jen o kousek pomalejší než malý Qwen na jednom (68 tok/s), protože si malým pomocníkem tipuje slova dopředu a velká síť je jen schvaluje (spekulativní dekódování),
• 146 tokenů za sekundu dohromady při šesti dotazech najednou. Přesně tady velký model utíká: má k dispozici paměť obou strojů, takže souběh škáluje mnohem líp než Qwen (tomu 4 dotazy najednou přidají jen 13 %),
• v pracovním režimu utáhne 16 souběžných sessions a za hodinu odbaví 86 úloh z mé fronty tam, kde Qwen stíhal kolem 40. Dvojnásobná propustnost.

A kvalita? Mám interní test: reálná zadání z mé práce, bodovaná 0–12 podle přesnosti faktů a úplnosti. Když jsem s laděním začínala, výstupy se plácaly kolem 7 bodů. Dnes je DeepSeek na 10,5 a Qwen na 10,25. Poctivě dodám dvě věci: rozdíl 0,25 bodu je v rámci šumu měření, žádné velké vítězství. A většinu toho skoku ze 7 na 10+ neudělala výměna modelu, ale oprava vstupů, které modelům posílám (samotná stála za víc než 3 body). Přesto: je to poprvé, co je některý z obrů před Qwenem. A při dvojnásobné rychlosti.

Ano, DeepSeek kvůli tomu žere oba stroje najednou. Fable to vidí jinak: podle něj je to neefektivní a nejradši by nechal na každém Sparku běžet samostatného Qwena, dvě nezávislé fronty práce, žádný cluster. Rozumím jeho matematice. Jenže já mám z té rychlosti prostě radost. A doufám, že poslední slovo tady mám pořád já.

Jednu věc ale říct musím: nejdu kvůli tomu rušit předplatná. Lokální modely mi od limitů uleví, nenahradí je. Na práci, kde záleží na každé větě, je Fable pořád o ligu jinde.

Tři modely, tři role

Takhle vypadá moje sestava po týdnu testování:

ThinkingCap si zaslouží pár vět navíc, protože je v něm zdánlivý paradox. Je to český model (stojí za ním Tomáš Mikolov a Jaroslav Beck) trénovaný tak, aby nepřemýšlel zbytečně dlouho: než začne odpovídat, rozmýšlí si zhruba o polovinu míň než běžné modely. Samotné psaní má ale pomalé: na každé slovo počítá všech svých 27 miliard parametrů, zatímco Qwen jich i přes větší velikost zapojuje jen zlomek. Proto 15 tokenů za sekundu proti Qwenovým 68. U dlouhého textu by mu kratší přemýšlení ztrátu nedohnalo, jenže po něm chci krátké posudky. Tam je díky úspornému přemýšlení rychle hotový a hlavně předvídatelný. A ještě jedna věc: jako kontrolor je ze všech modelů, co jsem zkoušela, nejstřízlivější, na bezchybném textu si vymýšlí nejmíň. Takže písař píše, revizor hlídá. A 128 GB sdílené paměti znamená, že se oba pohodlně vejdou na jeden stroj a ještě přes 50 GB zbývá.

Co si z toho odnést

1. Kupujte rovnou tolik strojů, kolik snesete. Já „začala s rozumem" a do týdne objednávala druhý stroj. Mezitím stihl Gigabyte zdražit o deset tisíc, ceny téhle techniky teď spíš rostou.
2. Druhý stroj nezrychlí ten první. Buď máte dvě nezávislé fronty práce, nebo jeden velký model přes oba. Obojí najednou nejde.
3. Nejdřív vstupy, pak model. Oprava podkladů mi zvedla test o víc než 3 body, výměna modelu o desetinky. Platí i pro vás, i bez vlastního železa.
4. Nevěřte benchmarkům, měřte na vlastní práci. Podle internetu měl desetkrát větší model Qwena smést. Neměl to jednoduché ani trochu.
5. Čeština snáší úspornější kvantizaci hůř než angličtina — u mě všechno jede v 8 bitech. Což je přesně důvod, proč je dnešní plán tak trochu šílený.

Dnešní šílenost: GLM 5.2 na dvou Sparcích

GLM 5.2 je podle mnohých nejlepší otevřený model současnosti — 753 miliard parametrů, v žebříčcích se měří s nejlepšími uzavřenými modely. Má to jeden háček: v plné velikosti zabírá 1,4 TB. To se nevejde ani na čtyři Sparky, natož na moje dva.

Komunita na GitHubu ale dala dohromady recept, jak ho zmenšit na pětinu: většinu modelu stlačit na 2 bity (z původních 16), nejméně používané části vyhodit úplně a zbytek srazit na 4 bity. Výsledek se do 256 GB mých dvou Sparků vejde a měl by běžet kolem 19–21 tokenů za sekundu.

Jenže tady visí ve vzduchu otázky, na které mi žádný benchmark neodpoví:

• Co udělá 2bitová dieta s češtinou, když už 4 bity menším modelům prokazatelně komolily slova?
• Zbyde po ní z „nejchytřejšího otevřeného modelu" víc, než umí můj poctivý 8bitový Qwen?
• Dá se na 19 tokenech za sekundu reálně pracovat, když mě DeepSeek zvykl na trojnásobek?
• A stojí to celé za den vypnuté produkce?

Stahování mimochodem zabralo skoro dva dny a přesně tady se poprvé ozval ten malý disk: na 1TB ASUSu jsme museli průběžně mazat, aby se model vůbec vešel. A doplněk těsně před publikací: první konfigurace se právě rozběhla. 15 tokenů za sekundu a čeština na první pohled drží pohromadě (recept slibuje po doladění víc). Jestli z toho obra zbylo dost rozumu, teprve změřím — odpovědi na otázky výš budou v dalším díle. Rozhodně bych si přála mít Sparky čtyři, tam by se GLM vešel bez takhle brutálních kompromisů. Tak kéž by se to všechno nějak poskládalo.

A jedno přiznání k postupům. Silně uvažuju, že všechny prompty a celé pipeline přestavím do angličtiny. Doteď jedu všechno česky. Vycházelo mi to, tak jsem to neřešila — čistá lenost. Jenže modely, které teď zkouším, vynikají právě v angličtině, v ní přemýšlejí nejlíp. Takže je čas trochu změnit postupy a přizpůsobit se modelům, ne čekat, že se přizpůsobí ony mně. (Výstupy samozřejmě zůstanou česky, jde o instrukce a mezikroky.)

A ještě jedna věc: z vašich otázek a komentářů pod prvním dílem jsem dala dohromady kalkulačky, tak si je vyzkoušejte — třeba vám dají odpovědi, které hledáte. Poběží mi to? spočítá, jestli se model vejde do vašeho počítače a jak rychle pojede. Návratnost porovná lokální stroj s placeným API. Jaký hardware na LLM to vezme z druhé strany (od modelu ke stroji). A žebříček češtiny ukazuje, jak modely dopadají v mém interním testu. Jestli chcete, abych na té dvojici změřila něco konkrétního, napište mi.

Časté otázky

Vyplatí se DGX Spark, když už platím předplatné AI?

Jako náhrada předplatného ne — na práci, kde záleží na každé větě, jsou špičkové cloudové modely pořád jinde. Dává smysl jako úleva: dávková práce, která vám žere limity, se dá přesunout domů. Jestli to u vás vyjde i finančně, spočítá kalkulačka návratnosti.

Proč dva DGX Sparky, a ne jeden výkonnější počítač?

Za cenu dvou Sparků koupíte grafiky s třetinou paměti. Tady je limit 128 GB na kus a modely nad tuhle hranici prostě potřebují druhý stroj, propojený napřímo kabelem přes port na 200 Gb/s, který má každý Spark vzadu. A když zrovna neběží velký model, mám dva nezávislé stroje na dvě fronty práce.

Jaký model na DGX Spark dnes dává největší smysl?

Na jeden stroj MoE model v 8bitové kvantizaci (u mě Qwen3.6-35B, 68 tok/s) — MoE proto, že na každé slovo počítá jen zlomek parametrů, a rychlost paměti je tu úzké hrdlo. Na dva stroje DeepSeek V4 Flash (58–146 tok/s, milion tokenů kontextu). A vedle písaře se vyplatí druhý, střízlivý model jako kontrolor (u mě český ThinkingCap-27B).

Co je kvantizace a proč pořád řeším bity?

Zmenšení modelu tím, že se jeho čísla uloží méně přesně (16 bitů → 8 → 4 → 2). Menší model se vejde do menší paměti a běží rychleji, ale něco umí zapomenout. V angličtině je 4bitová verze často k nerozeznání; v češtině mi vyráběla zkomoleniny zhruba 2,5× častěji než 8bitová. Proto jedu v 8 bitech — a proto je pokus nacpat GLM 5.2 do 2 bitů experiment, ne doporučení.

Zdroje