Úloha: model dostane podklady o skutečném českém webu (malé firmy a řemeslníci — texty, fotografie, ceníky) a musí vytvořit kompletní obsahový podklad nového webu: strukturu, texty, popisy služeb, práci s obrazovými fakty. Je to nejtěžší reálná úloha, kterou po lokálních modelech chceme — a přesně ta, kde se láme „umí česky“ vs. „píše publikovatelně“.
Hodnocení: 12bodová rubrika, šest kategorií po 0–2 bodech — věcná správnost, úplnost, jazyk a údernost, práce s vizuálními fakty, odolnost proti vymýšlení a forma. Každý výstup hodnotíme proti zlatému standardu vytvořenému člověkem s přístupem ke všem podkladům. Skóre v tabulce je průměr z více domén a opakovaných běhů.
Poctivost: skóre porovnáváme jen v rámci stejné verze úlohy — při vylepšení vstupů se čísla hýbou víc, než kolik dělá výměna modelu (ověřili jsme si to draze). Proto tabulka roste pomalu a u modelů bez plného běhu uvádíme jen kvalitativní poznámky. A protože testujeme na naší produkční úloze, model skvělý u nás nemusí být nejlepší na vaši úlohu — berte žebříček jako silné vodítko, ne rozsudek.