claude plugin eval
Claude Code umí pluginy a skilly testovat: sada případů s hodnotiteli, skóre proti běhu bez pluginu a exit kód, na kterém se dá zaseknout CI.
Účel
Dokumentace příkazu claude plugin eval, který pustí plugin nebo skill proti sadě
testovacích případů a obodovává výsledek. Případ je realistický prompt plus jeden
či víc hodnotitelů — regulární výraz nad odpovědí, kontrola že se zavolal určitý
nástroj, kontrola pořadí nástrojů, existence souboru, nebo rubrika, kterou vyhodnotí
druhý model. Sadu nemusí nikdo psát ručně: claude plugin eval init se na plugin
zeptá, případy i hodnotitele navrhne, vyzkouší je a zapíše soubory.
Klíčová část je ablace. Každý případ se pustí i bez načteného pluginu, takže
ve výstupu jsou dvě čísla — WITH a W/OUT — a jejich rozdíl Δ. To je to jediné,
co říká, jestli plugin vůbec něčemu pomohl. Případ, který dá 1,0 s pluginem i bez něj,
neprokazuje nic.
Každý případ běží třikrát v každé větvi, protože jeden běh nedeterministického agenta
nevypovídá o ničem. Skóre případu je průměr přes běhy, sada projde při dosažení
--threshold. V CI se pustí s --json, --trust-plugin, zafixovanými modely
a stropem --max-cost-usd, a buildem se zamává podle exit kódu.