V úterý jsem strávil příjemný večer v Apify u příležitosti prvního evals.cz meetupu. V rámci Commity.cz vyvíjíme komplexní legal RAG systém a byl jsem hodně zvědav na zkušenosti z reálného provozu AI aplikací. Pokud stavíte produkční AI systém, evals (evaluace LLM/AI) jsou v podstatě nutností.

Meetup probíhal na pohodové komunitní vlně. Bylo znát, že je evals problematika v AI komunitě velké téma. Formát 3 krátké přednášky + diskuze, kvíz a networking byl ideální. Akce předčila mé očekávání.

Zde je pár krátkých postřehů z přednášek:

• Observe-first místo Test-driven: Šimon Podhajský (Waypoint AI) měl pěknou přednášku o tom, jak začít s Evals. TDD (test-driven development) zde často selhává. Je lepší pozorovat produkci, identifikovat opakující se chyby, najít hodnotící patterny a až pak evaluovat a iterovat.

• Jak na evals pro MCP: Jakub Kopecky (Apify) sdílel cenné zkušenosti z provozu MCP serveru s tisíci tooly. Zaujala mě workflow evals (agent provádí volání MCP toolů. Výkon agenta při plnění úkolu je porovnáván s referenčním pracovním postupem pomocí "LLM as judge".) a “3 LLM approach” - client/user/judge.

• Optimalizace promptů na základě dat: Jakub Žovák (GoodData.AI) měl zajímavou přednášku o DSPy (deklarativní framework pro tvorbu modulární AI) včetně praktické ukázky. Data-driven přístup s prompt optimizery jako GEPA/OPRO může posunout prompt engineering zase o krok dál. Bude se nejspíše hodit pro specifické use-casy, ale je dobré o těchto přístupech vědět.

Díky organizátorům (Šimon Podhajský a Veronika Pe) i účastníkům za skvělou energii a podnětné debaty u networkingu.

Už se těším na pokračování v dubnu.