Agent řekl „nevím“. Ale proč?

V květnu jsem na AI Monday v Jihlavě vyprávěl, jak jsme v Commity.cz naučili AI asistenta pro právní rešerše říkat „nevím“ a nelhat v paragrafech. 12. 11. na ŽďárAI #4 na to volně navážu – tentokrát techničtěji. Od jara jsme asistenta rozšířili o další oblasti práva a cestou narazili na pár překvapení:

🔹 Agent tvrdil, že paragraf nemá, přestože si ho sám načetl.
🔹 Testy hlásily chybu, která byla ve skutečnosti v jejich zadání.
🔹 Provoz stál víc, než naměřily evaly.

Ukážu, jak jsme na to přišli a proč evals bez observability z provozu klamou. Na závěr přidám výsledky experimentu: dokážou eval nástroje od Anthropicu rešerši zlevnit a zrychlit, aniž by utrpěla kvalita?

Nebudu na to sám - večer bude mluvit i Kamil Tomšík, jak si postavil asistenta s vlastním harnessem nad lokálním modelem. Na to se moc těším.

📍 IT NeŠkola, Žďár nad Sázavou
🗓 čtvrtek 12. 11. od 18:00, vstup zdarma
Pokud něco podobného řešíte, stavte se. Registrace v komentáři 👇