Laya

Účel

Laya je rodina malých encoderových modelů (ModernBERT-large 421M pro angličtinu, mmBERT-base 322M pro 100+ jazyků, plus doladěný laya-typed-decisions), které neodpovídají textem, ale typovaným rozhodnutím s pravděpodobností: volba z výčtu (choice), ordinální skóre (score) nebo binární jistota (noul). Jeden dopředný průchod, žádné generování, tedy ani halucinace. Míří na klasifikaci, routing agentů, guardraily, moderaci obsahu a triáž ticketů — místa, kde dnes voláme velký model jen proto, aby vrátil jedno slovo. Součástí je router, který podle jazyka a písma sám vybere checkpoint. Od uvedení přibyl balíček pro TypeScript (laya-ts na npm), HTTP a MCP server a adaptéry pro LangChain, LlamaIndex a CrewAI.

Odlišnost

Proti volání LLM s response_format je rozdíl v řádu: model je 300–400M parametrů, běží lokálně na jedné GPU a nemá generovací smyčku. Proti klasickému fine-tunovanému klasifikátoru přidává kalibrované pravděpodobnosti (trénink přes strictly proper scoring rules) a hotové workflow pro routing a guardraily.

Hlavní referenční bod je ale Jev od TypeSafe AI — uzavřené API se stejnou myšlenkou „System 1" vrstvy. Laya je jeho open-weight, self-hostovaná odpověď: Apache-2.0 místo per-token ceníku a žádný odchozí provoz.

Jev máme v katalogu jako samostatnou kartu (tips/typesafe-ai-jev.md) a tyhle dvě karty patří k sobě. Rozdíl je v tom, co se kterým rizikem platí: u Jev jdou data ven do cloudu s uzavřenými váhami za 0,042 $ / 1M vstupních tokenů, u Layi zůstanou u nás zdarma — ale výměnou za horší kalibraci, desetidenní historii projektu a nutnost doladit si model na vlastních datech.

Nasazení

pip install laya, Python 3.10+, váhy z Hugging Face. Běží na CPU i GPU; v produkci se doporučuje Router(preload=True), aby checkpointy zůstaly v paměti — jinak hrozí 7–10 s prodleva při přepnutí jazyka. Propustnost v dávce 103–332 otázek/s na jedné T4. Licence Apache-2.0, žádná hostovaná varianta ani ceník. Doladění je popsané v Kaggle notebooku. Volitelné extras přidávají HTTP server (laya[serve]), MCP server, ONNX Runtime a adaptéry pro LangChain, LlamaIndex a CrewAI; pro Node.js a prohlížeč je laya-ts. Pro regresní kontrolu na vlastních datech je laya-evals s prahy na přesnost a ECE. U mnoha tříd pomůže predict_shortlist, který kandidáty nejdřív zúží embeddingem.