Tipizirani izhod za odprte modele
Določite kontekst in vprašanja z vnaprej določenim naborom odgovorov. AnyJev vrne porazdelitev za kategorično izbiro, verjetnost za da/ne ali pričakovano vrednost na urejeni lestvici.
Neodvisni vodnik · Pregledano 25. septembra 2026
AnyJev odprti LLM spremeni v tipizirani odločitveni model.
AnyJev je odprtokodni komplet orodij Python podjetja Nokia Applied Research. Iz kavzalnih jezikovnih modelov bere odločitve Choice, Score in Noul ter popravlja pristranskost zaradi vrstnega reda možnosti in umerja verjetnosti.
Pomembno: AnyJev ni nov temeljni model, odprta izdaja uteži TypeSafe Jev ali uradni izdelek Jev. Je neodvisen način za gradnjo odločitev v obliki Jev na modelih, ki jih poganjate sami.
- Vzdrževalec
- Nokia Applied Research
- Licenca
- Apache-2.0
- Paket
anyjevna PyPI- Stanje
- Pred-alfa
AnyJev · L0
state → typed decisionskontekst
Znesek so mi zaračunali dvakrat. Prosim, uredite še danes.
choice · usmerjanjeKatera ekipa naj obravnava primer?
result.level = "L0"Ponazorjeni rezultatKljučna razlika
AnyJev je komplet orodij, ne nov nabor uteži modela.
Izbrani kavzalni model ostane nespremenjen; spremeni se način branja odločitve z vnaprej določenim naborom odgovorov. AnyJev je zato bližje odločitvenemu sloju kot samostojnemu prilagojenemu klasifikatorju.
Ravni popravka pristranskosti in umerjanja
Surovi logiti žetonov odgovora lahko dajejo prednost oznaki ali položaju. AnyJev navede raven popravka vsake odločitve, zato jo lahko aplikacija zahteva.
Odprta kopija TypeSafe Jev
Projekt ne objavlja ali reproducira zasebnih uteži, učnih podatkov ali metode RLCD podjetja TypeSafe. Podobna oblika zahteve ne dokazuje enakega vedenja.
Surovo → L0 → L1 → L2
Štiri ravni jasno pokažejo podlago odločitve.
L0 res deluje brez učenja. Višje ravni uporabljajo označene primere; L2 prilagodi majhno izhodno plast določenemu vprašanju brez spremembe uteži osnovnega modela.
SurovoBrez oznak
Bere omejeni softmax nad logiti žetonov odgovora.
Brez popravka položaja možnosti ali preference oznake.
L0Brez oznak
Kroži možnosti in popravi ocenjeno predhodno verjetnost oznake.
Stabilnejše, vendar verjetnosti niso umerjene za nalogo.
L1100–500 oznak
Doda temperaturno umerjanje za en model in vprašanje.
Izboljša oceno zaupanja, ne popravi pa napačne razvrstitve.
L2100–300 oznak
Prilagodi majhno analitično izhodno plast na vmesnem skritem stanju.
Vezano na model in vprašanje; zahteva lokalni dostop do skritih stanj.
Primer lokalnega postopka
Usmerite zahtevek podpore in preverite predlagano dejanje.
Primer sledi javnemu API-ju: model Qwen ostane lokalno, AnyJev prebere dve omejeni odločitvi, koda aplikacije pa določi naslednji korak.
Namestite zaledje Transformers
pip install "anyjev[hf]"Potreben je Python 3.10 ali novejši. Ob prvem dejanskem zagonu se prenese tudi izbrani odprti model.
Python
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"Določite prostor odgovorov
Aplikacija navede dovoljene ekipe in vpraša, ali je predlagani klic orodja tvegan.
Preberite omejene porazdelitve
Prosto besedilo se ne ustvari. Rezultat vsebuje porazdelitev ali verjetnost in uporabljeno raven.
Pravila ohranite v kodi
Koda nastavi pragove, negotove primere pošlje v pregled in prepreči posledice ob previsokem tveganju.
Primerjalni test projekta
Glavni rezultat govori o varnejši avtomatizaciji, ne le o natančnosti.
AnyJev navaja naslednje rezultate Qwen3-8B na 300 testnih primerih BANKING77. Številke so navedli avtorji na podlagi artefaktov v repozitoriju; Jev AI Dev testa ni neodvisno ponovil.
| Merilo | Surovi logiti | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Sprememba odgovora po obratu možnosti | 0.230 | 0.073 | 0.077 |
| Natančnost | 0.747 | 0.803 | 0.807 |
| Pričakovana napaka umerjanja | 0.240 | 0.184 | 0.095 |
| Pokritost pri največ 5% napaki | 7.7% | 46.3% | 52.0% |
Natančnost je zrasla z 0,747 na 0,807. Večja operativna sprememba je bila pokritost pri največ 5% napaki: 7,7 % pri surovih logitih in 52,0 % po umerjanju L1. Ocena temelji na majhnem naboru in za drug postopek zahteva preverjanje.
Preglej benchmark in ablacijeVideo skupnosti · 29 sekund
Na kratko: kako LLM postane odločevalec v slogu Jev.
Data Science in your pocket je po izidu AnyJev objavil ta kratek uvod. Gre za razlago tretje strani, ne za uradni prikaz Nokia Applied Research ali neodvisni benchmark.
Oglej si »How to convert any LLM into Jev AI?« na YouTubuTest skupnosti · September 2026
Test 20 zahtevkov je pokazal kompromis med natančnostjo in zakasnitvijo.
WquGuru je uradni Jev in tri odprte projekte primerjal na enem MacBooku z 20 kitajskimi zahtevki podpore. Nit vsebuje video, čase in natančnost projektov.
AnyJev s Qwen3-4B naj bi pravilno rešil 19 od 20 zahtevkov.
Natančnost95%19 / 20 zahtevkov
Zakasnitev~4snavedena na test
Testni nabor20kitajski zahtevki podpore
Ista nit navaja 20/20 za uradni Jev, 65 % za Laya in 35 % za djev. To je zgodnje opažanje skupnosti, ne nadzorovan benchmark: majhen nabor, en računalnik in različne nastavitve projektov.
Odpri primerjavo in video na X“The latency is real. We went correctness first.”
Jiamu »Morris« Zhang je povedal, da prva izdaja še ni optimizirala strežne poti. AnyJev je opisal kot metodo za že strežene modele in omenil začetek optimizacije vLLM/SGLang.
Preberi celoten odgovor avtorjaKratek pregled projekta in shranjenega primerjalnega testa.
MarkTechPost povzema tipizirani izhod, razliko L0/L1 in rezultate BANKING77. Številke so iz testa projekta, ne neodvisne ponovitve.
Meja dokazov: Jev AI Dev je preveril, da objave vsebujejo navedene trditve, vendar testa skupnosti ni ponovil. Ogledi in odzivi so izpuščeni, ker se spreminjajo.
Pred produkcijo
Upoštevajte, česa trenutna izdaja ne rešuje.
Tipizirani izhod odstrani eno integracijsko težavo. Semantična presoja s tem ni samodejno pravilna, varna ali prenosljiva.
L0 porabi več računanja pri široki izbiri
Izbira s K možnostmi uporablja ciklične rotacije, zato popravek brez oznak potrebuje K prefillov. Več inferenc izboljša stabilnost glede vrstnega reda.
L1 in L2 potrebujeta oznake iz postopka
Umerjanje in glave veljajo za določen model in vprašanje. Ob spremembi jih je treba ponovno zgraditi ali preveriti.
L2 zahteva dostop do skritih stanj
Trenutna pot L2 uporablja lokalno zaledje Transformers. Strežna pogona vLLM in SGLang sta na načrtu projekta.
Objavljene številke niso vaš sprejemni test
Preden verjetnost usmerja pomembno dejanje, na reprezentativnih podatkih izmerite natančnost, umerjenost, občutljivost na vrstni red in vzdržanje.
Primarni viri
Projekt preverite pri viru.
AnyJev se hitro razvija. Pred uporabo preverite najnovejšo izdajo, zaledja in omejitve.
Raziščite ekosistem
Primerjajte AnyJev z drugimi projekti skupnosti System One.
AnyJev prilagodi odprti kavzalni LLM ob odločanju. Ekosistem vključuje tudi namensko učene modele, lokalna izvajalna okolja in poskuse, združljive z API-jem.