Tyypitetty ulostulo avoimille malleille
Määrität kontekstin ja rajatut kysymykset. AnyJev palauttaa jakauman kategorisille valinnoille, todennäköisyyden kyllä/ei-kysymyksille tai odotusarvon järjestetylle asteikolle.
Riippumaton opas · Tarkistettu 25.9.2026
AnyJev tekee avoimesta LLM:stä tyypitetyn päätösmallin.
AnyJev on Nokia Applied Researchin avoimen lähdekoodin Python-työkalupakki. Se lukee Choice-, Score- ja Noul-päätöksiä kausaalisista kielimalleista sekä korjaa vaihtoehtojen järjestykseen liittyvää harhaa ja kalibroi todennäköisyyksiä.
Huomio: AnyJev ei ole uusi perusmalli, TypeSafen Jev-painojen avoin julkaisu eikä virallinen Jev-tuote. Se on riippumaton tapa rakentaa Jev-muotoisia päätöksiä itse ajettavien mallien päälle.
- Ylläpitäjä
- Nokia Applied Research
- Lisenssi
- Apache-2.0
- Paketti
anyjevPyPI:ssä- Tila
- Pre-alpha
AnyJev · L0
state → typed decisionskonteksti
Minua veloitettiin kahdesti. Korjatkaa asia tänään.
choice · reititysMinkä tiimin pitäisi käsitellä asia?
result.level = "L0"Havainnollinen tulosOlennainen ero
AnyJev on työkalupakki, ei uusi joukko mallipainoja.
Valittu kausaalinen malli säilyy; vain rajatun päätöksen lukutapa muuttuu. AnyJev on siksi lähempänä päätöskerrosta kuin itsenäistä hienosäädettyä luokitinta.
Harhankorjauksen ja kalibroinnin tasot
Raakojen vastaustokeneiden logitit voivat suosia tiettyä tunnistetta tai sijaintia. AnyJev kertoo päätöksen korjaustason, joten sovellus voi vaatia odottamansa tason.
TypeSafe Jevin avoin kopio
Projekti ei julkaise eikä toisinna TypeSafen yksityisiä painoja, koulutusdataa tai RLCD-menetelmää. Samankaltainen pyyntörakenne ei takaa vastaavaa toimintaa.
Raaka → L0 → L1 → L2
Neljä tasoa kertovat, mihin kukin päätös perustuu.
L0 toimii ilman koulutusta. Ylemmät tasot käyttävät annotoituja esimerkkejä; L2 sovittaa pienen kysymyskohtaisen ulostulokerroksen muuttamatta perusmallin painoja.
RaakaEi merkittyä dataa
Lukee rajatun softmaxin vastaustokeneiden logiteista.
Ei korjausta vaihtoehdon sijainnille tai tunnisteen suosinnalle.
L0Ei merkittyä dataa
Kierrättää vaihtoehtoja ja korjaa arvioidun tunnistepriorin.
Vakaampi, mutta todennäköisyyksiä ei ole kalibroitu tehtävään.
L1100–500 merkittyä esimerkkiä
Lisää lämpötilakalibroinnin yhdelle mallille ja kysymykselle.
Parantaa luottamusarviota, mutta ei korjaa väärää järjestystä.
L2100–300 merkittyä esimerkkiä
Sovittaa pienen suljetun muodon ulostulokerroksen välitason piilotilaan.
Malli- ja kysymyskohtainen; vaatii paikallisen pääsyn piilotiloihin.
Paikallisen työnkulun esimerkki
Reititä tukipyyntö ja tarkista ehdotettu toiminto.
Esimerkki seuraa projektin julkista API:a: Qwen-malli pysyy paikallisena, AnyJev lukee kaksi rajattua päätöstä ja sovelluskoodi päättää jatkosta.
Asenna Transformers-taustajärjestelmä
pip install "anyjev[hf]"Vaatii Python 3.10:n tai uudemman. Ensimmäinen varsinainen ajo lataa myös valitsemasi avoimen mallin.
Python
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"Määritä vastausavaruus
Sovellus nimeää sallitut tiimit ja kysyy, onko ehdotettu työkalukutsu riskialtis.
Lue rajatut jakaumat
Vapaamuotoista vastausta ei luoda. Tulos sisältää jakauman tai todennäköisyyden ja käytetyn tason.
Pidä käytäntö koodissa
Koodi asettaa kynnykset, ohjaa epävarmat tapaukset tarkistukseen ja estää sivuvaikutukset riskin ollessa liian suuri.
Projektin vertailutesti
Päätulos koskee turvallisempaa automaatiota, ei vain tarkkuutta.
AnyJev raportoi seuraavat Qwen3-8B-tulokset 300 BANKING77-testinäytteellä. Luvut ovat tekijöiden ilmoittamia ja perustuvat repositorion artefakteihin; Jev AI Dev ei ole toistanut testiä riippumattomasti.
| Mittari | Raakalogitit | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Vastauksen vaihtuminen vaihtoehdot käännettäessä | 0.230 | 0.073 | 0.077 |
| Tarkkuus | 0.747 | 0.803 | 0.807 |
| Odotettu kalibrointivirhe | 0.240 | 0.184 | 0.095 |
| Kattavuus enintään 5 %:n virheellä | 7.7% | 46.3% | 52.0% |
Tarkkuus nousi testissä 0,747:stä 0,807:ään. Suurempi toiminnallinen muutos oli kattavuus enintään 5 %:n virheellä: raakalogiteilla 7,7 % ja L1-kalibroinnin jälkeen 52,0 %. Arvio perustuu pieneen testijoukkoon eikä siirry toiseen työnkulkuun ilman validointia.
Tutki vertailutestiä ja ablaatioitaYhteisövideo · 29 sekuntia
Katso lyhyt selitys siitä, miten LLM:stä tehdään Jev-tyylinen päätöksentekijä.
Data Science in your pocket julkaisi tämän esittelyn AnyJevin ilmestyttyä. Se on kolmannen osapuolen selitys, ei Nokia Applied Researchin virallinen demo tai riippumaton vertailutesti.
Katso ”How to convert any LLM into Jev AI?” YouTubessaYhteisön käytännön testi · Syyskuu 2026
20 tukipyynnön testi toi esiin tarkkuuden ja viiveen kompromissin.
WquGuru vertasi virallista Jeviä ja kolmea avointa projektia yhdellä MacBookilla käyttäen 20 kiinankielistä tukipyyntöä. Ketjussa on video, ajoajat ja projektikohtainen tarkkuus.
AnyJev ja Qwen3-4B vastasivat raportin mukaan oikein 19 pyyntöön 20:stä.
Tarkkuus95%19 / 20 pyyntöä
Viive~4sraportoitu testiä kohti
Testiaineisto20kiinankieliset tukipyynnöt
Samassa ketjussa virallinen Jev sai 20/20, Laya 65 % ja djev 35 %. Kyse on varhaisesta yhteisöhavainnosta, ei kontrolloidusta testistä: yksi pieni kysymysjoukko, yksi kone ja projektikohtaiset määritykset.
Katso vertailu ja video X:ssä“The latency is real. We went correctness first.”
Jiamu ”Morris” Zhang sanoi, ettei ensimmäisen version palvelupolkua ollut optimoitu. Hän kuvasi AnyJevin menetelmäksi tiimin jo palvelemille malleille ja kertoi vLLM/SGLang-optimoinnin alkavan.
Lue tekijän koko vastausTiivis katsaus projektiin ja sen versioituun vertailutestiin.
MarkTechPost tiivistää tyypitetyn ulostulon, L0/L1-eron ja BANKING77-tulokset. Luvut ovat projektin omasta testistä, eivät riippumattomasta toistosta.
Näytön raja: Jev AI Dev varmisti, että julkaisuissa esitetään nämä väitteet, mutta ei toistanut yhteisötestiä. Katselu- ja reaktiomäärät on jätetty pois, koska ne muuttuvat.
Ennen tuotantokäyttöä
Tunnista, mitä nykyinen versio ei ratkaise.
Tyypitetty tulos poistaa yhden integraatio-ongelman. Se ei tee semanttisesta arviosta automaattisesti oikeaa, turvallista tai siirrettävää.
L0 käyttää enemmän laskentaa laajoissa valinnoissa
K vaihtoehdon valinta käyttää syklisiä kiertoja, joten korjaus ilman merkittyä dataa tarvitsee K prefilliä. Lisälaskenta parantaa vakautta järjestystä vastaan.
L1 ja L2 tarvitsevat työnkulun merkittyjä esimerkkejä
Kalibrointi ja ulostulokerrokset kuuluvat tietylle mallille ja kysymykselle. Ne on rakennettava tai validoitava uudelleen muutosten jälkeen.
L2 vaatii pääsyn piilotiloihin
Nykyinen L2-polku käyttää paikallista Transformers-taustaa. vLLM:n ja SGLangin kaltaiset palvelumoottorit ovat tiekartalla.
Julkaistut luvut eivät ole hyväksymistestisi
Mittaa tarkkuus, kalibrointi, järjestysherkkyys ja pidättäytyminen edustavalla datalla ennen tärkeän toiminnon ohjaamista todennäköisyydellä.
Ensisijaiset lähteet
Tarkista projekti alkuperäislähteestä.
AnyJev kehittyy nopeasti. Tarkista uusin julkaisu, taustajärjestelmät ja rajoitukset ennen käyttöönottoa.
Tutustu ekosysteemiin
Vertaa AnyJeviä muihin System One -yhteisöprojekteihin.
AnyJev mukauttaa avointa kausaalista LLM:ää päätöshetkellä. Ekosysteemiin kuuluu myös tehtävään koulutettuja malleja, paikallisia ajoympäristöjä ja API-yhteensopivia kokeiluja.