AnyJev ist ein quelloffenes Python-Toolkit von Nokia Applied Research. Es liest Choice-, Score- und Noul-Entscheidungen aus kausalen Sprachmodellen und ergänzt Korrekturen für Reihenfolgenbias sowie Wahrscheinlichkeitskalibrierung.
Wichtig: AnyJev ist weder ein neues Basismodell noch eine offene Version der Jev-Gewichte von TypeSafe oder ein offizielles Jev-Produkt. Es ist ein unabhängiger Ansatz, um bereits betriebene Modelle mit einer Jev-ähnlichen Entscheidungsschicht zu versehen.
anyjev auf PyPIstate → typed decisionsMeine Karte wurde doppelt belastet. Bitte lösen Sie das heute.
result.level = "L0"BeispielausgabeDas gewählte kausale Sprachmodell bleibt unverändert; AnyJev ändert lediglich, wie Entscheidungen mit festgelegtem Antwortbereich ausgelesen werden. Damit ist es eher eine Entscheidungsschicht als ein separat feinabgestimmter Klassifikator.
Sie definieren einen Zustand und Fragen mit festgelegtem Antwortbereich. AnyJev liefert Verteilungen für Kategorien, eine Wahrscheinlichkeit für Ja/Nein-Fragen oder einen Erwartungswert für geordnete Scores.
Rohe Antwort-Token-Logits können Labels oder Positionen bevorzugen. AnyJev weist die verwendete Korrekturstufe aus, sodass Anwendungen die erwartete Korrekturstufe verlangen können.
Das Projekt veröffentlicht oder reproduziert weder private TypeSafe-Gewichte noch Trainingsdaten oder die RLCD-Methode. Ähnliche Anfrageformen bedeuten kein gleichwertiges Verhalten.
L0 kommt tatsächlich ohne Trainingslabels aus. Höhere Stufen verwenden gelabelte Beispiele; L2 passt einen kleinen, fragespezifischen Ausgabekopf an, ohne die Gewichte des Basismodells zu verändern.
Keine Korrektur für Position oder Labelpräferenz.
Stabiler gegenüber Reihenfolge, aber nicht auf die Aufgabe kalibriert.
Verbessert Konfidenzschätzungen, korrigiert aber keine falsche Rangfolge.
Modell- und fragespezifisch; benötigt lokalen Zugriff auf Hidden States.
Das kleine Beispiel entspricht der öffentlichen API: Qwen bleibt lokal, AnyJev liest zwei Entscheidungen mit festgelegtem Antwortbereich aus, und normaler Code bestimmt den nächsten Schritt.
pip install "anyjev[hf]"Erfordert Python 3.10 oder neuer. Beim ersten echten Lauf wird auch das gewählte offene Modell geladen.
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"Die Anwendung nennt die zulässigen Teams und fragt, ob der geplante Tool-Aufruf destruktiv ist.
Es entsteht kein Freitext. Das Ergebnis enthält eine Verteilung oder Wahrscheinlichkeit sowie die verwendete Stufe.
Ihr Code setzt Schwellenwerte, leitet unklare Fälle weiter und blockiert riskante Nebenwirkungen.
AnyJev veröffentlicht folgende Ergebnisse für Qwen3-8B auf 300 BANKING77-Testfällen. Die Werte stammen aus den eingecheckten Benchmark-Artefakten der Autoren; Jev AI Dev hat den Lauf nicht unabhängig wiederholt.
| Kennzahl | Rohe Logits | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Antwortwechsel nach Umkehr der Optionen | 0.230 | 0.073 | 0.077 |
| Genauigkeit | 0.747 | 0.803 | 0.807 |
| Erwarteter Kalibrierungsfehler | 0.240 | 0.184 | 0.095 |
| Abdeckung bei höchstens 5 % Fehler | 7.7% | 46.3% | 52.0% |
Die Genauigkeit stieg in diesem Test von 0,747 auf 0,807. Operativ deutlicher war die gemeldete Abdeckung bei höchstens 5 % Fehler: 7,7 % für rohe Logits und 52,0 % nach L1-Kalibrierung. Die kleine Testmenge lässt sich nicht auf andere Abläufe übertragen.
Benchmark und Ablationen prüfenData Science in your pocket veröffentlichte diese kurze Einführung nach dem Start von AnyJev. Sie ist weder eine offizielle Demo von Nokia Applied Research noch ein unabhängiger Benchmark.
„How to convert any LLM into Jev AI?“ auf YouTube ansehenWquGuru verglich offizielles Jev und drei offene Projekte auf einem MacBook mit 20 chinesischen Support-Tickets. Der Thread enthält Video, Laufzeiten und Genauigkeit je Projekt.
Derselbe Thread meldet 20/20 für offizielles Jev, 65 % für Laya und 35 % für djev. Das ist eine frühe Community-Beobachtung, kein kontrollierter Benchmark: kleine Fragenmenge, ein Gerät und projektspezifische Modellkonfigurationen.
Vergleich und Video auf X ansehen“The latency is real. We went correctness first.”
Jiamu „Morris“ Zhang erklärte, dass der Serving-Pfad der ersten Version noch nicht optimiert war. AnyJev sei keine weitere Jev-Variante, sondern eine Methode, bereits betriebene Modelle als Entscheidungsschicht zu nutzen; die Optimierung für vLLM/SGLang habe gerade begonnen.
Vollständige Antwort lesenMarkTechPost fasst typisierte Auslesung, den Unterschied zwischen L0 und L1 sowie die BANKING77-Ergebnisse zusammen. Die Zahlen stammen aus dem Projektbenchmark und wurden nicht separat repliziert.
Evidenzgrenze: Jev AI Dev hat geprüft, dass die Beiträge diese Aussagen enthalten, den Community-Test aber nicht reproduziert. Aufruf- und Interaktionszahlen fehlen bewusst, da sie sich laufend ändern.
Typisierte Ausgabe löst ein Schnittstellenproblem. Sie macht eine semantische Entscheidung nicht automatisch richtig, sicher oder auf eine andere Verteilung übertragbar.
Eine Choice mit K Optionen nutzt zyklische Rotationen; die label-freie Korrektur braucht daher K Prefills. Rechenaufwand wird gegen Reihenfolgenstabilität getauscht.
Kalibrierung und Ausgabeköpfe gehören zu einem bestimmten Modell und einer Frage. Ändert sich eines davon, ist erneute Erstellung oder Validierung nötig.
Der aktuelle L2-Pfad verwendet ein lokales Transformers-Backend. Serving-Engines wie vLLM und SGLang stehen auf der Roadmap.
Messen Sie Genauigkeit, Kalibrierung, Reihenfolgensensitivität und Ablehnungsstrategie auf repräsentativen Daten, bevor eine Wahrscheinlichkeit wichtige Aktionen steuert.
AnyJev entwickelt sich schnell. Prüfen Sie vor der Integration die aktuelle Version, unterstützte Backends und Einschränkungen.
AnyJev passt ein vorhandenes offenes kausales Sprachmodell zur Entscheidungszeit an. Daneben gibt es eigens trainierte Modelle, lokale Laufzeiten und API-kompatible Experimente.