Açık modeller için yapılandırılmış karar okuması
Bir bağlam ve yanıt alanı sınırlı sorular tanımlarsınız. AnyJev kategorik seçimler için dağılım, evet/hayır için olasılık veya sıralı ölçekte beklenen değer döndürür.
Bağımsız rehber · 25 Eylül 2026'da incelendi
AnyJev açık bir LLM'yi yapılandırılmış karar modeline dönüştürür.
AnyJev, Nokia Applied Research tarafından geliştirilen açık kaynaklı bir Python araç setidir. Nedensel dil modellerinden Choice, Score ve Noul kararlarını okur; seçenek sırası yanlılığını düzeltir ve olasılıkları kalibre eder.
Önemli: AnyJev yeni bir temel model, TypeSafe'in Jev ağırlıklarının açık sürümü veya resmî bir Jev ürünü değildir. Kendi çalıştırdığınız modeller üzerinde Jev biçiminde kararlar üretmenin bağımsız bir yoludur.
- Geliştirici
- Nokia Applied Research
- Lisans
- Apache-2.0
- Paket
- PyPI'da anyjev
- Durum
- Alfa öncesi
AnyJev · L0
state → typed decisionsbağlam
Benden iki kez ücret alındı. Lütfen bugün düzeltin.
choice · yönlendirmeBu kaydı hangi ekip ele almalı?
result.level = "L0"Örnek çıktıTemel fark
AnyJev bir araç setidir; yeni bir model ağırlığı kümesi değildir.
Seçtiğiniz nedensel model aynı kalır; değişen, yanıt alanı sınırlı bir kararın nasıl okunduğudur. Bu yüzden AnyJev, bağımsız ve ince ayarlı bir sınıflandırıcıdan çok bir karar katmanına benzer.
Yanlılık düzeltme ve kalibrasyon seviyeleri
Ham yanıt token logitleri bir etiketi veya konumunu kayırabilir. AnyJev her kararın düzeltme seviyesini gösterir; uygulama da beklenen seviyeyi zorunlu tutabilir.
TypeSafe Jev'in açık kopyası
Proje TypeSafe'in özel ağırlıklarını, eğitim verilerini veya RLCD yöntemini yayımlamaz ya da yeniden üretmez. Benzer istek biçimi eşdeğer davranışı kanıtlamaz.
Ham → L0 → L1 → L2
Dört seviye, kararın dayanağını görünür kılar.
L0 gerçekten eğitim gerektirmez. Üst seviyeler etiketli örnekler kullanır; L2, temel model ağırlıklarını değiştirmeden soruya özel küçük bir çıktı katmanı uyarlar.
HamEtiket yok
Yanıt token logitleri üzerinde sınırlı softmax okur.
Seçenek konumu veya etiket tercihi düzeltilmez.
L0Etiket yok
Seçenekleri döndürür ve tahmini etiket önselini düzeltir.
Daha kararlıdır; ancak olasılıklar göreve göre kalibre değildir.
L1100–500 etiket
Bir model ve soru için sıcaklık kalibrasyonu ekler.
Güven tahminini iyileştirir, yanlış sıralamayı düzeltmez.
L2100–300 etiket
Ara gizli durum üzerinde küçük, kapalı biçimli bir çıktı katmanı uyarlar.
Model ve soruya özeldir; gizli duruma yerel erişim gerektirir.
Yerel iş akışı örneği
Bir destek kaydını yönlendirin ve önerilen eylemi kontrol edin.
Örnek, projenin açık API'sini izler: Qwen modeli yerelde kalır, AnyJev yanıt alanı sınırlı iki kararı okur ve uygulama kodu sonraki adımı belirler.
Transformers backend'ini kurun
pip install "anyjev[hf]"Python 3.10 veya üstü gerekir. İlk gerçek çalıştırma seçtiğiniz açık modeli de indirir.
Python
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"Yanıt alanını tanımlayın
Uygulama izin verilen ekipleri belirtir ve önerilen araç çağrısının riskli olup olmadığını sorar.
Sınırlı dağılımları okuyun
Serbest biçimli yanıt üretilmez. Sonuç bir dağılım veya olasılık ile kullanılan seviyeyi taşır.
Politikayı kodda tutun
Kod eşikleri belirler, belirsiz vakaları incelemeye gönderir ve risk yüksekse yan etkileri engeller.
Proje benchmark'ı
Öne çıkan sonuç yalnızca doğruluk değil, daha güvenli otomasyondur.
AnyJev, 300 BANKING77 test öğesinde şu Qwen3-8B sonuçlarını bildiriyor. Rakamlar repoya işlenmiş artefaktlardan yazarlarca raporlandı; Jev AI Dev benchmark'ı bağımsız olarak tekrarlamadı.
| Metrik | Ham logitler | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Seçenekler ters çevrilince değişen yanıtlar | 0.230 | 0.073 | 0.077 |
| Doğruluk | 0.747 | 0.803 | 0.807 |
| Beklenen kalibrasyon hatası | 0.240 | 0.184 | 0.095 |
| En fazla %5 hatada kapsam | 7.7% | 46.3% | 52.0% |
Bu testte doğruluk 0,747'den 0,807'ye çıktı. Daha büyük operasyonel değişim, en fazla %5 hatada kapsamdı: ham logitlerde %7,7, L1 kalibrasyonundan sonra %52,0. Tahmin küçük bir test setine dayanır ve başka iş akışına doğrulanmadan taşınmamalıdır.
Benchmark ve ablasyonları inceleyinTopluluk videosu · 29 saniye
Bir LLM'nin Jev tarzı karar vericiye dönüşmesini kısaca izleyin.
Data Science in your pocket, AnyJev çıktıktan sonra bu kısa tanıtımı yayımladı. Bu, üçüncü taraf açıklamasıdır; resmî Nokia Applied Research demosu veya bağımsız benchmark değildir.
YouTube'da “How to convert any LLM into Jev AI?” videosunu izleyinTopluluk saha testi · Eylül 2026
20 kayıtlık test doğruluk ve gecikme dengesini gösterdi.
WquGuru, resmî Jev ile üç açık projeyi 20 Çince destek kaydıyla tek bir MacBook'ta karşılaştırdı. Gönderi video, süre ve proje bazında doğruluk içeriyor.
Qwen3-4B kullanan AnyJev'in 20 kaydın 19'unu doğru yanıtladığı bildirildi.
Doğruluk95%19 / 20 kayıt
Gecikme~4stest başına bildirilen
Test yükü20Çince destek kayıtları
Aynı gönderi resmî Jev için 20/20, Laya için %65 ve djev için %35 bildiriyor. Bunu kontrollü benchmark değil, erken bir topluluk gözlemi olarak değerlendirin: küçük bir set, tek makine ve projeye özel yapılandırmalar.
Karşılaştırma ve videoyu X'te görün“The latency is real. We went correctness first.”
Jiamu “Morris” Zhang ilk sürümde model sunma yolunun henüz optimize edilmediğini söyledi. AnyJev'i ekibin hâlihazırda çalıştırdığı modeller için bir yöntem olarak tanımladı ve vLLM/SGLang optimizasyonunun başladığını belirtti.
Yazarın tam yanıtını okuyunProje ve repodaki benchmark'a kısa bir bakış.
MarkTechPost yapılandırılmış karar okumasını, L0/L1 farkını ve BANKING77 sonuçlarını özetliyor. Rakamlar bağımsız tekrardan değil, projenin kendi benchmark'ından geliyor.
Kanıt sınırı: Jev AI Dev gönderilerde bu ifadelerin bulunduğunu doğruladı, ancak topluluk testini tekrarlamadı. Görüntülenme ve etkileşim sayıları zamanla değiştiği için verilmedi.
Prodüksiyon öncesi
Mevcut sürümün çözmediği noktaları bilin.
Yapılandırılmış çıktı bir entegrasyon sorununu giderir. Semantik değerlendirmeyi otomatik olarak doğru, güvenli veya aktarılabilir yapmaz.
L0 geniş seçimlerde daha fazla hesaplama kullanır
K seçenekli bir seçim döngüsel rotasyon kullanır; etiketsiz düzeltme K prefill gerektirir. Ek inferans, sıraya karşı daha iyi kararlılık sağlar.
L1 ve L2 iş akışından etiket ister
Kalibrasyon ve çıktı katmanları belirli model ve soruya aittir. Biri değiştiğinde yeniden kurulmalı veya doğrulanmalıdır.
L2 gizli durum erişimi ister
Mevcut L2 yolu yerel Transformers backend'i kullanır. vLLM ve SGLang gibi model sunma motorları yol haritasındadır.
Yayımlanan rakamlar kabul testiniz değildir
Bir olasılık önemli eylemi yönetmeden önce temsili veride doğruluk, kalibrasyon, sıra hassasiyeti ve kaçınmayı ölçün.
Birincil kaynaklar
Projeyi kaynağından kontrol edin.
AnyJev hızla gelişiyor. Entegrasyon öncesinde son sürümü, backend'leri ve kısıtları doğrulayın.
Ekosistemi keşfedin
AnyJev'i diğer System One topluluk projeleriyle karşılaştırın.
AnyJev açık bir nedensel LLM'yi karar anında uyarlar. Ekosistem ayrıca özel eğitimli modeller, yerel çalışma ortamları ve API uyumlu deneyler içerir.