O AnyJev é um toolkit Python de código aberto da Nokia Applied Research. Lê decisões Choice, Score e Noul a partir de modelos de linguagem causais e acrescenta controlos para o viés da ordem das opções e a calibração de probabilidades.
Importante: O AnyJev não é um novo modelo de base, uma versão aberta dos pesos Jev da TypeSafe nem um produto Jev oficial. É uma forma independente de criar decisões com a estrutura de Jev sobre modelos executados por si.
anyjev no PyPIstate → typed decisionsCobraram-me duas vezes. Preciso que resolvam isto hoje.
result.level = "L0"Saída ilustrativaMantém o modelo causal escolhido e altera a forma como uma decisão com um conjunto fechado de respostas é lida. Por isso, está mais próximo de uma camada de decisão do que de um modelo autónomo, como um classificador afinado.
Define um contexto e uma ou mais perguntas com um conjunto fechado de respostas. O AnyJev devolve distribuições para escolhas categóricas, uma probabilidade para perguntas de sim/não ou um valor esperado numa escala ordenada.
Os logits dos tokens de resposta podem favorecer uma etiqueta ou a respetiva posição. O AnyJev expõe o nível de correção que produziu cada decisão, permitindo à aplicação exigir o nível esperado.
O projeto não publica nem reproduz os pesos privados, os dados de treino ou o método RLCD da TypeSafe. Pedidos com estrutura semelhante não garantem comportamento equivalente.
L0 funciona efetivamente sem treino. Os níveis superiores acrescentam exemplos etiquetados; L2 ajusta uma pequena camada de saída específica da pergunta sem atualizar os pesos do modelo base.
Sem correção da posição das opções ou da preferência por etiquetas.
Mais estável, mas as probabilidades não estão calibradas para a tarefa.
Melhora as estimativas de confiança, mas não corrige uma ordenação errada.
Específico de um modelo e pergunta; requer acesso local aos estados ocultos.
Este exemplo segue a API pública do projeto: um modelo Qwen permanece local, o AnyJev lê duas decisões com um conjunto fechado de respostas e o código da aplicação decide o passo seguinte.
pip install "anyjev[hf]"É necessário Python 3.10 ou posterior. A primeira execução real também transfere o modelo aberto escolhido.
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"A aplicação indica as equipas permitidas e pergunta se a chamada de ferramenta proposta é arriscada.
Não é gerada uma resposta livre. O resultado inclui uma distribuição ou probabilidade e o nível usado.
O seu código define limiares, envia casos incertos para revisão e impede efeitos quando o risco é demasiado elevado.
O AnyJev publica os seguintes resultados do Qwen3-8B em 300 itens de teste do BANKING77. Os valores são comunicados pelos autores a partir de artefactos guardados no repositório; a Jev AI Dev não repetiu o benchmark de forma independente.
| Métrica | Logits brutos | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Respostas alteradas ao inverter as opções | 0.230 | 0.073 | 0.077 |
| Precisão | 0.747 | 0.803 | 0.807 |
| Erro de calibração esperado | 0.240 | 0.184 | 0.095 |
| Cobertura com no máximo 5% de erro | 7.7% | 46.3% | 52.0% |
Neste teste, a precisão passou de 0,747 para 0,807. A maior mudança operacional foi a cobertura com até 5% de erro: 7,7% para logits brutos e 52,0% após calibração L1. A estimativa usa um conjunto pequeno e não deve ser aplicada a outro fluxo sem validação.
Consultar o benchmark e as ablaçõesA Data Science in your pocket publicou esta breve introdução depois do aparecimento do AnyJev. É uma explicação de terceiros, não uma demonstração oficial da Nokia Applied Research nem um benchmark independente.
Ver «How to convert any LLM into Jev AI?» no YouTubeA WquGuru comparou o Jev oficial e três projetos abertos num MacBook, usando 20 pedidos de suporte em chinês. A publicação inclui vídeo, tempos e precisão por projeto.
A mesma publicação indica 20/20 para o Jev oficial, 65% para o Laya e 35% para o djev. Trate estes dados como uma observação inicial da comunidade, não como benchmark controlado: há um conjunto pequeno, uma máquina e configurações diferentes por projeto.
Ver a comparação e o vídeo no X“The latency is real. We went correctness first.”
Jiamu «Morris» Zhang disse que a primeira versão ainda não otimizava o caminho de serving. Apresentou o AnyJev como um método para modelos já servidos pela equipa e afirmou que o trabalho de otimização para vLLM/SGLang estava a começar.
Ler a resposta completa do autorA MarkTechPost resume a leitura tipada, a diferença L0/L1 e os resultados BANKING77. Os números vêm do benchmark do projeto, não de uma replicação independente.
Limite da evidência: A Jev AI Dev confirmou que as publicações contêm estas afirmações, mas não reproduziu o teste da comunidade. As visualizações e interações são omitidas porque mudam ao longo do tempo.
Uma saída tipada elimina um problema de integração. Não torna um julgamento semântico correto, seguro ou transferível para outra distribuição.
Uma escolha com K opções usa rotações cíclicas, por isso a correção sem etiquetas requer K prefills. Troca trabalho de inferência por maior estabilidade à ordem.
A calibração e as camadas de saída pertencem a um modelo e pergunta específicos. Devem ser reconstruídas ou revalidadas quando um deles muda.
O caminho L2 atual usa um backend Transformers local. Motores de inferência como vLLM e SGLang estão no roteiro do projeto.
Meça precisão, calibração, sensibilidade à ordem e abstenção em dados representativos antes de uma probabilidade controlar uma ação importante.
O AnyJev evolui rapidamente. Verifique a versão, os backends e as limitações antes de o integrar.
O AnyJev segue uma abordagem: adaptar um LLM causal aberto no momento da decisão. O ecossistema inclui também modelos treinados para a tarefa, runtimes locais e experiências compatíveis com a API.