AnyJev — открытый Python-инструментарий от Nokia Applied Research. Он считывает решения Choice, Score и Noul из каузальных языковых моделей, а затем корректирует смещение из-за порядка вариантов и калибрует вероятности.
Важно: AnyJev — не новая фундаментальная модель, не открытая публикация весов TypeSafe Jev и не официальный продукт Jev. Это независимый способ строить решения в формате Jev на моделях, которые вы запускаете сами.
anyjev в PyPIstate → typed decisionsС меня дважды списали деньги. Пожалуйста, решите вопрос сегодня.
result.level = "L0"Пример результатаВыбранная каузальная модель остаётся прежней; меняется способ считывания решения с фиксированным набором ответов. Поэтому AnyJev ближе к слою принятия решений, чем к самостоятельному дообученному классификатору.
Вы задаёте контекст и один или несколько вопросов с фиксированным набором ответов. AnyJev возвращает распределение для категориального выбора, вероятность для вопроса да/нет или ожидаемое значение на упорядоченной шкале.
Сырые логиты токенов ответа могут предпочитать метку или её позицию. AnyJev указывает уровень коррекции каждого решения, чтобы приложение могло требовать нужный уровень.
Проект не публикует и не воспроизводит закрытые веса, обучающие данные или метод RLCD компании TypeSafe. Сходная форма запроса не доказывает эквивалентное поведение.
L0 действительно не требует обучения. Более высокие уровни используют размеченные примеры; L2 подгоняет небольшую выходную головку под конкретный вопрос, не меняя веса базовой модели.
Без коррекции позиции варианта или предпочтения метки.
Стабильнее, но вероятности не откалиброваны под задачу.
Улучшает оценку уверенности, но не исправляет неверное ранжирование.
Привязан к модели и вопросу; нужен локальный доступ к скрытым состояниям.
Пример повторяет публичный API: модель Qwen остаётся локальной, AnyJev считывает два решения с фиксированным набором ответов, а обычный код приложения определяет следующий шаг.
pip install "anyjev[hf]"Требуется Python 3.10 или новее. При первом реальном запуске также загружается выбранная открытая модель.
Choice + Noulfrom anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
decider = Decider(HFBackend("Qwen/Qwen3-8B"))
route = Question.choice(
"Which team should handle this?",
["billing", "technical", "sales", "other"],
name="route",
)
risky = Question.noul(
"Is this tool call destructive or irreversible?",
name="risky",
)
result = decider.decide(
{"message": "I was charged twice.", "tool_call": "refund"},
[route, risky],
)
result["route"].distribution
result["risky"].p_true
result.level # "L0"Приложение перечисляет допустимые команды и спрашивает, рискован ли предложенный вызов инструмента.
Свободный текст не генерируется. Результат содержит распределение или вероятность и использованный уровень.
Код задаёт пороги, направляет неопределённые случаи на проверку и блокирует побочные эффекты при высоком риске.
AnyJev приводит следующие результаты Qwen3-8B на 300 тестовых примерах BANKING77. Данные взяты из опубликованных авторами материалов бенчмарка; Jev AI Dev не повторял его независимо.
| Метрика | Сырые логиты | AnyJev L0 | AnyJev L1 |
|---|---|---|---|
| Смена ответа при обратном порядке вариантов | 0.230 | 0.073 | 0.077 |
| Точность | 0.747 | 0.803 | 0.807 |
| Ожидаемая ошибка калибровки | 0.240 | 0.184 | 0.095 |
| Покрытие при ошибке не более 5% | 7.7% | 46.3% | 52.0% |
В этом тесте точность выросла с 0,747 до 0,807. Более заметное операционное изменение — покрытие при ошибке не выше 5%: 7,7% для сырых логитов и 52,0% после калибровки L1. Оценка основана на малом наборе и требует проверки для другого процесса.
Изучить бенчмарк и абляцииData Science in your pocket выпустил это краткое введение после появления AnyJev. Это стороннее объяснение, а не официальная демонстрация Nokia Applied Research и не независимый бенчмарк.
Посмотреть «How to convert any LLM into Jev AI?» на YouTubeWquGuru сравнил официальный Jev и три открытых проекта на одном MacBook, используя 20 обращений поддержки на китайском. В треде есть видео, время и точность по каждому проекту.
В том же треде указаны 20/20 для официального Jev, 65% для Laya и 35% для djev. Это раннее наблюдение сообщества, а не контролируемый бенчмарк: малый набор вопросов, одна машина и разные конфигурации проектов.
Открыть сравнение и видео в X“The latency is real. We went correctness first.”
Jiamu «Morris» Zhang сообщил, что в первой версии контур инференса ещё не был оптимизирован. Он описал AnyJev как метод для уже используемых командой моделей и отметил начало оптимизации vLLM/SGLang.
Прочитать полный ответ автораMarkTechPost описывает типизированное считывание, различие L0/L1 и результаты BANKING77. Эти цифры взяты из бенчмарка проекта, а не независимого воспроизведения.
Граница доказательств: Jev AI Dev проверил наличие этих утверждений в публикациях, но не воспроизводил тест сообщества. Числа просмотров и реакций намеренно не приведены, поскольку меняются со временем.
Типизированный вывод снимает одну проблему интеграции. Он не делает семантическую оценку автоматически правильной, безопасной или переносимой.
Выбор из K вариантов использует циклические перестановки, поэтому коррекция без меток требует K prefills. Дополнительная инференция повышает устойчивость к порядку.
Калибровка и выходные головки относятся к конкретной модели и вопросу. При изменении их нужно перестроить или проверить заново.
Текущий путь L2 использует локальный бэкенд Transformers. Серверные движки vLLM и SGLang указаны в плане проекта.
Измерьте точность, калибровку, чувствительность к порядку и отказ на репрезентативных данных, прежде чем вероятность начнёт управлять важным действием.
AnyJev быстро развивается. Перед интеграцией проверьте последнюю версию, бэкенды и ограничения.
AnyJev адаптирует открытую каузальную LLM в момент принятия решения. В экосистеме также есть специально обученные модели, локальные среды и API-совместимые эксперименты.