音声コマンドをブラウザのアクションに変換する
Moritz Kremb は、詳しいチュートリアルの中で音声操作ブラウザを構築しています。音声を文字に起こした後、Jev が現在のページ要素からユーザーの意図に合う操作と対象を判断します。
Jev は処理ループの一段階にすぎません。音声認識、ブラウザの状態管理、安全確認、実際のクリックはモデルの外側で処理されます。
X や YouTube で公開されている Jev AI の機能、実験、チュートリアルを紹介します。各事例では、自分のプロジェクトにも応用できる一つの判断に焦点を当てています。
デモや実際に提供されている機能を、解決する課題ごとに探せます。X の投稿と YouTube 動画には、Jev が担う具体的な判断について独自の解説を添えています。
25 件中 25 件の事例を表示
Moritz Kremb は、詳しいチュートリアルの中で音声操作ブラウザを構築しています。音声を文字に起こした後、Jev が現在のページ要素からユーザーの意図に合う操作と対象を判断します。
Jev は処理ループの一段階にすぎません。音声認識、ブラウザの状態管理、安全確認、実際のクリックはモデルの外側で処理されます。
Riley Brown は Jev の 3 種類の出力形式を解説し、モデルへのリクエスト振り分けやメールの選別など、複数の小さなアプリケーションを紹介しています。
まず出力形式を決めます。候補から一つを選ぶ、数値で評価する、二択で答える、のいずれかです。結果を受けて実際に処理する責任は、アプリケーション側に残ります。
TypeSafe の Developer Relations を担当する Allie Laabs が ThursdAI に出演し、System One モデルと Choice、Score、Noul の基本機能を解説しています。投稿分類器とリアルタイムゲームのデモも紹介されます。
チーム自身による背景説明に加え、デモや未解決の論点も確認できます。インタビューで触れられる性能と価格の数値は、出演者による主張です。
Gregor は、DOM の状態とその時点で実行可能な操作を使うオープンソースのブラウザエージェントを紹介しています。各ステップは Jev が選び、文字入力が必要な場合だけ小型の言語モデルに切り替えます。
投稿者によると、航空券検索の例は約 7 秒、0.0039 ドルでした。これはベンチマークではなくデモ上の数値です。操作の実行と安全対策はアプリケーション側が担います。
Tamara は、残す内容を生成要約で書き換えるのではなく、ツール呼び出しを一件ずつ評価して不要なものを除く方法を紹介しています。
呼び出し単位の選別なら、採用した原文をそのまま保持できます。一方、処理間の依存関係や監査要件には、引き続き決定論的な確認が必要です。
Aaron Levie は、Box 上のインシデント報告をエージェントが読み取り、顧客への影響と深刻度を判断したうえで、ファイルを「エスカレーション」「監視」「要確認」の各フォルダーへ振り分けるデモを紹介しています。
Jev が担う短い分類と、その結果に基づいて処理するワークフローが明確に分かれています。フォルダーの移動やメタデータの更新は、引き続きアプリケーション側のコードが担当します。
スペイン語のデモでは、Alan Daitch が Playwright と Jev を組み合わせ、中古品の出品情報を確認しています。Jev が商品や条件への適合を判断し、周辺のワークフローが見送り、入札、不足情報の問い合わせを実行します。
作者の補足投稿によると、ページ上の文章に対して 5 項目の二択判定を行います。ページ移動、入札、出品者への連絡は別の操作であり、それぞれに確認ルールと安全対策が必要です。
Rinte の日本語デモでは、発表者がリモコンやキーボードに触れなくても、話している内容に合うスライドが自動で選ばれます。
これは既存のスライドから一つを選ぶタスクです。音声の取得とスライドの表示は周辺アプリケーションが担っており、Jev がスライド自体を生成するデモではありません。
Kaneko の日本語プロトタイプでは、発言のたびに会議の状態を 3 つの軸で更新します。軸は「探索/収束」「解決済み/未解決」「対立/合意」です。
範囲を絞った判断を繰り返すことで、進行中の議論を追いやすくできます。ただし、これは会話を可視化するプロトタイプであり、各ラベルが参加者全員の意図を正確に表すことを保証するものではありません。
中国語のデモでは、Sac が Codex と Jev を組み合わせて Mac のカレンダーに予定を追加し、Jev を使う場合と使わない場合の同じ操作を並べて比較しています。
並列動画から応答速度の違いは確認できますが、これは一人の作者による比較であり、条件をそろえた速度ベンチマークではありません。各操作の実行と結果の確認はアプリケーション側が担当します。
中国語のデモでは、15 ブランドに関するニュースを Jev で処理し、構造化された意図ラベルを付けたうえで、各ブランドに関係しそうな記事を抽出しています。
作者は高速な一括処理を報告していますが、返信では明らかな分類ミスも指摘されています。広報判断に使う前に、編集者による確認と定量的な精度評価が必要です。
Nader は、意図に基づく Gmail 検索を紹介しています。大規模な受信トレイでは、先に意味検索で候補を集め、その小さな集合を Jev に判定させる方法も示しています。
検索と判定は別の段階です。メールへのアクセス権、候補の再現率、見落とした結果を確認できる仕組みも重要です。
Duncan は、受け取ったリクエストに適したモデルを Jev で選び、そのモデルへ処理を渡すルーターを紹介しています。Jev が振り分けを判断し、選ばれた別のモデルが自由形式の回答を生成します。
候補が限られた選択処理を、生成モデルの呼び出し前に置ける例です。実運用には、フォールバックルールと実際のリクエストを使った評価が欠かせません。
Bannerbear は、フィールド名が異なっていても、元データとテンプレートを対応付けられる提供中の機能を紹介しています。たとえば avatar と photo、full_name と name を対応させます。
候補が決まっている、小規模な意味マッチングのタスクです。製品側では、提案された対応関係をユーザーが確認して修正できるようにする必要があります。
Nader Dabit は、予測型スプレッドシートのデモを公開しています。「緊急度」のような列名を入力すると、数式を再計算するだけでなく、各行の文章の意味を判断します。
必要な情報が文章の意味に含まれる場合、スコアリングによってスプレッドシートの用途を広げられます。ただし、このデモはプロトタイプであり、実務に導入する前に評価結果を検証する必要があります。
Marcel Pociot は、自然な文章で指定したルールに一致する X の投稿を非表示または折りたたむブラウザ拡張機能を紹介しています。閲覧中に Jev が返す判定に応じて表示を切り替えます。
二択の判定を使えば、個人向けコンテンツフィルターをすばやく動作させられます。誤判定の影響が大きいため、投稿を黙って削除するより、元に戻せる「折りたたみ」のほうが安全です。
Marcel Pociot は、macOS の「ダウンロード」フォルダーを監視するアプリを紹介しています。新しいファイルが請求書かどうかを判断し、設定したルールに合う書類を整理して名前を変更します。
作者によると、確信度が低いファイルは移動せず、人が確認できる状態に残します。すべてを自動で移動することよりも、適切なしきい値と重複検出の設計が重要です。
Hassan は、まず Jev でメールを一括分類し、判断が難しいものだけを別のモデルへ送るパイプラインを紹介しています。高速な一次判定と、より詳しい再確認を分ける設計です。
設計上の重要なポイントは、不確実とみなすしきい値です。作者が示した精度はデモで使ったメール群に対する結果であり、あらゆる受信箱や詐欺パターンに当てはまるわけではありません。
Riley Brown は、各メールへの返信を生成する代わりに、限られたカテゴリから選ぶことで、Jev が 500 件のメールを数秒で分類するデモを紹介しています。
投稿者によると、デモ全体の費用は約 0.035 ドルでした。本番運用には、明確なラベル体系、信頼度の扱い、重要なメールに対する人の確認が必要です。
Paolo Rosson はコード差分を Jev に渡し、秘密情報の混入、SQL インジェクション、認証処理の変更、テスト不足など、レビューで注目すべき点を構造化された判定として受け取っています。
得られるのはレビューの着眼点であり、安全にマージできることの証明ではありません。影響の大きい変更では、人によるレビューと決定的なルールに基づくスキャナーを引き続き併用する必要があります。
LangChain は、エージェントの挙動を評価する別の方法として、精度、再現性、遅延、コストの観点から Jev と言語モデルによる判定を比較しています。
高速な判定器も、その基準とラベルがチームの重視する挙動を捉えていなければ役立ちません。ベンチマークの結果は、各アプリケーション固有のデータでも再検証すべきです。
Hugo Duprez は、Jev が構造化された判断を返し、ゲームエンジンがプレイ中にその結果から次の区間を組み立てるデモを紹介しています。
Jev はゲーム側のスキーマ内で選択します。有効な地形、難易度の上限、通過可能な接続は引き続きエンジンが保証します。速度の数値は投稿者による報告です。
Duncan は迷路の状態を JSON で送り、Pac-Man が分岐点に着くたびに Jev に進行方向を選ばせています。選択結果はゲームエンジンがリアルタイムで反映します。
ゲームは、短い間隔で繰り返す判断と遅延の影響を分かりやすく見せてくれます。このデモが示すのは制御ループであり、Jev がゲーム映像を直接見て理解しているわけではありません。
Rob Hallam は、各投稿について複数の固定質問を行い、その回答から下書きを順位付けする SuperX のデモを紹介しています。投稿を生成するのではなく、スコアを編集判断の参考に使う例です。
順位付けは、その後の成果と相関して初めて意味を持ちます。作者が示した性能値は、第三者が再現するまではデモ内の主張として扱うべきです。
Stav Zilbershtein は、大量の広告をカスタマージャーニーの段階とクリエイティブのスタイルで分類し、そのラベルを使って競合企業の広告構成を分析する方法を紹介しています。
一貫したラベルを付けると、大規模な広告群を比較しやすくなります。処理時間と費用は作者による報告値です。詳しいアカウント分析は周辺ワークフローの一部であり、必ずしも Jev が直接出力したものではありません。
Playground で構造化された判断を試したら、Projects でオープンソースの連携例やサンプルも確認してみてください。