Jev が Near Here のイベント掲載を 50 件中 96 パーセントで確かめる

作者: Jon Reed

分類

Jon Reed

元の出典

このユースケースを分類

  • Classification0.95
  • Shipped0.81
  • Measured0.98
  • Usefulness0.54
  • Community post0.97
  • Ready0.93
  • Specific case0.61
  • Copy quality0.47
  • Creativity0.82
  • Distinct intent0.91
コスト
$0.043 per 1,000 decisions
レイテンシ
0.59s average; 0.58s median on the 21-record run
結果
主テスト集合で期待判断 50 のうち 48

決定的な検査のあと、掲載題と任意の説明を Near Here から外すべきかの Choice を Jev に聞く。

決定的な検査のあと、掲載題と任意の説明を Near Here から外すべきかの Choice を Jev に聞く。

引用投稿は、同じ 50 掲載でその Choice を Mistral Small 4 と Gemini 3.5 Flash-Lite と比べた。Jev は期待判断 50 のうち 48 に合い、期待される有効イベント 13 件は一つも拒まなかった。Mistral は 42。Gemini は 43。

速さとコストは別の 21 記録の実行から来る。Jev 中央値 0.58 秒、それらの 21 掲載で 0.000904 ドル、または 1,000 判断あたり 0.043 ドル。投稿は、プロンプトはこれから使う本番向けに選んだのであり、すでに配備済みだとは言っていない。

仕組み

  1. 各掲載で決定的な検査を走らせる
  2. 題と任意の説明を Choice として Jev に送る
  3. Jev が拒否カテゴリに付けた掲載を外す
  4. 明示の除外がない掲載を残す