Jev 在 50 個案例上以 96 percent 驗證 Near Here 活動刊登

作者: Jon Reed

分類

Jon Reed

原始來源

分類這個使用案例

  • Classification0.95
  • Shipped0.81
  • Measured0.98
  • Usefulness0.54
  • Community post0.97
  • Ready0.93
  • Specific case0.61
  • Copy quality0.47
  • Creativity0.82
  • Distinct intent0.91
成本
$0.043 per 1,000 decisions
延遲
0.59s average; 0.58s median on the 21-record run
結果
主測試集上 50 個預期判斷裡的 48 個

在決定性檢查之後,問 Jev 一個 Choice:刊登標題與可選說明是否該從 Near Here 排除。

在決定性檢查之後,問 Jev 一個 Choice:刊登標題與可選說明是否該從 Near Here 排除。

引用文章用同一批 50 則刊登,把那個 Choice 跟 Mistral Small 4 與 Gemini 3.5 Flash-Lite 比。Jev 對上 50 個預期判斷裡的 48 個,13 個預期有效活動一個都沒拒。Mistral 對上 42。Gemini 對上 43。

速度與成本來自另一次 21 筆記錄:Jev 中位數 0.58s,那 21 則刊登 $0.000904,或每 1,000 次判斷 $0.043。文章說那些提示是為未來正式使用選的,不是說已經部署。

運作方式

  1. 對每則刊登跑決定性檢查
  2. 把標題與可選說明當成 Choice 送給 Jev
  3. 排除 Jev 分到拒絕類別的刊登
  4. 留下沒有明確排除的刊登