Jev 維度分數在日文 NLI 達到 0.9076

成本

$1.43 for 34.1M input tokens and 5,477 test rows

延遲

9 minutes 14 seconds for 20,139 extraction rows

結果

日文 NLI 上 0.9076 對 0.8373；困難 benign 偽陽性 37.2% 對 1.5%

對每一列問 Jev 一題直接問題，或 12 到 14 個打分維度，再在快取分數上擬合本機權重。

對每一列問 Jev 一題直接問題，或 12 到 14 個打分維度，再在快取分數上擬合本機權重。

引用文章跑了三項工作。在日文 NLI，14 個維度加上擬合權重達到 0.9076，一題直接 Choice 是 0.8373。在 300 列的 cue-aggregate 工作上，維度得到 74.0 percent，直接呼叫是 64.7 percent。在簿記行上，word-bigram naive Bayes 勝過維度，兩者堆疊達到 0.9695。

在 339 列困難 benign 上，直接 Choice 的偽陽性是 1.5 percent。12 個維度標出 37.2 percent，約 25 倍。整個實驗在 5,477 列測試上用了 34.1M 輸入 token，成本 $1.43。擷取 20,139 列花 9 minutes 14 seconds，失敗呼叫 0。