Jev の次元スコアが日本語 NLI で 0.9076 に達する

コスト

$1.43 for 34.1M input tokens and 5,477 test rows

レイテンシ

9 minutes 14 seconds for 20,139 extraction rows

結果

日本語 NLI で 0.9076 対 0.8373。硬い benign の偽陽性は 37.2% 対 1.5%

行ごとに直接の質問一つ、または 12 から 14 の採点次元を Jev に聞き、キャッシュしたスコアでローカル重みを当てはめる。

行ごとに直接の質問一つ、または 12 から 14 の採点次元を Jev に聞き、キャッシュしたスコアでローカル重みを当てはめる。

引用投稿は三つの仕事を走らせた。日本語 NLI では、当てはめた重み付き 14 次元が 0.9076。直接 Choice 一つは 0.8373。300 行の cue-aggregate 仕事では次元が 74.0 パーセント、直接呼び出しは 64.7 パーセント。帳簿の行では word-bigram naive Bayes が次元に勝ち、両方の積み重ねは 0.9695。

硬い benign 339 行で、直接 Choice の偽陽性は 1.5 パーセント。12 次元は 37.2 パーセントに印を付け、約 25 倍。実験全体はテスト行 5,477 にわたって入力トークン 34.1M、コスト 1.43 ドル。20,139 行の抽出は 9 分 14 秒、失敗呼び出しは 0。