Jev が 2,000 件のワインメモを CatBoost 特徴にし、RMSE 1.77 にする

作者: TypeSafe

研究

How the loop works

Misses rewrite the questions
  • Answers
  • Misses
1 of 5
1Note2,000 reviewsask2QuestionsClaude writes 183NumbersJev answersguess4Scoreguess critic pointsseen error 1.903hidden error 1.869lower is better5no misses yet60 notes across rangeClaude

This round's changes

New, reword, or remove
ChangeQuestionWhy
newcomplexity
newfruit_intensity
newtannin_structure
newacidity_intensity
newoak_intensity
newfinish_length
newbalance_harmony
newaging_potential
newpositive_superlative_language
newnegative_critical_language
newdrinkability_easiness
newbody_richness
newsweetness_level
newtexture_descriptors
newearthy_savory_notes
newflaw_or_defect_mentioned
newsingle_vineyard_or_prestige_signal
newvarietal_blend_detail

このユースケースを分類

  • Research1.00
  • Shipped0.94
  • Measured0.99
  • Usefulness0.54
  • Cookbook1.00
  • Ready0.90
  • Measured result0.56
  • Copy quality0.28
  • Creativity0.71
  • Distinct intent0.89
結果
五ラウンド後の残した RMSE は 1.77。平均ベースラインは 3.09

テイスティングメモを CatBoost 用の数値特徴に変える Score と Noul を Jev に聞く。

この Jev 研究ユースケースは、2,000 件のワインテイスティングメモと批評点から始まる。CatBoost は数字でしか訓練できないので、ループは各メモを答えの行に変える Jev 質問を発明する必要がある。

各ラウンドで Claude が Score と Noul を書く。Jev はすべてのメモに答える。CatBoost が批評点を当てる。いちばん悪い 30 の外れといちばん良い 30 の当たりが戻り、Claude が質問を足す、言い換える、落とす。

ラウンド 1 は 18 問で、残した 800 件のレビューで RMSE 1.87。五ラウンドのあと集合は 38 問、残した RMSE は 1.77。平均を当てるのは 3.09。左のミルがそのループである。元の出典はクックブック。

仕組み

  1. LLM が足す、直す、落とすの操作を提案する
  2. Jev が新しい質問のすべてに、2,000 件のメモで答える
  3. CatBoost が符号化した答えで訓練する
  4. いちばん悪い予測といちばん良い予測が、次の提案ラウンドに入る