Jev 把 2,000 則葡萄酒筆記變成 CatBoost 特徵,RMSE 1.77

作者: TypeSafe

研究

How the loop works

Misses rewrite the questions
  • Answers
  • Misses
1 of 5
1Note2,000 reviewsask2QuestionsClaude writes 183NumbersJev answersguess4Scoreguess critic pointsseen error 1.903hidden error 1.869lower is better5no misses yet60 notes across rangeClaude

This round's changes

New, reword, or remove
ChangeQuestionWhy
newcomplexity
newfruit_intensity
newtannin_structure
newacidity_intensity
newoak_intensity
newfinish_length
newbalance_harmony
newaging_potential
newpositive_superlative_language
newnegative_critical_language
newdrinkability_easiness
newbody_richness
newsweetness_level
newtexture_descriptors
newearthy_savory_notes
newflaw_or_defect_mentioned
newsingle_vineyard_or_prestige_signal
newvarietal_blend_detail

分類這個使用案例

  • Research1.00
  • Shipped0.94
  • Measured0.99
  • Usefulness0.54
  • Cookbook1.00
  • Ready0.90
  • Measured result0.56
  • Copy quality0.28
  • Creativity0.71
  • Distinct intent0.89
結果
五輪後留出 RMSE 1.77,平均基線是 3.09

問 Jev 把品飲筆記變成 CatBoost 數值特徵的 Score 與 Noul。

這個 Jev 研究使用案例從 2,000 則葡萄酒品飲筆記與評論分數開始。CatBoost 只能用數字訓練,所以迴圈必須發明能把每則筆記變成一行答案的 Jev 問題。

每一輪 Claude 寫 Score 與 Noul。Jev 為每則筆記回答。CatBoost 猜評論分數。最差的 30 次失手與最好的 30 次命中會回去,讓 Claude 新增、改寫或丟掉問題。

第 1 輪用 18 題,在 800 則留出評論上達到 RMSE 1.87。五輪之後集合是 38 題,留出 RMSE 是 1.77,猜平均則是 3.09。左邊的磨坊就是那個迴圈。原始出處是 cookbook。

運作方式

  1. LLM 提出新增、修訂或丟掉的動作
  2. Jev 為全部 2,000 則筆記回答每個新問題
  3. CatBoost 用編碼後的答案訓練
  4. 最差與最好的預測進入下一輪提案