Jev 把 2,000 則葡萄酒筆記變成 CatBoost 特徵,RMSE 1.77
研究- 結果
- 五輪後留出 RMSE 1.77,平均基線是 3.09
問 Jev 把品飲筆記變成 CatBoost 數值特徵的 Score 與 Noul。
這個 Jev 研究使用案例從 2,000 則葡萄酒品飲筆記與評論分數開始。CatBoost 只能用數字訓練,所以迴圈必須發明能把每則筆記變成一行答案的 Jev 問題。
每一輪 Claude 寫 Score 與 Noul。Jev 為每則筆記回答。CatBoost 猜評論分數。最差的 30 次失手與最好的 30 次命中會回去,讓 Claude 新增、改寫或丟掉問題。
第 1 輪用 18 題,在 800 則留出評論上達到 RMSE 1.87。五輪之後集合是 38 題,留出 RMSE 是 1.77,猜平均則是 3.09。左邊的磨坊就是那個迴圈。原始出處是 cookbook。
運作方式
- LLM 提出新增、修訂或丟掉的動作
- Jev 為全部 2,000 則筆記回答每個新問題
- CatBoost 用編碼後的答案訓練
- 最差與最好的預測進入下一輪提案