Jev が 2,000 件のワインメモを CatBoost 特徴にし、RMSE 1.77 にする
研究- 結果
- 五ラウンド後の残した RMSE は 1.77。平均ベースラインは 3.09
テイスティングメモを CatBoost 用の数値特徴に変える Score と Noul を Jev に聞く。
この Jev 研究ユースケースは、2,000 件のワインテイスティングメモと批評点から始まる。CatBoost は数字でしか訓練できないので、ループは各メモを答えの行に変える Jev 質問を発明する必要がある。
各ラウンドで Claude が Score と Noul を書く。Jev はすべてのメモに答える。CatBoost が批評点を当てる。いちばん悪い 30 の外れといちばん良い 30 の当たりが戻り、Claude が質問を足す、言い換える、落とす。
ラウンド 1 は 18 問で、残した 800 件のレビューで RMSE 1.87。五ラウンドのあと集合は 38 問、残した RMSE は 1.77。平均を当てるのは 3.09。左のミルがそのループである。元の出典はクックブック。
仕組み
- LLM が足す、直す、落とすの操作を提案する
- Jev が新しい質問のすべてに、2,000 件のメモで答える
- CatBoost が符号化した答えで訓練する
- いちばん悪い予測といちばん良い予測が、次の提案ラウンドに入る