Jev convierte 2,000 notas de vino en features de CatBoost con RMSE 1.77
Investigación- Resultado
- RMSE reservado 1.77 tras cinco rondas, frente a 3.09 de la media baseline
Pregunta a Jev Score y Noul que convierten notas de cata en features numéricos para CatBoost.
Este caso de investigación de Jev parte de 2,000 notas de cata de vino y un puntaje de crítico. CatBoost solo puede entrenar con números, así que el bucle tiene que inventar preguntas de Jev que conviertan cada nota en una fila de respuestas.
En cada ronda Claude escribe Score y Noul. Jev los responde para cada nota. CatBoost adivina el puntaje del crítico. Los 30 peores errores y los 30 mejores aciertos vuelven para que Claude sume, reformule o quite preguntas.
La ronda 1 usó 18 preguntas y llegó a RMSE 1.87 en 800 reseñas reservadas. Tras cinco rondas el conjunto es 38 preguntas y el RMSE reservado es 1.77, frente a 3.09 al adivinar la media. El molino de la izquierda es ese bucle. La fuente original es el cookbook.
Cómo funciona
- Un LLM propone acciones add, revise o drop
- Jev responde cada pregunta nueva en las 2,000 notas
- CatBoost entrena con las respuestas codificadas
- Las peores y mejores predicciones alimentan la siguiente ronda de propuestas