Los puntajes de dimensión de Jev llegan a 0.9076 en Japanese NLI

Costo

$1.43 for 34.1M input tokens and 5,477 test rows

Latencia

9 minutes 14 seconds for 20,139 extraction rows

Resultado

0.9076 frente a 0.8373 en Japanese NLI; 37.2% frente a 1.5% de falsos positivos en benignos difíciles

Pregunta a Jev una pregunta directa por fila, o 12 a 14 dimensiones puntuadas, y ajusta pesos locales sobre los puntajes en caché.

Pregunta a Jev una pregunta directa por fila, o 12 a 14 dimensiones puntuadas, y ajusta pesos locales sobre los puntajes en caché.

El post citado corrió tres tareas. En Japanese NLI, 14 dimensiones con pesos ajustados llegaron a 0.9076 frente a 0.8373 de un Choice directo. En una tarea cue-aggregate de 300 filas las dimensiones marcaron 74.0 por ciento frente a 64.7 por ciento de la llamada directa. En líneas de contabilidad, word-bigram naive Bayes ganó a las dimensiones, y un stack de ambos llegó a 0.9695.

En 339 filas benignas difíciles, la tasa de falsos positivos del Choice directo fue 1.5 por ciento. Las 12 dimensiones marcaron 37.2 por ciento, unas 25 veces más. Todo el experimento usó 34.1M tokens de entrada en 5,477 filas de prueba y costó $1.43. La extracción de 20,139 filas tardó 9 minutos 14 segundos con 0 llamadas fallidas.