Jev valida listados de Near Here al 96 por ciento en 50 casos
Clasificación- Costo
- $0.043 per 1,000 decisions
- Latencia
- 0.59s average; 0.58s median on the 21-record run
- Resultado
- 48 de 50 decisiones esperadas en el conjunto de prueba principal
Pregunta a Jev un Choice sobre si el título de un listado y una descripción opcional deben excluirse de Near Here después de chequeos deterministas.
Pregunta a Jev un Choice sobre si el título de un listado y una descripción opcional deben excluirse de Near Here después de chequeos deterministas.
El post citado comparó ese Choice con Mistral Small 4 y Gemini 3.5 Flash-Lite en los mismos 50 listados. Jev coincidió en 48 de 50 decisiones esperadas y no rechazó ninguno de los 13 eventos esperados como válidos. Mistral coincidió en 42. Gemini coincidió en 43.
La velocidad y el costo salen de una ejecución aparte de 21 registros: mediana de Jev 0.58s y $0.000904 en esos 21 listados, o $0.043 por 1,000 decisiones. El post dice que los prompts se eligieron para un uso de producción previsto, no que ya estuvieran desplegados.
Cómo funciona
- Correr chequeos deterministas en cada listado
- Enviar el título y la descripción opcional a Jev como Choice
- Excluir listados que Jev asigna a una categoría de rechazo
- Conservar listados sin exclusión explícita