Jev의 차원 점수가 일본어 NLI에서 0.9076에 이릅니다

비용

$1.43 for 34.1M input tokens and 5,477 test rows

지연

9 minutes 14 seconds for 20,139 extraction rows

결과

일본어 NLI에서 0.9076 대 0.8373. 단단한 benign의 거짓 양성은 37.2% 대 1.5%

행마다 직접 질문 하나, 또는 채점 차원 12개에서 14개를 Jev에 묻고, 캐시한 점수로 로컬 가중치를 맞춥니다.

행마다 직접 질문 하나, 또는 채점 차원 12개에서 14개를 Jev에 묻고, 캐시한 점수로 로컬 가중치를 맞춥니다.

인용 게시물은 일 셋을 돌렸습니다. 일본어 NLI에서는 맞춘 가중치의 차원 14개가 0.9076입니다. 직접 Choice 하나는 0.8373입니다. 행 300개의 cue-aggregate 일에서는 차원이 74.0퍼센트, 직접 호출은 64.7퍼센트입니다. 장부 행에서는 word-bigram naive Bayes가 차원을 이기고, 둘의 쌓임은 0.9695입니다.

단단한 benign 339행에서 직접 Choice의 거짓 양성은 1.5퍼센트입니다. 차원 12개는 37.2퍼센트에 표를 달아, 약 25배입니다. 실험 전체는 시험 행 5,477에 걸쳐 입력 토큰 34.1M, 비용 $1.43입니다. 행 20,139개의 추출은 9분 14초, 실패 호출은 0입니다.