Jev が Jack Cheng の発話と指差しを、キャンバス編集の呼び出しに写す

結果

発話と指差しが、一つのキャンバス編集呼び出しになるか、変化なし

発話と指差しから、どのキャンバス操作、対象、場所を使うかを Jev に聞く。

ツイートの題は Jev is the future。動画はキャンバス編集器と三つのデバッグ枠。INPUT、JEV、CANVAS。INPUT は発話、指差し語の数、指の状態、テキストとしてのキャンバスを持つ。JEV は action、target、where を、それぞれ百分率付きで返す。CANVAS は編集器がしたことと、どの API が走ったかを示す。Calibrate ボタンと Listening ラベルがウェブカメラの下にある。オーバーレイは 7 または 8 問を数える。ツイートは要求を見せない。

映像の話した INPUT は、ここに黄色い円を描け、ここに青い四角を作れ、ここに赤い菱を足せ、大きくしろ、動かせ、undo、全部選べ、消せ、である。撮った JEV 操作は clear、create、restyle、move、undo、select。create は黄色い円、青い四角、赤い菱を塗る。restyle は赤い菱を大きくする。move は赤い菱、黄色い楕円、青い四角を置き、赤い菱の右も含む。undo は最後の変更を戻す。select は三つの形に印を付ける。空のキャンバスでの clear は、その領域では何もしない。

キャンバス枠は editor.createShape、editor.updateShape、editor.undo、editor.setSelectedShapes を出す。オーバーレイは 167 ms や 487 ms のようなミリ秒も出す。それらは呼び出しごとの跡であり、公開中央値ではないので、指標の行は空のまま。