Jev 把 Jack Cheng 的語音與指點對到畫布編輯器呼叫
函式呼叫- 結果
- 語音與指點變成一次畫布編輯器呼叫,或沒有變更
依語音與指向的手指,問 Jev 該用哪個畫布動作、目標與位置。
推文題名是 Jev is the future。影片是帶三個除錯欄的畫布編輯器:INPUT、JEV 與 CANVAS。INPUT 放語音、指點詞數、手指狀態,以及文字化的畫布。JEV 回 action、target 與 where,各帶百分比。CANVAS 顯示編輯器做了什麼、跑了哪個 API。Calibrate 按鈕與 Listening 標籤在網路攝影機下方。疊層數出 7 或 8 題。推文沒有顯示請求。
影片裡說出的 INPUT 是在這裡畫黃圓、在這裡做藍方、在這裡加紅菱、變大、移動、undo、全選、刪除。拍到的 JEV 動作是 clear、create、restyle、move、undo 與 select。create 畫出黃圓、藍方與紅菱。restyle 讓紅菱變大。move 放置紅菱、黃橢圓與藍方,包括放到紅菱右側。undo 還原上次變更。select 標出三個形狀。空畫布上的 clear 在那個區域什麼都不做。
畫布欄印出 editor.createShape、editor.updateShape、editor.undo 與 editor.setSelectedShapes。疊層也印出像 167 ms 與 487 ms 的毫秒數字。那些是單次呼叫軌跡,不是公開中位數,所以指標列維持空白。
運作方式
- 聽畫布上的語音與指向的手指
- 把語音、手指狀態與畫布文字送給 Jev
- 從 Jev 讀 action、target 與 where
- 呼叫對應的畫布編輯器 API,或什麼都不做