Jev 把 Jack Cheng 的語音與指點對到畫布編輯器呼叫

作者: Jack Cheng

函式呼叫

Jack Cheng

分類這個使用案例

  • Function calling1.00
  • Shipped0.51
  • Measured0.75
  • Usefulness0.19
  • Community post1.00
  • Ready0.88
  • Specific case0.84
  • Copy quality0.60
  • Creativity0.82
  • Distinct intent0.83
結果
語音與指點變成一次畫布編輯器呼叫,或沒有變更

依語音與指向的手指,問 Jev 該用哪個畫布動作、目標與位置。

推文題名是 Jev is the future。影片是帶三個除錯欄的畫布編輯器:INPUT、JEV 與 CANVAS。INPUT 放語音、指點詞數、手指狀態,以及文字化的畫布。JEV 回 action、target 與 where,各帶百分比。CANVAS 顯示編輯器做了什麼、跑了哪個 API。Calibrate 按鈕與 Listening 標籤在網路攝影機下方。疊層數出 7 或 8 題。推文沒有顯示請求。

影片裡說出的 INPUT 是在這裡畫黃圓、在這裡做藍方、在這裡加紅菱、變大、移動、undo、全選、刪除。拍到的 JEV 動作是 clear、create、restyle、move、undo 與 select。create 畫出黃圓、藍方與紅菱。restyle 讓紅菱變大。move 放置紅菱、黃橢圓與藍方,包括放到紅菱右側。undo 還原上次變更。select 標出三個形狀。空畫布上的 clear 在那個區域什麼都不做。

畫布欄印出 editor.createShape、editor.updateShape、editor.undo 與 editor.setSelectedShapes。疊層也印出像 167 ms 與 487 ms 的毫秒數字。那些是單次呼叫軌跡,不是公開中位數,所以指標列維持空白。

運作方式

  1. 聽畫布上的語音與指向的手指
  2. 把語音、手指狀態與畫布文字送給 Jev
  3. 從 Jev 讀 action、target 與 where
  4. 呼叫對應的畫布編輯器 API,或什麼都不做