火舞招式訓練輔助系統
虛實製造系統 Final - B13902017 陳亮延
Index
1
招式資料庫
建立參數與招式轉換
並在 unity 模擬
2
AR UI
設計基於 AR 的 UI
以便使用者操作
與觀察招式
3
人體追蹤 + 虛擬道具
辨識人體與軀幹位置
建立虛擬道具的參數
並顯示於界面中
開發進度（上週）
mediapipe
IMU ?
5
3D Improve
辨識人體與軀幹位置
建立虛擬道具的參數
並顯示於界面中
UI 更動
依照用途分區
左方控制顯示需求
以 filled block 呈現狀態
下方控制招式切換/播放
增加預覽 / 練習的模式切換
前進/倒退等功能
MediaPipe 身體追蹤
握把追蹤手的位置
繩子、球則依據其位置擺盪、轉動
但因延遲、畫面縮放的關係還在調適中
目前使用體驗不太理想
還有轉動慣量、回饋感可以深入研究
概念：用亮度、顏色擷取 LED 道具位置
=> 設閾值、去雜訊、統一著色
實務上的阻礙：
- 快門自動調節，亮度不統一
- LED 道具肉眼有明顯顏色，拍出來很容易過曝遍全白
- 周圍的光暈不會過曝，一定有顏色
- 但周遭環境會反光
- 兩顆球？
- 不同色 -> 但中間都是白色
- 同色 -> 怎麼找到最大的兩個、分辨左右手
LED 道具追蹤
把 x, y 軸處裡跟 z 軸處理分離
單獨由 depth list 控制手的 z 軸移動
轉折處雖不美觀
但可以基本分辨招式前後（左右）
以訓練部份講究平面前後的招式
更新 2 球深度資訊
電腦離太遠，每次都回到電腦前操作很麻煩
=> Media Pipe 姿勢、手勢辨識
Play/Pause: 兩手攤開舉起
Restart(Stop): 兩手握拳舉起
Next Trick: 右手食指、中指伸出
Leave Training: 兩手闔上
更新 1：手勢控制
- 系統化招式系統與招式視覺化
- AR UI / 基礎手勢互動
- 虛擬道具：手部追蹤
- 實體道具追蹤
最終功能
- 進階 AR 手勢互動
- 虛擬道具
- 物理優化
- 實體工具回饋、六軸感測器
- 實體道具追蹤算法優化
- 評分系統
- 3D & AR headset