火舞招式訓練輔助系統
虛實製造系統 Mid III - B13902017 陳亮延
Index
1
招式資料庫
建立參數與招式轉換
並在 unity 模擬
2
AR UI
設計基於 AR 的 UI
以便使用者操作
與觀察招式
3
人體追蹤 + 虛擬道具
辨識人體與軀幹位置
建立虛擬道具的參數
並顯示於界面中
開發流程(上週)
json + animation/translate script
mediapipe / OpenCV
IMU ?
已完成
招式資料庫 & 視覺化 & UI
設計 pattern 架構花了比預期久的時間
- 高相容性
- 易用性高
- 2D -> 3D
現在的架構足以支援絕大多數平面招式
有前後關係的招式仍有很多改善空間
UI 具備基本
- 資訊選擇性呈現
- 招式切換
- metadata 修改(BPM、繩長、視角)
接上攝影機即具備基礎訓練功能

PipeLine
PoiPatternData
(ScripableObject)
PoiPatternData
PoiPatternData
...
PoiPatternLibrary
PoiPatternSolver
TrajectorySolver
PoiPattern
PreviewController
計算出來的招式缺乏部分細節
如手與球的前後關係、法向量、轉速不均勻
與左右手轉軸(肩膀)位置差異
可能方案
- 加上細微法向量偏移
- 把動作再基礎化並組合
細節的位置關係
一大部分招式的球會在身體前後來回
但 2D 畫面難以呈現前後
以及身側因應前後變化形成的微小角度
可能方案:
- Tilted Plane
- 前後分色 + 半透明物遮擋
前後平面切換
為了整體進度,完善 UI 後先以 AR 為重點開發
再回頭改善這些部分
1
招式資料庫
建立參數與招式轉換
並在 unity 模擬
2
AR UI
設計基於 AR 的 UI
以便使用者操作
與觀察招式
3
人體追蹤 + 虛擬道具
辨識人體與軀幹位置
建立虛擬道具的參數
並顯示於界面中
開發流程
mediapipe
IMU ?
5
3D Improve
辨識人體與軀幹位置
建立虛擬道具的參數
並顯示於界面中
1142AR Mid III
By rain0130
1142AR Mid III
- 88