火舞招式訓練輔助系統

虛實製造系統 Mid III - B13902017 陳亮延

Index

1

招式資料庫

建立參數與招式轉換

並在 unity 模擬

2

AR UI

設計基於 AR 的 UI

以便使用者操作

與觀察招式

3

人體追蹤 + 虛擬道具

辨識人體與軀幹位置

建立虛擬道具的參數

並顯示於界面中

4

道具追蹤

以 Marker/LED 道具

經由影像處理轉為

虛擬世界中的座標

開發流程(上週)

json + animation/translate script

mediapipe / OpenCV

IMU ?

已完成

招式資料庫 & 視覺化 & UI

設計 pattern 架構花了比預期久的時間

  • 高相容性
  • 易用性高
  • 2D -> 3D

現在的架構足以支援絕大多數平面招式

有前後關係的招式仍有很多改善空間

UI 具備基本

  • 資訊選擇性呈現
  • 招式切換
  • metadata 修改(BPM、繩長、視角)

接上攝影機即具備基礎訓練功能

PipeLine

PoiPatternData

(ScripableObject)

PoiPatternData

PoiPatternData

...

PoiPatternLibrary

PoiPatternSolver

TrajectorySolver

PoiPattern

PreviewController

計算出來的招式缺乏部分細節

如手與球的前後關係、法向量、轉速不均勻

與左右手轉軸(肩膀)位置差異

可能方案

  • 加上細微法向量偏移
  • 把動作再基礎化並組合

細節的位置關係

一大部分招式的球會在身體前後來回

但 2D 畫面難以呈現前後

以及身側因應前後變化形成的微小角度

可能方案:

  • Tilted Plane
  • 前後分色 + 半透明物遮擋

前後平面切換

為了整體進度,完善 UI 後先以 AR 為重點開發
再回頭改善這些部分

1

招式資料庫

建立參數與招式轉換

並在 unity 模擬

2

AR UI

設計基於 AR 的 UI

以便使用者操作

與觀察招式

3

人體追蹤 + 虛擬道具

辨識人體與軀幹位置

建立虛擬道具的參數

並顯示於界面中

4

道具追蹤

以 Marker/LED 道具

經由影像處理轉為

虛擬世界中的座標

開發流程

mediapipe

IMU ?

5

3D Improve

辨識人體與軀幹位置

建立虛擬道具的參數

並顯示於界面中

Made with Slides.com