Seminarium
dyplomowe
Mateusz Burniak, 218321
Konspekt
- Temat i prowadzący
- Cel pracy
- Zebrane dane
- Schemat aplikacji
- Studia literaturowe
- Podsumowanie
Temat
Komputerowe rozpoznawanie
wybranych elementów języka migowego
na podstawie obrazów
Prowadzący
Prof. dr hab. inż. Marek Kurzyński
Aspekt BADAWCZY
Opracowanie algorytmów ekstrakcji cech z obrazu postury dłoni oraz algorytmów rozpoznawania wybranych
elementów języka migowego. Zaplanowanie badań eksperymentalnych oraz analiza i dyskusja wyników.
Aspekt INŻYNIERSKi
Komputerowa implementacja opracowanych algorytmów w wybranym środowisku eksperymentowania oraz aspekt techniczny badań eksperymentalnych.
Zebrane dane
kaggle: asl alphabet
- 87k zdjęć
- 29 klas
- 200x200 px
kaggle: Sign Language MNIST
- 35k zdjęć
- 24 klasy
- 28x28 px
Hand Keypoint Detection in Single Images using Multiview Bootstrapping
- 17k zdjęć
- różne rozmiary, np. 720x576 px lub 400x300 px
Schemat aplikacji
wydzielenie dłoni
defekty wypukłości
SIEĆ NEURONOWA
- 3 cechy: R, G, B dla każdego piksela
- 2 klasy: dłoń / nie dłoń
szukanie 21 punktów kluczowych dłoni
yolo
Studia literaturowe
Accurate Hand Keypoint Localization
on Mobile Devices [1]
- CNN
- Obraz RGB
- 21 punktów dłoni
ACCURATE HAND KEYPOINT LOCALIZATION
ON MOBILE DEVICES [1]
Hand Keypoint Detection in Single Images using Multiview Bootstrapping [2]
- Śledzenie rąk 2D w czasie rzeczywistym
- Przechwytywanie ruchu w 3D
Hand Keypoint Detection in Single Images using Multiview Bootstrapping [2]
Hand Keypoint Detection using Deep Learning and OpenCV [3]
literatura
- [1] Gouidis, F., Panteleris, P., Oikonomidis, I., & Argyros, A.A. (2018). Accurate Hand Keypoint Localization on Mobile Devices. CoRR, abs/1812.08028.
- [2] Simon, T., Joo, H., Matthews, I.A., & Sheikh, Y. (2017). Hand Keypoint Detection in Single Images Using Multiview Bootstrapping. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4645-4653.
- [3] https://www.learnopencv.com/hand-keypoint-detection-using-deep-learning-and-opencv/