Seminarium

dyplomowe

Mateusz Burniak, 218321

Konspekt

  1. Temat i prowadzący
  2. Cel pracy
  3. Zebrane dane
  4. Schemat aplikacji
  5. Studia literaturowe
  6. Podsumowanie

Temat

Komputerowe rozpoznawanie

wybranych elementów języka migowego

na podstawie obrazów

Prowadzący

Prof. dr hab. inż. Marek Kurzyński

Aspekt BADAWCZY

Opracowanie algorytmów ekstrakcji cech z obrazu postury dłoni oraz algorytmów rozpoznawania wybranych
elementów języka migowego. Zaplanowanie badań eksperymentalnych oraz analiza i dyskusja wyników.

Aspekt INŻYNIERSKi

Komputerowa implementacja opracowanych algorytmów w wybranym środowisku eksperymentowania oraz aspekt techniczny badań eksperymentalnych.

Zebrane dane

kaggle: asl alphabet

  • 87k zdjęć
  • 29 klas
  • 200x200 px

kaggle: Sign Language MNIST

  • 35k zdjęć
  • 24 klasy
  • 28x28 px

Hand Keypoint Detection in Single Images using Multiview Bootstrapping

  • 17k zdjęć
  • różne rozmiary, np. 720x576 px lub 400x300 px

Schemat aplikacji

wydzielenie dłoni

defekty wypukłości

SIEĆ NEURONOWA

  • 3 cechy: R, G, B dla każdego piksela
  • 2 klasy: dłoń / nie dłoń

szukanie 21 punktów kluczowych dłoni

yolo

Studia literaturowe

Accurate Hand Keypoint Localization

on Mobile Devices [1]

  • CNN
  • Obraz RGB
  • 21 punktów dłoni

ACCURATE HAND KEYPOINT LOCALIZATION

ON MOBILE DEVICES [1]

Hand Keypoint Detection in Single Images using Multiview Bootstrapping [2]

  • Śledzenie rąk 2D w czasie rzeczywistym
  • Przechwytywanie ruchu w 3D

Hand Keypoint Detection in Single Images using Multiview Bootstrapping [2]

Hand Keypoint Detection using Deep Learning and OpenCV [3]

literatura

  • [1] Gouidis, F., Panteleris, P., Oikonomidis, I., & Argyros, A.A. (2018). Accurate Hand Keypoint Localization on Mobile Devices. CoRR, abs/1812.08028.
  • [2] Simon, T., Joo, H., Matthews, I.A., & Sheikh, Y. (2017). Hand Keypoint Detection in Single Images Using Multiview Bootstrapping. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4645-4653.
  • [3] https://www.learnopencv.com/hand-keypoint-detection-using-deep-learning-and-opencv/

seminarium-dyplomowe-1

By Mateusz Burniak

seminarium-dyplomowe-1

  • 297