Bakalárska práca

Rozpoznávanie rukou písaného textu

Marián Skrip

školiteľ: RNDr. Peter Borovanský, PhD.

konzultant: Mgr. Peter Gergeľ

Cieľ

Aplikácia pre rozpoznávanie rukou písaného matematického textu pomocou neurónovej siete

Rozpoznávacia časť I

• Nachádza sa na serverovej časti aplikácie (http://35.197.14.128/api/v1.0/recognize)
• POST request s obsahom obrázku
• Vráti dáta z integrovaného WolframAlpha API

• Segmentácia obrázku na znaky (nasledujúci slajd)
• Rozpoznávanie znakov pomocou neurónovej siete (TensorFlow / TFlearn)
• Komunikácia s WolframAlphaAPI za účelom vypočítať (získať viac informácií) o predikovanom matematickom texte

Rozpoznávacia časť II

Vstup do servera

Threshold

Segmentácia znakov

Model siete

• modrá - vstupné údaje (dáta, prislúchajúca trieda) 
• červená - konvolučné vrstvy
• zelená - max pooling vrstvy
• šedá - výstupná časť siete (dropout, výpočet presnosti a chyby)

Trénovanie

výsledná presnosť: 99%

Slabšia čiara predstavuje okamžitú presnosť, silnejšia relatívnu presnosť

Mobilná časť I

• Platforma Android
• Jednoduché používateľské rozhranie
• Po odfotení je priamo vykonaná komunikácia so serverom

Mobilná časť II

WolframAlphaAPI

• Jednoduchý prístup
• API aj v jazyku Python (ale Python2.7)
• Bezplatné do určitého počtu requestov

Google Cloud Platform

• Free Trial ($300 credit)
• Cloud VM
• Dovoľuje HTTP prístup
• Client ->Apache2->WSGI->Flask->Server

Hlavné prínosy práce

• Práca má priniesť zjednodušenie bežných výpočtov vždy prístupnou formou
• Ukázať schopnosti neurónových sietí

Osobné prínosy práce

• Oboznámil som sa s technológiou neurónových sietí a obojstrannou HTTP komunikáciou
• V práci som využil poznatky najmä v oblasti mobilných aplikácií ale aj použitia rôznych dátových štruktúr

Ďakujem za pozornosť

Posudok

Oponent:

• Popíšte bližšie metódu použitú na rozdelenie vstupného obrazu na jednotlivé bunky obsahujúce znaky.
• Ak sú bunky pravouhlé obdĺžniky, je Vaša metóda schopná úspešne segregovať dva znaky, ktoré sa síce neprekrývajú, ale ich AABB (axis-aligned bounding boxes) sa prekrývajú? (Príkladom môže byť nula s indexom nula).

Posudok

Školiteľ:

• Vyjadrite sa k niektorému (vyberte si jeden) z problémov, ktoré sa vyskytli pri testovaní vašej práce. Presnejšie, separácia znakov, hrúbka pera, upload, a skúste naznačiť možné riešenie.