Улесняване на комуникацията с глухи хора

Дипломна работа

Пловдивски университет "Паисий Хилендарски"

Факултет по математика и информатика

Изготвил:

Георги Мирчев

спец. Софтуерни технологии

Система споделяща говорна реч като текст в реално време

Научен ръководител:

ас. Йордан Тодоров

Идеята ...

"Помощ в образованието на глухите хора"

Проблеми

Видове комуникация (Минуси):

• Писмена

  • ​По-бавна комуникация
  • Висок процент неграмотност

• Устна

  • Приложима при частично глухи хора
  • Средата е основен фактор

• Жестомимичен език

  • Прекалено много знаци

Цели на системата

1. Писмената комуникация е в основата на системата
2. Преобразуване на реч в текст
3. Споделяне на преобразуваната реч в реално време
4. Създаване на стаи с участници
5. Да бъде реално използваема
   1. Споделяне на кода по приложенията (отворен код)
   2. Да бъде в синхрон с изискванията на глухите в България

Да улесни комуникацията с глухите хора

За целта:

Решения

Android

NodeJS

• 78% продажби през първо тримесечие на 2015
• Отворен код
• Безплатно разпознаване на реч в текст

• Най-използвана при сървъри с голям трафик
• Работата в реално време е в основата му
• REST + WebSockets = <3

Реализация

База от данни

Реализация

Сървър

Websockets

REST

• localhost:8081 - Чат
• localhost:8082 - Стрийм

• localhost:8080

(Tokens, Status Codes, Joi, Swagger, ECMAScript 6, Babel, Gulp, Generators) + MVC ...

Реализация

Android

• Flux архитектура за REST

• Volley клиент за REST

• Sockets.io клиент за Websockets

• Social Login 

• Събитийно програмиране

• Маркдаун изглед

• Логиката е разпределена в компоненти

• Material Design

• Google Speech Recognition Provider

До момента (1) ...

До момента (2) ...

Плюсове, минуси и бъдещо развитие

Плюсове

• Добра основа
• Споделен код
• Съгласуваност с българската кампания "Заслушай се"
• Бързина на системата

Минуси

• Бързо изхабяване на батерията
• Допълнителен микрофон
• Точност при превод - 85% английски език
• Бърз интернет

Бъдеще

• По-добра точност
• Други мрежи освен WiFi
• Подкрепа на идеята

Благодаря Ви за  вниманието!

LOVE