codelab@ime.usp.br
Grupo de extensão universitária que como objetivo estimular a inovação tecnológica na USP
A.D.A
Advanced Distributed Assistant
IME-USP
Docentes responsáveis:
Prof. Dr. Alfredo Goldman gold@ime.usp.br
Prof. Dr. Roberto Hirata hirata@ime.usp.br
Prof. Dr. Marcelo Finger mfinger@ime.usp.br
Pós-graduandos responsáveis:
Antonio Abello abello@ime.usp.br
Carlos Eduardo Elmadjian elmad@ime.usp.br
Fernando Scattone ffs@ime.usp.br
Gabriel Capella gcapella@ime.usp.br
Guilherme Feulo feulo@ime.usp.br
Renato Cordeiro renatocf@ime.usp.br
Shayenne Moura shayenne@ime.usp.br
Thatiane Rosa thatiane@ime.usp.br
O projeto será segmentado em oito subprojetos de diferentes áreas da computação. Ao final, será criada uma prova de conceito, de código aberto, que irá demonstrar as capacidades da assistente e aplicações em domínios de interesse público e privado.
Resumo
O projeto A.D.A. – Assistente Distribuída Avançada – propõe a criação de uma assistente pessoal distribuída inteligente, isto é, uma agente virtual capaz de interagir com o usuário a partir de um ecossistema de dispositivos, como os IoT (Internet das Coisas), por meio de comandos de voz em português.
Esses comandos serão transcritos para programas cujas operações básicas serão disponibilizadas pelos aparelhos administrados pela assistente, de modo que o usuário também poderá compor novos comandos via voz. Finalmente, a assistente será capaz de identificar padrões de uso para sugerir novas ações a partir de comandos em uma base de conhecimento pública.
Motivação
-
Ausência de assistentes distribuídos de código aberto
-
Ausência de suporte (adequado) para pt-BR em assistentes abertos
-
Baixa acurácia da interface voz-para-texto, inferior ao estado da arte
-
Ausência de uma representação interna de conhecimento
-
Cadastro de novos comandos a partir de comandos básicos
-
Aprendizado de definições criadas pelo usuário
-
-
Ausência de privacidade no compartilhamento de dados
-
Ausência de voice fingerprinting para identificar um usuário pela voz
-
Limitação nas interfaces:
-
Minimização de erros em comandos ambíguos
-
Recuperação de erros em comandos incorretos
-
Ambiguidade em relação à escolha do dispositivo para executar uma ação
-
Proposta
Comparação
| Assistente | Alexa | Bixby | Cortana | Siri | Mycroft | Snips | ADA | |
|---|---|---|---|---|---|---|---|---|
| Suporte a Pt-BR | X | X | X | X | ~ | X | ||
| Software Aberto | X | X | X | |||||
| Ambiente distribuído | X | |||||||
| Multidispositivo | X | X | X | X | X | X | ||
| Multiplataforma | X | X | X | |||||
| Processamento local | X | X | ||||||
| Integração com Iot | X | X | X | X | X | |||
| Aprende padrões | X | X | X | |||||
| Diálogo | X | X | X | X | ||||
| Criação de programas | X |
Divisão de trabalho
| Tipo | Tarefa | Escopo | Supervisor | Auxiliar | |
|---|---|---|---|---|---|
| 1 | DS | Converter voz para texto | Servidor | Shayenne | Carlos |
| 2 | DS | Converter texto para comandos | Servidor | Antonio | Shayenne |
| 3 | IoT | Definir APIs registráveis | Dispositivos | Gabriel | Thatiane |
| 4 | SE | Criar interpretador de comandos | Servidor | Renato | Gabriel |
| 5 | SE | Criar interface com o assistente | Web/Mobile | Carlos | Renato |
| 6 | DE | Processar e sugerir eventos | Servidor | Fernando | Antonio |
| 7 | DO | Construir infra para distribuir serviços | Servidor | Thatiane | Fernando |
DS = Ciência de Dados, DE = Engenharia de Dados
SE = Engenharia de Software, DO = DevOps, IoT = Internet das Coisas
Este projeto propõe a concessão de 7 bolsas de iniciação científica para a criação dos módulos descritos anteriormente
A.D.A - Advanced Distributed Assistant
By codelab@ime.usp.br
A.D.A - Advanced Distributed Assistant
A.D.A - Advanced Distributed Assistant
