L’intelligence artificielle
au service de la langue des signes :
entre solution et limite.

Emmanuelle ABOAF

Women Techmarkers - 9 juillet 2025

A propos

https://bento.me/eaboaf

Environ 466 millions de personnes dans le monde sont touchées par une perte auditive invalidante.

– OMS

72 millions de personnes sourdes et malentendantes dans le monde utilisent la langue des signes.

Il existe plus de 300 langues des signes différentes dans le monde.

La langue des signes

n'est pas universelle.

Il ne fonctionnera pas pour les autres pays qui utilisent une langue des signes différente.

VOUS DEVEZ CONNAÎTRE

• La communauté sourde et malentendante
• La culture Sourde
• Apprendre la langue des signes locale auprès des personnes sourdes.

LES GANTS, la révolution ?

J'ai créé le terme « Disability Dongle » en 2019 pour attirer l'attention sur le phénomène des étudiants et praticiens en design et ingénierie qui prototypent des solutions « innovantes » pour les personnes handicapées. La définition satirise un résultat dans lequel les conceptions ou les technologies « pour » les personnes handicapées attirent l'attention du grand public et sont louées malgré les préoccupations légitimes des personnes handicapées à leur sujet.

– Liz Jackson

Le traitement de la langue des signes, domaine émergeant de l'intelligence artificielle, permet de traduire automatiquement la langue des signes en langue parlée (ou écrite) et vice-versa.

Sign Language Processing

LES AVATARS 3D, LA SOlution ?

En anglais, des sites comme Signer.ai (ASL) ou Signapse.ai (BSL) proposent des traductions automatiques en langue des signes pour les vidéos, les textes et les audios.

En France, KEIA et IVèS (IRIS) proposent de traduire automatiquement des contenus en langue des signes française (LSF) via un avatar 3D.

© Spokhand & MédiaPi

TEXT-TO-SIGN

"I'm delighted to be here with you to give this talk on artificial intelligence and sign language."

• Avatar super réaliste (voire trop ?)
  • Frontière flou entre l’avatar de plus en plus réaliste et l’interprète en langue des signes.
  • Mettre un tampon IA pour montrer qu’il s’agit un avatar pour ne pas induire les personnes sourdes et malentendantes en erreur.
• Manque d'expressivité de l'avatar
• Qui vérifie la qualité de la traduction ?

© Signapse.ai

Questions éthiques et morales

Annonce de Google sur SignGemma

GOOGLE SIGNGEMMA (SIGN-To-Text)

• La traduction sera t-elle fiable ?
• Qui vérifie que la traduction est correcte ?
• Est-ce que les expressions faciales et du corps seront prises en compte ?
• Est-ce que la main dominante sera prise en compte ?
• Est-ce que l'IA saura comprendre la personne qui signe très vite ?

Questions qui se posent suite à l'annonce :

Source : Google tente de traduire la langue des signes en texte grâce à cette IA

© KEIA

défis techniques de l'ia sur la langue des signes

• La langue des signes n'est pas juste une langue avec des signes, c'est
  • une langue vivante avec ses propres règles, des expressions du corps et du visage ;
  • connaître l'alphabet ne suffit pas ;
  • un signe peut signifier plusieurs mots ;
  • une langue qui évolue.
• C'est pourquoi il faut s'assurer que :
  • les expressions du visage et du corps sont correctement restitués ;
  • la traduction de la langue des signes vers oral/écrit ou vice-versa est correcte ;
  • la base de données soit constamment alimentée, ce qui est difficile car :
    • l'IA doit capturer en motion le nouveau signe, l'enregistrer et l'utiliser dans le bon contexte ;
    • Ce n'est pas comme incorporer un nouveau mot dans le modèle comme c'est le cas avec les sous-titres​.
• S'il y a une mauvaise interprétation, les conséquences peuvent être plus ou moins graves.

La langue des signes automatique, tout comme les sous-titres automatiques,

ne sont pas fiables à 100%.

Les avatars n'ont pas pour vocation de remplacer les interprètes qui sont sur le terrain.

LE Signbot d'IVèS

SIgn SPEAK

Sign Speak is not merely building technology for Deaf people; it’s building it with them. *

A été construit avec la communauté sourde et malentendante.

* Sign Speak ne se contente pas de construire des technologies
pour les personnes sourdes, il les construit avec elles.

Nothing about us without us

https://contribute.cncf.io/accessibility/deaf-and-hard-of-hearing/

LinkedIn : Emmanuelle Aboaf

MERCI

Revoir la présentation

RESOURCES (1/2)

• How does ASL automatic translation work? - HandTalk
• Sign Language Processing
• Sign Language
• ASL on Websites: how to include it and its importance?
• GenASL: Generative AI-powered American Sign Language avatars
• You are a student or in the tech industry or quite simply an entrepreneur. If you're starting a project within accessibility or looking for advices, this publication is for you! (And for everyone else, in fact)
• Inside Sign Speak’s Mission To Make Accessibility Out Of American Sign Language And Artificial Intelligence
• “Nothing About Us Without Us” -- Mantra for a Movement
• “Nothing about us without us” is not just a slogan, it is the deepest desire of every person with a disability - Sheri Byrne-Haber
• For Deaf people, train travel can be a gamble. But an AI-powered Auslan avatar can help
• MotionSign by IVès (FR)
• Comment développer la langue des signes française automatique ? (FR)

RESOURCES (2/2)

• ‘Lost in translation’: Why sign language gloves fail, and how a ‘SignGPT’ could fix a ‘complex’ problem - Liam O'Dell
• IA et traduction automatique : menace pour la communauté sourde ? - MédiaPi
• How We Translate Sign Language with AI Support in Only 3 Steps
• Sign Language Avatars: The German Gold Rush to Undercut Flesh And Blood Interpreters
• University Students Designed Gloves That Translate Sign Language Into Speech
• This new high-tech glove translates sign language into speech in real time
• Glovatrix, an Indian Startup, Building AI Gloves to Help Speech Impaired Speak again
• Engineering student’s AI model turns American Sign Language into English in real-time