ASMR

Autonomous Sensory Meridian Response

Sensation de bien-être, de picotements et de frissons au niveau du crâne, du cuir chevelu ou des zones périphériques du corps.

Provoquée par des stimulus auditifs, visuels, olfactifs ou cognitifs.

La nature et la classification du phénomène reste controversée au sein de la communauté scientifique.

More than a feeling: Autonomous sensory meridian response (ASMR) is characterized by reliable changes in affect and physiology - G.-L. Poerio, E. Blakey, T. J. Hostler, T. Veltri - Anglia Ruskin University, U.-K.

L'ASMR change notre affect

1ère expérience en ligne

→ Augmentation des frissons

→ Augmentation du calme

→ Réduction du stress et de la tristesse ?

2ème expérience en labo

→ Confirmations des critères précédents

→ Réponses physiologiques  (BPM et conduction cutanée)

→ Beaucoup de stimulus différents

Le marché de l'ASMR

L'asmr pour le streaming

Matériel coûteux : micro binaural coûteux, accessoires diversifiés.

JUSqu'à 400€

Faible retour sur investissement : beaucoup de concurrence, difficile de sortir du lot.

© Reese The Movie: An ASMR Experience

Chih-Chin Liang & Chao-Hui Li

Applying ASMR on The Advertising of Towel Sound: A Pilot Study

Marché des serviettes à Taïwan

→ Permet de sortir de lot

Utilisation et évaluation de l'ASMR dans le marketing

→ Difficile de se démarquer

→ Innondation de pubs en ligne

→ Capte l'attention

→ Intérêt et désir grandissant

→ Potentiel achat futur

Génération d'ASMR avec du deep learning

Magenta

Open Source Project

Développé par l'équipe Google Brain.

Objectif : explorer le rôle que le ML peut avoir dans l'art et la musique.

Nombreuses librairies et modèles pour générer images, musiques et autres médias.

Possibilité d'entraîner notre propre modèle

→ OnsetsAndFrames & MusicTransformer

Rappel : Réseaux de neurones

• Les neurones d'une couche prennent les signaux en entrée et envoient des signaux en sortie à la couche suivante en utilisant une fonction d'activation.
   
• Entraînement avec exemples d'entrées et de sorties souhaitées
• Modification des poids entre les connexions de neurones 

Onsets and frames

• Retranscription d'un audio en MIDI
  • Notes, durées, intensités...
• Extractions des notes et des durées
  • Musique de piano
  • En général efficace sur les autres instruments à large gamme de notes.
• CNN acoustic model + RNN

Partie Onsets : classification de note 

CNN Acoustic Model

Bidirectionnal LSTM

128 units

Fully connected sigmoid layer

88 outputs

Prédiction de chaque note de l'audio parmi les 88 notes d'un piano

Partie Frames : Durées des notes 

CNN Acoustic Model

Bidirectionnal LSTM

128 units

Fully connected sigmoid layer

88 outputs

Les notes ainsi que leurs durées

Concatenate with Onsets results

FC Sigmoid

88 out.

Music Transformer

- Besoin : réferencer le passé

- Remplace les LSTM

- Auto-attention relative : trouver la différence relative entre 2 notes

- Différence relative : influe sur le timing et la hauteur de la note généré en fonction de la note précédente 

Démonstration

Avec notre propre jeu de données

• Spotify

• 19 titres

• 2h11 minutes

• Musique binaurale avec différents stimulis ASMR

Le jeu de données

Conversion En MIDI

Utilisation de Onsets and Frames via:

Magenta.js + Tensorflow.js

Attention : Le modèle est chargé dans le navigateur et cela est gourmand en ressource matérielle.

Résultats obtenus

• Beaucoup de vide
• Perte d'information
• Stimulis souvent perdus

Quelques passages plus riches :

Entrainement du modèle

• Plusieurs tentatives non fructueuses en local
• Tentative sur Colab 
  • Sur CPU: RAM remplie
  • Sur GPU:

• Echantillons trop long : nous aurions du les découper

Pas de modèle entraîné avec nos données.

Mais...

DATASET de l'équipe pachyderm

• 165 titres
• 20 heures
• Mais moins de stimulis ASMR différents

Musique générée

• Presque aucun silence
• Beaucoup de notes répétées
• Bonne musique de concentration

• Modèle très performant pour la musique

• Pas pour les stimuli

• Dataset plutôt musical qu'orienté stimulis

Vos questions ?