Recherche

(mis à jour: 22/08/2016)

Les Interfaces Cerveau Ordinateur Actives (ICOs) permettent à une personne d’exercer un contrôle direct et volontaire sur un système informatique par interprétation de son activité cérébrale : certains signaux du cerveau sont capturés afin que le système reconnaisse des actions imaginées spécifiques (mouvements, images, concepts). Les ICOs actives et leurs utilisateurs doivent être entrainés. Cet entraînement rend les signaux plus aisés à reconnaître par le système.

Cependant, à l’heure actuelle les ICO servent principalement dans un contexte médical pour aider les personnes en situation de handicap (moteur, ou empêchant complètement la communication avec le monde extérieur) et se trouvent rarement en dehors de laboratoires spécialisés.

Les ICO ont de nombreuses limitations :

·       La variabilité dans les signaux: les signaux sont différents d’une personne à l’autre voire même chez un même individu à des moments différents.

·       Des sessions d’entraînement longues et répétitives: entre dix minutes et deux mois, sont ennuyantes et désengagent les utilisateurs du processus d’apprentissage.

·       Un feedback limité: les systèmes actuels proposent un feedback unimodal élémentaire qui est inadapté pour les nombreux utilisateurs. la communication est unidirectionnelle dans le sens où le système donne des instructions que l’utilisateur doit exécuter.

L’objectif de ma thèse est de proposer des solutions aux problèmes sus décrits afin d’obtenir une architecture consistante qui rendra les ICO plus compatibles avec les applications d’IHM. L’idée principale est l’implantation du co-apprentissage dans la boucle ICO et l’exploration de la manière dont les utilisateurs et le système peuvent mutuellement se donner du feedback dans le but de l’amélioration de l’utilisabilité des ICO.

Projet 1. Co-apprentissage pour les Interfaces Cerveau-Ordinateur.
Nous proposons d’abord une architecture logicielle pour les ICO et son implantation, centrées sur le co-apprentissage. Le co-apprentissage est un processus par lequel l’entraînement des ICO devient bidirectionnel : le système donne du feedback sur l’entraînement à l’utilisateur, et l’utilisateur en donne également en retour. L’objectif est de permettre au système de s’adapter à chaque utilisateur mais aussi de promouvoir l’apprentissage chez l’utilisateur afin que les capacité liées à l’utilisation des ICO soient aussi renforcées au fur et à mesure de l’entraînement (modulation des signaux, concentration, etc.). Le co-apprentissage implique que la phase d’entraînement devienne non-monolithique et qu’il soit possible d’ajouter des exemples d’entraînement au classifieur lors de la phase en ligne et d’ainsi permettre la mise à jour en temps réel du modèle de classification pour prendre en compte les nouvelles informations d’entraînement. Une autre implication est que le feedback doit être fourni de manière continue et que la classification doit être asynchrone. Idéalement, le temps d’entraînement initial avant la phase en ligne (en usage normal) et le début de l’entraînement incrémental doit rester minimale. Ainsi, nous produisons une architecture et système ICO qui permet de minimiser le temps d’entraînement initial en introduisant un pré-filtrage non-supervisé qui est compatible avec un entraînement incrémental du classifieur. Nous validons dans un premier temps notre système au travers d’une tache de pilotage de drone et évaluons son potentiel dans une étude sur le long terme en comparaison d’un entraînement basé sur le conditionnement opérant.

Publications liées au projet 1: toutes les publications sur la page Publications.

Projet 2. Feedback visuel pour les Interfaces Cerveau-Ordinateur.

Si l’on veut que l’utilisateur puisse donner du feedback au système, il nous faut d’abord proposer un type de feedback sur le résultat de la classification des ICO pour que les utilisateurs puissent avoir les informations nécessaires d’une manière aisée à comprendre. Ainsi, le projet 2 est dédiée au feedback, et fait une double contribution :

·       Nous proposons une modalité de feedback visuel plus intuitif, qui permet aux utilisateurs d’aisément comprendre le processus de classification de l’ICO.

·       Nous introduisons un système de feedback explicite entre l’utilisateur et le système afin d’obtenir un système de co-apprentissage où l’utilisateur et le système apprennent de l’un l’autre graduellement.

Nous évaluons les deux contributions ensemble à l’aide d’un jeu de tir simple mettant en scène le Petit Chaperon Rouge à l’aide de deux paradigmes d’ICO : l’Imagerie Motrice (IM) et les Potentiels Visuellement Evoqués à Etat Constant (PVEEC).

Publications liées au projet 2: toutes les publications sur la page Publications.

Vous pouvez regarder la vidéo du projet qui a été présenté au CHI 2016: https://www.youtube.com/watch?v=onSpIRGEEsw

Projet 3. Les Interfaces Cerveau-Ordinateur comme modalité d’interaction de tous les jours.

Sachant que notre objective de fond est de rendre les ICO plus appropriées pour une utilisation de tous les jours au delà de l’état des l’art des applications existantes, il est important d’étudier des domaines d’applications où les ICO peuvent être utilisées comme modalité d’interaction de tous les jours.

Cette étude porte sur deux aspects. D’une part il faut proposer des améliorations aux paradigmes ICO existants et proposer des adaptations pour les rendre plus appropriés pour une utilisation quotidienne. D’autre part il faut proposer des nouveaux paradigmes d’ICO et créer des nouvelles niches applicatives.

La portée du deuxième objectif est très large, et une étude exhaustive n’est pas faisable dans le court ou moyen terme. Par conséquent, nous nous focalisons sur un aspect en particulier en proposant un nouveau paradigme à base d’imagerie conceptuelle et évaluons son potentiel sur un domaine d’application particulier. Ensuite, nous proposons des améliorations aux protocoles d’entraînement des ICO rendues possibles par la nature du nouveau paradigme d’ICO et montrons comment ils rendent possible l’émergence de nouveaux domaines d’application.

Ainsi, le projet 3 est dédiée à l’imagerie conceptuelle, qui permet aux ICO de détecter quand les utilisateurs imaginent des concepts appartenant à certaines catégories sémantiques. En effet, à part pour des taches de contrôle de mouvement à l’aide d’Imagerie Motrice, la sémantique de l’ICO correspond rarement à celle de la tache. L’Imagerie Conceptuelle permet d’éliminer le problème en fournissant un moyen d’avoir des interactions plus intuitives pour nombre d’applications. Nous étudions et contribuons à une application de l’Imagerie Conceptuelle :

Le contrôle d’une maison intelligente au travers de représentations conceptuelles naturelles (par ex. “lampe” allume ou éteint la lumière) sur des sujets sains et d’autres à mobilité réduite.

Publications liées au projet 3:
l’article sur l’utilisation des interfaces cerveau-ordinateur pour le contrôle d’une maison intelligente a été accepté à Frontiers in Human Neuroscience.

Projet 4. Amorçage Sémantique pour Les Interfaces Cerveau-Ordinateur.

Le projet 4 est le contrôle d’un jeu vidéo où la phase d’entraînement est aussi intégrée dans le jeu en exploitant des contrôles avec une sémantique correspondant à celle du jeu à l’aide de l’Imagerie Conceptuelle. Nous proposons d’abord un entraînement où les instructions sont données dans le jeu de manière explicite. Ensuite nous proposons un protocole d’entraînement où la phase d’apprentissage est entièrement intégrée au narratif du jeu en exploitant la notion d’amorçage sémantique, une technique de conditionnement psychologique.

Publications liées au projet 4: 

  • N. Kosmyna, F. Tarpin-Bernard and B. Rivet. Conceptual Priming for In-game BCI Training. ACM Trans. Comput.-Hum. Interact. 2015. 5-year Impact Factor: 1.37. Présenté à CHI 2016.

Vous pouvez regarder la vidéo du projet qui a été présenté au CHI 2016: https://www.youtube.com/watch?v=BkAtT9pjhQ8

 

Co-apprentissage pour les Interfaces Cerveau-Ordinateur

Mon travail actuel est focalisé sur le co-apprentissage pour Interfaces Cerveau Ordinateur, vous pouvez lire une description détaillée de mon avancement actuel sur la page ci-dessous:
Co-apprentissage pour les Interface Cerveau-ordinateur

Interfaces Cerveau Ordinateur et jeux vidéos: Mon projet du Master

Un autre de mes interrêts de recherche que j’ai commencée durant mon Master 2 porte sur la combinaison multimodale d’ICO avec le suivi du regard. Plus exactement, je souhaite étudier le potentiel de matériel grand public à prix abordables à fonctionner avec diverses paradigmes d’ICO et essayer d’améliorer l’expérience des utilisateurs (en termes de précision de l’interaction mais aussi en terme d’ergonomie et d’utilisabilité).

Dans le contexte de mon projet de Master 2 j’ai crée une petite expérience basée sur un jeu de puzzle simple, avec comme objectif de trouver des pistes d’amélioration de l’utilisabilité des ICO avec des équipements grand public.

  • Le dispositif d’acquisition EEG choisi est l’Emotiv EPOC, un casque de capture EEG peu onéreux et bien conçu, qui est adapté au gaming.
  • Pour les composants logiciels, j’ai utilisé un système ICO libre, OpenViBE développé à l’INRIA
  • L’appareil de suivi du regard étais le Tobii T60.

La vidéo ci-dessous illustre l’expérience.

Vous pouvez télécharger la vidéo complète ici [.mov h224 233Mo]

© Copyright 2017 Nataliya Kosmyna/BRAINI/Your Mind is Mine. All Rights Reserved.