Mon PhD suit un stage de 6 mois de reconnaissance vocale dans les cockpits d’avions,
qui était la dernière partie de mon DESS Intelligence artificielle Reconnaissance de formes Robotique.
Il s’agit d’un doctorat financé et intégré dans le
réseau européen de recherche et de formation ADVISES (HPRN-CT-2002-00288),
dont le sujet est Analyse, Conception et Validation de Systèmes Interactifs à Sécurité critique et tolérants aux Erreurs.
Le point de départ de ma thèse était d’étudier comment des interfaces d’entrée alternative – comme la reconnaissance vocale –
peuvent améliorer les interfaces hommes-machines traditionnelles basées sur des boutons, souris ou claviers.
La combinaison d’au moins deux interfaces d’entrée différentes, appelée multi-modalité, fut aussi prise en compte.
Après ma soutenance le 4 décembre 2007, mon travail continua en tant que chercheur à l’Université Technique du Danemark (DTU).
Cette thèse en interaction homme-machine (IHM, informatique), étudie le cas du journal d’anesthésie utilisé durant des opérations médicales, et le bien fondé d’enrichir son interface avec des fonctions de reconnaissance vocale.
Des problèmes et des limitations ont été identifiés dans le cas de la version papier traditionnelle du journal d’anesthésie, mais aussi avec les nouvelles versions électroniques, en particulier à propos de considérations ergonomiques et le fait que les anesthésiologistes ont tendance, durant les périodes chargées, à délayer la saisie des médicaments et autres événements, ce qui entraîne des manques et des inexactitudes dans les journaux d’anesthésie.
La thèse étudie en premier lieu le rôle et l’importance du journal d’anesthésie en tant qu’outil de travail pendant les opérations. Les procédures de travail concernées sont décrites en détail. Des enquêtes à petite échelle sont menées et corroborent les observations mentionnées ci-dessus.
L’enrichissement du journal d’anesthésie avec des fonctions de reconnaissance vocale est proposé comme une solution à une partie du problème. Un article de réflexion écrit avec un socio-ergonome décrit les conséquences envisagées à court et long terme si une telle idée venait à être déployée.
La thèse examine ensuite les possibilités et les limitations techniques du système le plus utilisé de reconnaissance vocale en danois pour les applications médicales. Un intérêt particulier est accordé aux effets délétères des différents bruits de fond d’une salle d’opération. Tandis que les bruits forts dans la salle d’opération peuvent avoir un effet prédominant, les taux de reconnaissance en présence de fonds sonores communs sont mesurés comme seulement légèrement inférieurs aux performances obtenues dans un environnement de bureau. D’autres facteurs ont eux aussi un impact majeur, comme les mots à reconnaitre, les participants, le type de reconnaissance vocale (texte libre ou contrôlé) ainsi que le type de microphone. Enfin, une architecture redondante est proposée et réussit à améliorer la fiabilité des reconnaissances.
Après cela, un prototype d’interface pour un journal d’anesthésie électronique avec reconnaissance vocale est développé en se basant sur les connaissances acquises aux étapes précédentes, et sur des entrevues avec des médecins anesthésistes.
L’étape suivante se compose d’expériences dans un simulateur d’anesthésie complet, destinées à comparer le prototype avec l’interface électronique traditionnelle constituée d’un écran tactile et d’un clavier. En s’inspirant de la théorie mathématique des files d’attente, une métrique spéciale est développée pour caractériser les différences de charge mentale de travail, et pour permettre in fine de comparer les deux interfaces. Les résultats montrent que l’interface vocale permet des délais d’enregistrement bien plus courts et une meilleure précision de l’information en comparaison avec l’interface électronique traditionnelle.
Les expériences de simulation permettent aussi de tester des stratégies d’entrée vocale choisies pour le prototype (interface vocale main-libres activée par un mot clef ; combinaison de texte libre et contrôlé), qui ont été satisfaisantes, même en présence de bruit de fond. Le fait de parler au système est apparu envisageable, malgré des progrès nécessaires de la part de la technologie de reconnaissance vocale.
Les expériences présentées ci-dessus forment les résultats principaux de la thèse. Ils sont suivis d’investigations secondaires.
Via des questionnaires et autres indicateurs, une opportunité est prise d’étudier le déploiement, l’acceptation et le succès d’un système de reconnaissance vocale – partageant des caractéristiques communes avec le prototype susmentionné – utilisé pour produire des journaux médicaux de patients dans un hôpital danois. La satisfaction des médecins envers le système est modeste, avec une répartition a posteriori approximativement égale entre ceux en faveur et ceux opposés au déploiement de la reconnaissance vocale pour transcrire les journaux médicaux. Une des raisons principales expliquant l’insatisfaction des médecins est l’introduction de nouvelles procédures de travail simultanément au déploiement de la technologie de reconnaissance vocale, et qui requièrent un plus grand investissement en temps de la part des médecins dans la production des journaux.
Afin de collecter des données plus objectives sur l’effet de l’introduction du système de reconnaissance vocale sur la qualité des journaux médicaux, une comparaison en aveugle est effectuée entre les anciennes et les nouvelles procédures de travail. Les résultats montrent que les journaux produits avec la nouvelle méthode, impliquant l’utilisation possible de la reconnaissance vocale, contiennent plus d’erreurs que ceux produits avec l’ancienne méthode où une secrétaire est en charge de la transcription. Cependant, la différence négative entre la reconnaissance vocale et les secrétaires est relativement faible en terme de nombre d’erreurs de transcription et ne concerne pas les journaux qui suivent un modèle fixe et utilisent des phrases routinières. Ces résultats ne doivent en conséquence pas être interprétés comme montrant que la reconnaissance vocale ne fournit pas d’avantages, surtout en considérant les autres bénéfices, comme par exemple dans la réduction des délais totaux de production des journaux.
La conclusion est que la reconnaissance vocale est une modalité très intéressante qui devrait être utilisée dès lors que cela est approprié mais seulement dans le cas de tâches pour lesquelles cette technologie est efficace face à d’autres alternatives.
→ Voir les publications plus récentes
→ Voir la liste des publications en anglais.
→ Voir les publications plus anciennes
![[GeoURL]](../images/geourl.png){kind=small}
Voir la liste des cours en anglais.
![[PDF]](../images/pdf.gif){kind=small}
Télécharger la thèse