Logo SOS Logo LIG

Introduction

Outil d'aide à la décision diagnostic

Dans le cadre d'un projet collaboratif entre le Laboratoire d'Informatique de Grenoble, la SOMENOR, et l'entreprise EPOS, un outil d'IA a été mis en place dans le logiciel SOMELOG. Cet outil vise à proposer des diagnostics aux médecins en temps réel pendant des consultations. Cet outil est entraîné en utilisant un grand ensemble de données historiques du SOMELOG. En utilisant certaines informations saisies par un médecin pendant une consultation, il propose une liste de diagnostics, classés en fonction de l'estimation de leur probabilité.

L'annotation : qu'est-ce que c'est ?

Dans le domaine de l'apprentissage automatique, l'annotation consiste à demander à des êtres humains, souvent des experts du domaine d'application, d'effectuer la tâche que l'on souhaite confier à une IA. L'objectif est de mieux intégrer l'expertise humaine dans le processus d'évaluation de ces modèles.
Dans notre cas, la question à laquelle nous aimerions que l'algorithme réponde de manière intelligente est la suivante :

Compte tenu des informations contenues dans ce document, quels diagnostics suggéreriez-vous au médecin comme étant plausibles ?

Ce projet d'annotation comprend deux parties :

  1. Annotation des Diagnostics : Associer des diagnostics aux fiches de consultation avec des niveaux de probabilité. Cela nous servira à générer un ensemble d'exemples de référence pour tester nos systèmes de manière plus directe et plus fiable.
  2. Comparaison des modèles IA : Sélectionner la meilleure proposition parmi plusieurs propositions provenant de différents modèles d'IA. Cela complétera notre étude scientifique en ajoutant à nos métriques statistiques des mesures plus subjectives s'appuyant sur l'expertise clinique.

Que faire pour y participer ?

  1. Lire et comprendre les lignes directrices sur cette page.
  2. Contacter l'administrateur du projet (Aidan Mannion : aidan.mannion@univ-grenoble-alpes.fr) pour obtenir un compte sur Doccano.
  3. Connectez-vous à votre compte Doccano ici.
  4. Lancez-vous sur l'un ou les deux projets d'annotation en suivant les instructions dans les sections 1 et 2 ci-dessous.

Projet 1: Annotation Diagnostic SOS

Étiquettes diagnostic

Le système vous présente un dossier patient, tel qu'il a été saisi lors d'une consultation. Pour annoter ce dossier, vous aurez à choisir parmi une liste de tous les diagnostics médicaux du système SOMELOG (nous avons exclu les résultats de consultation dits généraux et administratifs). Il existe trois variantes de chaque étiquette de diagnostic, correspondant à des niveaux de certitude différents :

Annoter des diagnostics : pourquoi ?

Les propositions de l'outil décrit ci-dessus se basent sur un sous-ensemble des informations dont un médecin dispose lors de sa consultation, puisque seules les données entrées dans l'application sont utilisées. Vos annotations vont nous permettre de mieux évaluer et calibrer nos modèles expérimentaux et ainsi améliorer la performance de l'outil de l'aide à la décision. Puisque l'objectif d'entraînement des modèles d'IA n'est pas exactement équivalent à la tâche qu'on leur donne en pratique, il est assez difficile d'évaluer leur exactitude de manière explicite avant de les mettre en œuvre. Avec ce projet d'annotation, nous visons à construire un sous-ensemble de dossiers historiques pour lesquels nous avons non seulement les décisions du médecin en question, mais aussi des estimations des diagnostics et leur niveau de probabilité en fonction des données, en ne prenant en compte que les données auxquelles le modèle IA aurait accès. Les différents niveaux de certitude servent à faciliter une évaluation plus granulaire de la performance de notre système.

Projet 2: Comparaison des algorithmes de prédiction pour SOMELOG

Comparer des modèles : pourquoi ?

Habituellement, nous avons deux manières d'évaluer la qualité de la performance de nos outils de prédiction :

  1. Des mesures statistiques expérimentales : évaluer la correspondance entre les sorties des algorithmes et la vérité terrain (les vrais diagnostics rendus par le médecin) sur un ensemble de dossiers historiques.
  2. Des retours utilisateurs venant de l'implantation des modèles dans l'application SOMELOG (les pouces à côté des propositions par exemple).

Chacune de ces deux approches ont leur propres problèmes : les méthodes statistiques ne s'appuient pas sur les connaissances des spécifités du domaine médical, et les retours utilisateurs ne permettent pas de comparer directement les différentes versions des modèles. Pour ces raisons, nous souhaitons effectuer une étude qui nous permettra de récolter les avis des professionnels sur la qualité comparative des modèles.
Pour cela, comme pour l'annotation de dossiers, il vous sera présenté un dossier de patient, avec les motifs, les constantes vitales et les observations du médecin. Pour cette tâche, le dossier va être accompagné de trois propositions différentes émanant de trois modèles d'IA différents. Chaque proposition est une liste de trois diagnostics. Vous devez choisir, parmi les propositions 1 à 3, celle qui se rapproche le plus de ce que vous proposeriez si vous étiez à la place du médecin. Vous aurez également l'option de choisir "Aucun" si aucune proposition ne vous semble pertinente.

Utiliser l'interface Doccano

Nous utilisons la plate-forme Doccano pour effectuer les annotations. Ce logiciel est conçu pour faciliter les projets d'apprentissage automatique indépendants comme celui-ci. Pour accéder aux données d'annotation, il faut d'abord demander un nom d'utilisateur et mot de passe auprès de l'administrateur du projet (voir Contact). Pour compléter la tâche d'annotation, il suffit de suivre les étapes suivantes :

  1. Connectez-vous à Doccano en utilisant le nom d'utilisateur et le mot de passe qu'on vous a donné.
  2. À gauche de l'écran, vous verrez un onglet Ensemble de données - c'est par ici !
  3. Pour commencer, cliquez sur le bouton Annoter sur un document de votre choix.
  4. Pour l'annotation diagnostic, faites passer d'abord la liste de diagnostics en liste déroulante en cliquant sur - vous pouvez ensuite sélectionnez les diagnostics qui vous semblent les plus probables à partir de la liste.
  5. Si vous avez des commentaires à rajouter au dossier, vous pouvez le faire en utilisant le bouton (voir Commentaires en bas pour plus de précisions).
  6. Une fois que vous êtes satisfait des étiquettes que vous avez associées au document, vous pouvez finaliser et sauvegarder vos annotations en cliquant sur , pour mettre le document en état "Vérifie". Il est toutefois possible de revenir et éditer les annotations après les avoir enregistrées de cette façon.
  7. Vous pouvez à tout moment afficher les lignes directrices pour le projet d'annotation en cours en cliquant sur

Commentaires

Pour faciliter le bon déroulement du projet et le partage d'idées ou de problèmes, vous pouvez mettre des commentaires sur les dossiers, en utilisant le bouton . Ces commentaires seront partagés avec les autres utilisateurs du système. Il est possible, par exemple, que vous constatiez que l'étiquette diagnostic que vous recherchez n'apparaît pas dans la liste. Également, si vous rencontrez des erreurs ou des incohérences qui vous semblent particulièrement anormales et qui affectent le degré d'interprétabilité et de pertinence du dossier, n'hésitez pas à nous en faire part dans un commentaire.

Veuillez noter que l'objectif des commentaires n'est pas de décrire tous les détails et les subtilités médicales des cas particuliers - une phrase pour indiquer brièvement la question ou le problème sera suffisante. Il n'est bien sûr pas nécessaire de signaler des problèmes qui ont déjà fait l'objet de commentaires de la part d'autres annotateurs.

Contact

Aidan Mannion | aidan.mannion@univ-grenoble-alpes.fr
Lorraine Goeuriot | lorraine.goeuriot@univ-grenoble-alpes.fr
Didier Schwab | didier.schwab@univ-grenoble-alpes.fr
Thierry Chevalier | thy.chevalier@free.fr;