Un guide pratique sur la sensibilité, la spécificité, les valeurs prédictives, la discrimination, la calibration, les seuils, l’incertitude et les données probantes à l’échelle du flux de travail pour l’IA médicale.
By ModAstera
11 Aug 2026
Un modèle d’IA médicale affiche une exactitude de 94 %. Est-ce un bon résultat ?
Les informations sont insuffisantes.
Ce même chiffre pourrait décrire un modèle utile, un modèle qui ne détecte pas la plupart des cas cliniquement importants ou un modèle qui prédit presque toujours la classe majoritaire. Il ne nous indique pas comment les erreurs se répartissent, si les probabilités prédites sont fiables, comment les performances varient d’un site à l’autre, ni si la sortie améliore le flux de travail réel.
L’évaluation de l’IA médicale doit donc commencer par la décision que le modèle est censé étayer, et non par une métrique privilégiée. Les données probantes appropriées dépendent de l’usage prévu, de la population, du seuil opérationnel, du rôle de l’humain et des conséquences des faux négatifs, des faux positifs, des retards d’examen et des sorties incertaines.
L’exactitude correspond à la proportion d’exemples évalués qui sont correctement classés. Elle est intuitive, mais elle regroupe différents types d’erreurs en une seule moyenne.
Imaginons un jeu de données dans lequel 95 exemples sur 100 sont négatifs. Un modèle qui classe tous les exemples comme négatifs atteint une exactitude de 95 % tout en ne détectant aucun cas positif. Le calcul est correct. En conclure que le modèle est utile ne le serait pas.
Même dans un jeu de données équilibré, une même exactitude peut résulter de profils d’erreurs très différents. Un modèle peut manquer des cas positifs. Un autre peut signaler trop de cas négatifs. Ces défaillances peuvent avoir des conséquences différentes sur la sécurité, la charge de travail, les coûts et la confiance des utilisateurs.
C’est pourquoi une évaluation crédible doit présenter la matrice de confusion à un seuil opérationnel indiqué et rendre compte séparément des erreurs.
Avant de sélectionner les métriques, il faut définir :
Un système de triage qui hiérarchise les cas à examiner poursuit un objectif différent de celui d’un classificateur de confirmation. Un modèle de contrôle qualité qui rejette les entrées de mauvaise qualité poursuit un objectif différent de celui d’un score de risque. Un modèle qui propose une région à soumettre à l’examen d’un expert ne doit pas être évalué comme s’il posait un diagnostic autonome.
Ce cadrage par l’usage prévu est au cœur d’une IA médicale axée en priorité sur la validation. Les métriques ne prennent tout leur sens que lorsqu’elles sont reliées à l’action, à l’utilisateur et aux limites de défaillance qu’elles sont censées étayer.
Pour une tâche de classification binaire, la matrice de confusion distingue quatre résultats :
Plusieurs métriques courantes découlent de ces décomptes.
La sensibilité, également appelée rappel pour la classe positive, répond à la question suivante : parmi les cas positifs, combien le modèle en a-t-il identifiés ?
La spécificité répond à la question suivante : parmi les cas négatifs, combien le modèle a-t-il correctement laissés dans la classe négative ?
La précision, souvent équivalente à la valeur prédictive positive dans une population d’évaluation définie, répond à la question suivante : parmi les prédictions positives, combien étaient réellement positives ?
La valeur prédictive négative répond à la question suivante : parmi les prédictions négatives, combien étaient réellement négatives ?
Ces métriques répondent à des questions différentes. Accroître la sensibilité en abaissant un seuil augmente souvent le nombre de faux positifs et réduit la spécificité. Relever le seuil peut réduire la charge d’examen, mais augmenter le nombre de cas positifs non détectés. Il n’existe pas de compromis universellement correct. L’équilibre acceptable dépend du flux de travail prévu et du processus disponible de repli ou d’examen humain.
Il faut toujours indiquer le seuil utilisé. Une sensibilité ou une spécificité dépourvue du seuil opérationnel et de la population évaluée constitue une donnée probante incomplète.
La discrimination décrit la capacité d’un modèle à classer les exemples, en plaçant les positifs au-dessus des négatifs pour l’ensemble des seuils possibles.
L’aire sous la courbe ROC (Receiver Operating Characteristic), ou AUROC, est une mesure courante de la discrimination. Elle est utile pour comparer le comportement de classement, mais elle n’indique pas à une équipe quel seuil déployer. Deux modèles présentant une AUROC similaire peuvent se comporter différemment dans la zone de forte sensibilité ou de forte spécificité qui importe sur le plan opérationnel.
L’AUROC peut également sembler rassurante lorsque la classe positive est rare et que la préoccupation pratique porte sur le nombre de fausses alertes parmi les prédictions positives. Les courbes précision-rappel peuvent rendre cette charge plus visible, car la précision réagit directement aux faux positifs et à la prévalence des classes.
Aucune de ces courbes ne remplace la présentation de résultats propres à un seuil. Un dossier d’examen doit inclure la partie de la courbe pertinente pour l’usage prévu, le point opérationnel sélectionné et les décomptes de la matrice de confusion qui sous-tendent les taux mis en avant.
Un modèle peut bien classer les cas tout en produisant des estimations de probabilité peu fiables.
La calibration vérifie si les risques prédits correspondent aux fréquences observées. Parmi les cas auxquels une probabilité prédite proche de 0.8 est attribuée, environ 80 % devraient présenter le résultat considéré pour un modèle bien calibré dans cette population et ce contexte.
Un score mal calibré peut susciter une confiance injustifiée, même lorsque l’AUROC est élevée. Cela importe lorsque la probabilité influe sur l’escalade, la planification, les discussions relatives au consentement, l’allocation des ressources ou la décision de s’abstenir.
Les données probantes utiles sur la calibration peuvent inclure :
La calibration doit être évaluée sur des données qui n’ont pas servi à ajuster la transformation de calibration. Elle peut également se détériorer après le déploiement à mesure que la prévalence, l’acquisition ou le flux de travail évoluent. La surveillance des modèles doit donc suivre à la fois les conditions d’entrée et les performances liées aux résultats lorsque les étiquettes deviennent disponibles.
La sensibilité et la spécificité sont des propriétés des performances dans une population évaluée, mais les valeurs prédictives dépendent fortement de la prévalence.
Si une affection est rare, même un modèle doté d’une sensibilité et d’une spécificité élevées peut générer davantage d’alertes faussement positives que d’alertes réellement positives. Si un jeu de données de test équilibre artificiellement les classes, sa précision et sa valeur prédictive négative peuvent ne pas décrire l’utilisation courante.
Les équipes doivent indiquer la prévalence dans l’évaluation et expliquer si elle reflète la population de déploiement prévue. Lorsqu’un jeu de données d’épreuve soigneusement constitué modifie l’équilibre des classes afin de révéler les modes de défaillance, cette démarche est utile, mais les valeurs prédictives issues de ce jeu ne doivent pas être présentées comme le rendement opérationnel habituel.
La composition des cas importe également au-delà d’un simple chiffre de prévalence. La gravité, les schémas d’orientation, les critères d’inclusion, les données manquantes, le type de dispositif, la qualité des images et le flux de travail du site peuvent tous modifier les performances observées. La définition de la population doit figurer à côté de la métrique, et non dans une annexe que personne ne lit.
Un seuil constitue une décision de développement du modèle.
Il peut être choisi pour atteindre une sensibilité minimale, plafonner la charge de travail induite par les faux positifs, optimiser une fonction d’utilité définie ou délimiter une zone d’abstention. Quelle que soit la règle, elle doit être sélectionnée à partir des données probantes d’entraînement et de validation, et non en recherchant dans le jeu de test final le résultat le plus avantageux.
Le jeu de test final doit estimer les performances une fois que le modèle, le prétraitement, la méthode de calibration, le seuil et le plan d’évaluation sont stabilisés. Si les résultats des tests entraînent une nouvelle série d’ajustements du seuil, le jeu de données a intégré le processus de développement et la solidité de l’affirmation finale doit être réexaminée.
Il faut conserver :
Ce dossier relie les affirmations relatives aux performances à la traçabilité de l’IA, au lieu de laisser le point opérationnel choisi sous la forme d’une constante inexpliquée dans le code.
Un résultat agrégé peut masquer une défaillance concentrée.
Selon l’usage prévu et la disponibilité licite des données, il convient d’évaluer les performances dans des contextes pertinents tels que :
L’objectif n’est pas de produire des dizaines de sous-ensembles instables et de déclarer que des différences dues au bruit sont significatives. Il s’agit de tester les risques connus et les conditions de déploiement. Il faut indiquer la taille de l’échantillon et l’incertitude pour chaque sous-ensemble. Pour les petits groupes, les résultats peuvent constituer un signal de risque ou justifier la collecte de données supplémentaires, plutôt qu’autoriser une comparaison définitive.
Une évaluation externe sur un autre site peut renforcer les données probantes, mais elle n’établit pas une généralisabilité universelle. Les affirmations doivent rester circonscrites aux populations, aux situations et aux systèmes effectivement étudiés.
Les estimations ponctuelles seules peuvent créer une fausse impression de précision.
Les intervalles de confiance permettent de montrer dans quelle mesure une métrique pourrait varier en raison de la taille finie de l’échantillon. Ils sont particulièrement importants pour la sensibilité lorsque les cas positifs sont peu nombreux, pour les analyses par sous-groupes et lorsque plusieurs enregistrements proviennent du même patient ou du même cas.
La méthode doit respecter la structure d’échantillonnage. Traiter comme indépendantes de nombreuses images corrélées provenant d’un même patient peut donner l’impression que l’incertitude est plus faible qu’elle ne l’est réellement. Un rééchantillonnage au niveau du patient ou du cas peut être plus approprié lorsque ceux-ci constituent les unités indépendantes.
L’examen des erreurs est tout aussi important. Il faut étudier les faux négatifs, les faux positifs, les erreurs commises avec un niveau de confiance élevé et les cas ayant fait l’objet d’une abstention. Il convient de rechercher des schémas récurrents liés aux artéfacts, aux données manquantes, aux étiquettes, aux conditions d’acquisition ou aux raccourcis dans le flux de travail. Une métrique indique à l’équipe qu’une défaillance existe. L’examen des cas aide à en expliquer la raison.
Un produit proche de la pratique clinique se résume rarement à un point de terminaison de modèle.
Si un humain examine, confirme, infirme ou transmet à un niveau supérieur les prédictions, l’évaluation doit inclure ce système. Les mesures pertinentes peuvent notamment inclure :
Un seuil qui semble optimal hors ligne peut surcharger les évaluateurs. Un modèle qui améliore le classement des cas peut néanmoins échouer si les utilisateurs ne comprennent pas l’incertitude ou si les délais d’intégration rendent la prédiction inutile. À l’inverse, un modèle dont les performances autonomes sont modestes peut apporter de la valeur dans le cadre d’un flux de travail soigneusement conçu qui prévoit un examen humain.
Les métriques du modèle, les facteurs humains et les résultats du flux de travail doivent être présentés séparément. Aucun de ces éléments ne doit servir à en déduire un autre en l’absence de données probantes.
Avant d’accepter un résultat d’IA médicale, il convient de confirmer que :
L’évaluation de l’IA médicale n’est pas un concours visant à trouver le chiffre le plus impressionnant. C’est une argumentation structurée montrant que le modèle peut étayer une décision définie dans des conditions définies, avec des erreurs et une incertitude comprises.
L’exactitude peut faire partie de cette argumentation, mais elle ne peut pas la porter à elle seule. Des données probantes plus solides relient à l’usage prévu les erreurs propres à un seuil, la discrimination, la calibration, la prévalence, les sous-groupes, l’incertitude et les résultats du flux de travail. Elles conservent également une traçabilité suffisante pour permettre à un autre évaluateur de comprendre comment le résultat a été produit.
Si votre équipe prépare un benchmark ou un dossier de validation d’IA médicale, ModAstera peut vous aider à examiner le choix des métriques, les données probantes relatives aux seuils et la traçabilité avant qu’un score mis en avant ne se transforme en affirmation sur le produit.
Un guide pratique de la recherche d’images en pathologie : représentations de lames entières, classement des candidats, revue par des experts, contexte des sources, décisions de cohorte et évaluation pertinente.
ModAstera rejoint le UK HealthTech Launchpad de JETRO afin de valider un flux de travail ciblé en pathologie et de préparer des partenariats au Royaume-Uni.
Un guide pratique sur la sensibilité, la spécificité, les valeurs prédictives, la discrimination, la calibration, les seuils, l’incertitude et les données probantes à l’échelle du flux de travail pour l’IA médicale.
