[2025-05-19] (Accès libre) Le BSI (British Standards Institution) a publié le 19 mai 2025 un nouveau projet de norme portant sur le processus d’évaluation des performances des dispositifs médicaux (DM) fondés sur l’apprentissage automatique.
Ce projet, intitulé « BS EN 63521 ED1 Machine Learning-enabled Medical Device – Performance Evaluation Process » structure les exigences applicables aux logiciels intégrant des algorithmes d’apprentissage automatique.
Ce nouveau référentiel propose un processus organisé autour de 3 « piliers de performance » et 7 phases :
- la validité scientifique : il s’agit de vérifier l’existence de preuves scientifiques établies pouvant supporter l’usage revendiqué du DM (Phase 1), de les recueillir et de les analyser (Phase 2), puis de générer une revue finale de validité scientifique (Phase 3).
- la performance technique (analytique) : la performance technique du DM doit être évaluée, en s’assurant que l’algorithme maintienne des résultats cohérents à partir des données de validation ou de test (Phase 4).
- la performance clinique : les données cliniques doivent être recueillies et la performance clinique du DM doit être évaluée dans des environnements en vie réelle (Phase 5). Une revue finale d’évaluation de la performance clinique est alors générée pour démontrer la conformité avec les critères de performance clinique pertinents (Phase 6).
Une fois ces 6 phases achevées, un rapport de preuve clinique compilant l’ensemble des évaluations est alors préparé puis inclus dans la documentation technique pour les soumissions réglementaires (Phase 7).
Les fabricants de dispositifs médicaux de diagnostic in vitro et les connaisseurs du guide MDCG 2020-1 sur l’évaluation des logiciels (Guidance on Clinical Evaluation (MDR) / Performance Evaluation (IVDR) of Medical Device Software) sont déjà familiers de ces 3 piliers de performance.
Cependant, le projet de norme apporte des éléments précis et spécifiques à l’apprentissage automatique, par exemple, la détection du surajustement (overfitting) ou la gestion des biais. Il détaille en particulier plusieurs étapes séquentielles pour la phase d’évaluation des performances techniques (figure 6). Il propose en Annexe E des approches d’évaluation et de maîtrise des risques, réalisables dès l’établissement de la validité scientifique, puis de la performance technique et enfin de la performance clinique.
Plusieurs autres annexes apportent des informations utiles, comme l’Annexe D sur les indicateurs de performance avec un tableau qui donne des exemples d’indicateurs en fonction de l’objectif de performance visé.
L’annexe G propose un tableau comparatif entre la structure de ce projet de norme IEC 63521 et celle de l’IEC 62304.
Conclusion
Ce projet de norme est à lire pour tous les fabricants de DM incorporant des logiciels basés sur l’apprentissage automatique. Il permet aux équipes R&D, et particulièrement aux équipes de vérification et validation, de mieux structurer la planification de leurs activités et d’obtenir un niveau de preuve optimal pour la performance du dispositif.
Article rédigé par Karim Chelly, membre du réseau DMEXPERTS.