IA explicable : aller au-delà de la boîte noire

L’intelligence artificielle est entrée dans notre vie courante et vient révolutionner de nombreux domaines, de la médecine à la finance, en passant par les transports et la sécurité. Cependant, l’une des principales critiques adressées aux systèmes d’IA est leur manque de transparence. Ces systèmes fonctionnent la plupart du temps comme des boîtes noires : il est complexe, voire impossible, de déterminer les raisons qui ont conduit à recommandation produite.

Quelles sont les méthodes utilisées pour lever cette impossibilité et amener une explicabilité ? Pour commencer, revenons sur la définition d’une IA explicable.

Qu’est-ce qu’une IA explicable ?

Une IA explicable est un système d’intelligence artificielle conçu pour fournir des explications sur ses propres décisions. Ce principe permet aux utilisateurs de mieux comprendre le processus décisionnel aboutissant aux recommandations effectuées par l’IA. Expliquer une IA se découpe en 3 grands axes : expliquer les données utilisées, utiliser directement des modèles explicables et ajouter de modules pour rendre des modèles explicables. Intéressons-nous tout d’abord à l’explicabilité des données. Nous aborderons ensuite l’importance de l’explicabilité des algorithmes dans l’IA pour les entreprises.

Explicabilité des données

Il s’agit principalement ici de connaitre ses données, c’est-à-dire de fournir des données statistiques décrivant les données disponibles : comment l’information est distribuée, quels sont les biais présents, peut-on supprimer des dimensions, etc.. L’explicabilité des données fait appel à des outils statistiques et mathématiques bien connus. Le principal défi est la taille des données à analyser. Dans le cas de l’entrainement des LLM (modèle utilisé pour chatGPT), les données utilisées représentent plusieurs dizaines de milliards de mots. Il convient alors de définir avec attention les données statistiques calculées qui seront les plus pertinentes pour représenter les données.

Modèles explicables (ou modèles boîte blanche)

Les modèles « boîte blanche » fournissent une explication claire et non ambiguë sur le processus de décision. Il sera ainsi possible de comprendre parfaitement et entièrement les caractéristiques des données d’entrée ayant conduit à la recommandation de l’IA. Ils sont principalement constitués des modèles basés sur des arbres de décision et de l’ensemble des modèles statistiques simples (régression linéaire, systèmes experts, apprentissage non supervisé simple, etc.). Ils sont entièrement explicables… mais leurs performances sont souvent limitées.

Ajout de module sur les modèles boîte noire

Les modèles « boîte noire » sur lesquels un module est ajouté pour les rendre explicables fourniront un ensemble de données permettant de comprendre globalement la prise de décision, on parle de techniques post-hoc. Cependant, il ne sera pas possible de connaitre précisément les caractéristiques des données d’entrée ayant mené à la recommandation.

Ces techniques regroupent un ensemble assez hétérogène d’approche : visualisation des résultats, extraction des connaissances, co-modèles explicables, etc.

Il existe des méthodes génériques s’appliquant à n’importe quel type de modèle (les méthodes LIME– Local Interpretable Model-agnostic Explanations par exemple) et des méthodes spécifiques à certains types de modèles (carte d’activation pour les réseaux de neurones ou co-modèles comme BagNet ou Deep k-Nearest Neighbors par exemple).

Les modèles boîte noire sont la plupart du temps beaucoup plus performants que les modèles boîte blanche, ce qui explique qu’ils sont majoritairement utilisés dans les systèmes d’IA aujourd’hui.

L’importance de l’explicabilité des algorithmes dans l’IA pour les entreprises

Pourquoi faut-il prendre au sérieux cet enjeu d’explicabilité ? Dans un contexte économique, l’absence d’explicabilité des algorithmes d’IA peut entraîner des risques significatifs. Elle peut provoquer des erreurs de traitement des données, nécessitant des retraitements coûteux et longs voire des conséquences fatales (accident de voiture autonome par exemple). L’explicabilité en IA est devenue une préoccupation majeure des chercheurs et, demain, pour les entreprises. Elle est considérée comme un élément clé pour établir la confiance et l’acceptation des systèmes d’IA par les utilisateurs. En outre, une IA non explicable, souvent perçue comme une boîte noire, peut dissuader son adoption en raison du manque de transparence et de compréhension de son fonctionnement.

Vers davantage de transparence

Les IA explicables représentent une avancée majeure dans le domaine de l’intelligence artificielle, en rendant les décisions des systèmes plus transparentes et compréhensibles. L’utilisation croissante de l’IA dans des systèmes critiques (santé, conduite autonome, armée, etc.), font désormais des travaux sur leur explicabilité un pan incontournable de la recherche. Enfin, l’impact de l’IA dans notre société rend l’explicabilité des IA nécessaire et il est désormais admis qu’elle doit être intégrée dès le départ dans leur processus de développement.

Un peu de lecture

Il existe de très nombreux travaux autour de ce sujet, notamment des travaux de synthèse des techniques existantes (survey – Explainable Artificial Intelligence (XAI): What we know and what is left to attain Trustworthy Artificial Intelligence) mais également des travaux de normalisation, notamment ceux du NIST (Four Principles of Explainable Artificial Intelligence).