L'ia explicable : définition, fonctionnement et rôle des données

Pour tenter de mieux définir ce qui constitue la XAI, l'Institut américain des normes et de la technologie (NIST), qui fait partie du ministère américain du Commerce, définit quatre principes de l'intelligence artificielle explicable :

• Un système d'IA doit fournir « des preuves, un fondement ou un raisonnement pour chaque résultat ».
• Un système d'IA doit fournir des explications que ses utilisateurs peuvent comprendre.
• Précision des explications. Une explication doit refléter avec précision le processus utilisé par le système d'intelligence artificielle pour parvenir au résultat.
• Limites des connaissances. Un système d'IA doit fonctionner uniquement dans les conditions pour lesquelles il a été conçu et ne pas fournir de résultats dont la fiabilité lui paraît insuffisante.

Voici quelques exemples d'application de ces principes.

Explication
Le NIST définit cinq types d'explication :

• Informer le sujet d'un algorithme. Exemple simple : une explication du motif pour lequel un prêt a été accordé ou non.
• Renforcer la confiance de la société dans un système d'IA. Plutôt que d'expliquer des résultats particuliers, certains types d'explications justifient le modèle et l'approche utilisés afin d'accroître la confiance. Il peut s'agir d'expliquer l'objectif de l'algorithme, la façon dont il a été créé, les données utilisées et leur origine, ainsi que ses forces et ses limites.
• Satisfaire aux exigences de conformité ou de réglementation. Les algorithmes d'IA gagnent en importance dans les secteurs réglementés, et doivent être en mesure de démontrer leur conformité aux réglementations. Par exemple, les algorithmes d'IA pour la conduite autonome doivent expliquer comment ils se conforment au Code de la route en vigueur.
• Participer au développement continu du système. Pendant le développement de l'IA, les équipes techniques doivent comprendre où et pourquoi un système génère un résultat erroné afin de l'améliorer.
• Bénéficier au propriétaire de l'algorithme. Les entreprises déploient l'IA dans tous les secteurs, en espérant en tirer des avantages majeurs. Par exemple, un service de streaming bénéficie de recommandations explicables qui incitent les utilisateurs à s'abonner au service.

Pertinence
Le principe de pertinence est respecté lorsque l'utilisateur comprend l'explication fournie. Pour un algorithme d'IA donné, différents types d'utilisateurs peuvent avoir besoin d'explications. Dans l'exemple de la voiture autonome, une explication qui satisfait le conducteur, comme « l'IA a classé le sac en plastique sur la route comme un rocher, et donc pris des mesures pour éviter de le heurter », ne répond pas aux besoins du développeur qui tente de corriger le problème. Le développeur doit comprendre pourquoi le sac en plastique a été mal classé.

Précision des explications
La précision des explications est distincte de la précision des résultats. Un algorithme d'IA doit expliquer avec précision comment il est parvenu à son résultat. Si un algorithme d'approbation de prêt explique une décision en fonction des revenus et de l'endettement du demandeur alors que la décision est en réalité fondée sur le code postal du demandeur, l’explication est inexacte.

Limites des connaissances
Un système d'IA peut atteindre ses limites de connaissances de deux manières. Les données introduites peuvent ne pas relever de l'expertise du système. Le NIST prend l'exemple d'un système conçu pour classer les espèces d'oiseaux. Si vous lui donnez l'image d'une pomme, le système doit vous expliquer qu'il ne s'agit pas d'un oiseau. Par ailleurs, si vous lui donnez une image floue, il doit signaler qu'il ne peut pas identifier l'oiseau dans l'image ou que son identification est très peu fiable.

Ces principes aident à définir les résultats attendus de la XAI, mais ils n'offrent aucune orientation sur la manière d'atteindre ces résultats. Il peut être utile de subdiviser la XAI en trois catégories :

• Données explicables. Quelles données ont été utilisées pour l'entraînement du modèle ? Pourquoi ces données ont-elles été choisies ? Comment l'équité a-t-elle été évaluée ? Des efforts ont-ils été faits pour éliminer les préjugés ?
• Prédictions explicables. Quelles fonctionnalités du modèle ont été activées ou utilisées pour atteindre un résultat particulier ?
• Algorithmes explicables. Quelles sont les couches individuelles qui composent le modèle et comment conduisent-elles au résultat ou à la prédiction ?

Pour les réseaux neuronaux en particulier, les données explicables sont la seule catégorie facile à atteindre, du moins en principe. De nombreuses recherches en cours portent sur la façon d'obtenir des prédictions et des algorithmes explicables. Il existe actuellement deux approches de l'explicabilité :

• Modélisation proxy. Un autre type de modèle, tel qu'un arbre décisionnel, est utilisé pour se rapprocher du modèle réel. Comme il s'agit d'une approximation, les résultats peuvent différer de ceux du modèle réel.
• Conception pour l'interprétation. Les modèles sont conçus pour être faciles à expliquer. Cette approche risque de réduire le pouvoir prédictif ou la précision globale du modèle.

Les modèles explicables sont parfois appelés modèles de type « boîte blanche ». Comme indiqué dans un blog récent, « avec l'IA explicable de type boîte blanche, l'utilisateur comprend le raisonnement qui sous-tend ses décisions, ce qui la rend de plus en plus populaire auprès des entreprises. Ces modèles ne sont pas aussi impressionnants sur le plan technique que les algorithmes de type boîte noire. » Les techniques explicables comprennent les arbres décisionnels, les réseaux bayésiens, les modèles linéaires clairsemés, etc.

Les chercheurs recherchent également des moyens de rendre les modèles de type boîte noire plus explicables, par exemple en incorporant des graphiques de connaissances et d'autres techniques liées aux graphiques.

Les données explicables constituent la catégorie la plus accessible de la XAI. Cependant, au vu des montagnes de données qui peuvent être utilisées pour entraîner un algorithme d'IA, l'« accessible » n'est pas aussi simple qu'il en a l'air. L'algorithme de langage naturel GPT-3 en est un exemple extrême. Bien que le modèle soit capable d'imiter le langage humain, il a aussi assimilé un grand nombre de contenus toxiques provenant d'Internet au cours de l'entraînement.

Comme le remarque Google, un « système d'IA est mieux compris par les données d'entraînement sous-jacentes et le processus d'entraînement, de même que le modèle d'IA qui en résulte ». Pour ce faire, vous devez être en mesure de faire correspondre un modèle d'IA entraîné avec le dataset exact utilisé pour l'entraîner et examiner ces données de près, même si une version d'un modèle n'a pas été entraînée depuis des années.

L'une des façons les plus simples d'améliorer l'explicabilité d'un modèle est d'accorder une attention particulière aux données utilisées pour l'entraîner. Au cours de la phase de conception, les équipes doivent déterminer d'où proviendront les données utilisées pour entraîner l'algorithme, si ces données, à supposer qu'elles existent, ont été obtenues de manière légale et éthique, si elles contiennent des préjugés et ce qu'il est possible de faire pour atténuer ces biais. Il s'agit d'un travail considérable qu'il ne faut pas sous-estimer. 67 % des entreprises exploitent plus de 20 sources de données pour leur IA.

Il est également important d'exclure soigneusement les données non pertinentes ou qui ne seraient pas pertinentes pour le résultat. Plus haut, j'ai évoqué la possibilité qu’un algorithme d’approbation de prêt puisse fonder ses décisions en grande partie sur le code postal du demandeur. La meilleure façon de s'assurer que les résultats d'un algorithme ne sont pas basés sur un facteur non pertinent, comme un code postal qui sert souvent à indiquer la localité, consiste à ne pas inclure ces données dans le dataset d'entraînement ou dans les données d'entrée.

Les données explicables étant essentielles à la XAI, votre entreprise doit mettre en œuvre de bonnes pratiques en matière de gestion et de gouvernance des données. Ces bonnes pratiques comprennent la traçabilité complète des datasets utilisés pour entraîner chaque version de chaque modèle d'IA que vous exploitez.

Chez NetApp, notre spécialité est d'aider les entreprises à exploiter leurs données de façon optimale. Nous vous aidons à gérer vos données partout, sur site et dans le cloud. Ainsi, nous assurons l'accessibilité, la protection et l'optimisation du coût des données en continu.

Les experts en IA de NetApp^® peuvent vous aider à créer une Data Fabric (un environnement de gestion unifiée des données englobant les appareils en périphérie, les data centers et les clouds publics), afin que vos données d'IA puissent être efficacement ingérées, collectées, stockées et protégées.

Les solutions d'IA de NetApp vous procurent les outils dont vous avez besoin pour développer vos efforts en matière d'IA.

• ONTAP^® AI accélère tous les aspects de l'entraînement et de l'inférence de l'IA.
• NVIDIA DGX Foundry avec NetApp offre un développement IA de pointe sans la difficulté du développement.
• La solution NetApp AI Control Plane associe le MLOps et les technologies NetApp pour simplifier la gestion des données et faciliter l'expérimentation.
• Le kit NetApp DataOps permet de gérer plus facilement les volumes massifs de données nécessaires à l'IA.
• NetApp Cloud Data Sense vous aide à découvrir, cartographier et classer les données. Analysez un éventail de plus en plus large de sources de données, structurées ou non, dans le cloud ou sur site.

En adoptant la solution NetApp AI Control Plane et le kit NetApp DataOps, votre équipe pourra gérer les données de manière efficace et sécurisée, tout en assurant la traçabilité et la reproductibilité qui constituent un fondement essentiel des données explicables.

Pour découvrir comment NetApp peut vous aider à mettre en place la gestion et la gouvernance des données indispensables à l'IA explicable, rendez-vous sur netapp.com/fr/artificial-intelligence/.