Pinte
exPlications INTElligibles
État de l’art
Le projet proposé, baptisé pinte, concerne le thème « caractérisation et qualification de l’IA de confiance » et plus précisément les « méthodes et la métrologie de l’explicabilité ». Il s’inscrit dans un courant de recherche pour l’IA explicable, qui se développe en France et au niveau international, et dont l’origine repose sur un double constat :
- à tout prédicteur (en particulier, ceux de type « boîte noire » comme les réseaux de neurones ou les forêts aléatoires) on peut toujours associer un circuit (booléen ou arithmétique), une « boîte blanche » (ou « transparente ») qui a le même comportement que le prédicteur en terme d’entrées-sorties, tout en étant intrinsèquement plus simple,
- les tâches d’explication (possiblement contrefactuelles) des prédictions réalisées et de vérification du fonctionnement de la « boîte noire » peuvent être réalisées en s’appuyant sur la « boîte blanche » associée.
Si la traduction des prédicteurs sous forme de circuits constitue une approche pour l’explication des résultats qu’ils fournissent et leur vérification, les tâches sous-jacentes restent difficiles du point de vue de la complexité de calcul. Ainsi, les questions de calcul d’explication (abductives ou contrefactuelles) ou de vérification (proximité entre classes, identification de biais, etc.) sont toutes NP-difficiles mais nous avons montré récemment qu’elles peuvent être résolues en mettant les circuits considérés sous une forme adaptée [Audemard et al., 2020].
Approche méthodologique proposée
Le projet pinte sera focalisé sur la problématique du calcul d’explications intelligibles. L’intelligibilité des explications est une question complexe [Lipton, 2018] [Miller, 2019] [Srinivasan and Chander, 2020], pour plusieurs raisons (nature du lien entre données et prédictions, taille, structure, nombre d’explications possibles, dépendance à l’utilisateur, etc.). Par ailleurs, plusieurs types d’explications des prédictions réalisées peuvent être définies [Shih et al., 2018]. Ces explications peuvent être plus ou moins difficiles à identifier, calculer, énumérer. Les éléments de complexité en jeu dépendent bien entendu du prédicteur « boîte noire » de départ et de la qualité de la traduction en « boîte blanche » qui a été réalisée.
La disponibilité de connaissances du domaine (incluant l’expertise métier et les préférences utilisateur) a été peu exploitée jusqu’ici pour produire des explications de prédictions mais apparaît comme un levier intéressant pour calculer des explications pertinentes (par exemple, parce que ces connaissances se basent sur un ensemble de concepts que l’utilisateur à qui les explications sont destinées connaît) et pour simplifier ou reformuler les explications produites de façon à les rendre plus intelligibles. Comme le nombre d’explications possibles est en général de taille exponentielle dans le nombre d’attributs servant à décrire les instances à classer (même pour des modèles simples, considérés comme « interprétables », de type arbre de décision), la prise en compte de préférences utilisateur est un moyen de se focaliser sur les « meilleures explications », de réduire la taille de l’ensemble des explications à considérer et d’accroître ainsi l’intelligibilité des explications transmises à l’utilisateur.
Selon la forme qu’elles pourront revêtir (liée aux domaines d’application qui seront considérés), on pourra utiliser divers outils de raisonnement automatique (solveurs de contraintes, compteurs de modèles, etc.) pour exploiter les connaissances du domaine de façon à produire des explications intelligibles. Le CRIL possède, en effet, une expertise importante et largement reconnue sur la conception et l’utilisation de tels [outils](voir http://www.cril.univ-artois.fr/softcats/lall/). Le projet pinte viendra s’adosser au projet appelé EXPEKCTATION (EXPlainable artificial intelligence: a KnowlEdge CompilaTion FoundATION). EXPEKCTATION (ANR-19-CHIA-0005-01) est un projet de type « Chaire ANR d’enseignement et de recherche en IA » dont le CRIL a été lauréat et qui a débuté en septembre dernier. EXPEKCTATION concerne le développement d’approches pour un apprentissage automatique interprétable et robuste, utilisant la compilation de connaissances. Le projet pinte se focalisera sur le calcul d’explications pour divers prédicteurs. Le projet pinte pourra aussi bénéficier des compétences des membres du réseau international de recherche en IA explicable qui se construit dans le cadre du projet H2020 TAILOR « Foundations of Trustworthy AI integrating Learning, Optimisation and Reasoning », dont le CRIL est l’un des partenaires français.
Références bibliographiques
[Audemard et al., 2020] G. Audemard, F. Koriche, and P. Marquis. On tractable XAI queries based on compiled representations. In Proc. of KR’20, pages 838–849, 2020.
[Coste-Marquis and Marquis, 2020] S. Coste-Marquis and P. Marquis. From Explanations to Intelligible Explanations. In Proc. of XLoKR’20, workshop on Explainable Logic-Based Knowledge Representation, held with KR’20, 2020.
[Lipton, 2018] Z. C. Lipton. The mythos of model interpretability. Communications of the ACM, 61(10):36–43, 2018.
[Miller, 2019] T. Miller. Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence, 267:1–38, 2019.
[Shih et al., 2018] A. Shih, A. Choi, and A. Darwiche. A symbolic approach to explaining Bayesian network classifiers. In Proc. of IJCAI’18, pages 5103–5111, 2018.
[Srinivasan and Chander, 2020] R. Srinivasan and A. Chander. Explanation perspectives from the cognitive sciences – A survey. In Proc. of IJCAI’20, pages 4812–4818, 2020.
[Xie et al., 2019] Y. Xie, Z. Xu, K. S. Meel, M. S. Kankanhalli, and H. Soh. Embedding symbolic knowledge into deep networks. In Proc. of NeurIPS’19, pages 4235–4245, 2019.
[Xu et al., 2018] J. Xu, Z. Zhang, T. Friedman, Y. Liang, and G. Van den Broeck. A semantic loss function for deep learning with symbolic knowledge. In Proc. of ICML’18, volume 80, pages 5498–5507, 2018.