Description

Depuis l’essor fulgurant des systèmes d’apprentissage de type “boite noire” comme les techniques de deep learning et le lancement fin 2016 du programme XAI (eXplainable Artificial Intelligence) par la DARPA, plusieurs approches ont été proposées pour expliquer la fonction de décision d’un classifieur ou des prédictions individuellement. L’objectif étant de fournir, en plus d’une prédiction, des informations interprétables et utiles justifiant et éclairant une prédiction. C’est particulièrement important dans certaines applications telles que les systèmes de recommandation, système d’aide à la décision médicale, applications militaires et de sécurité, etc. Dernièrement, plusieurs dispositions réglementaires du RGPD (General Data Protection Regulation) vont dans le sens de fournir des explications aux utilisateurs.

Les approches traitant de l’IA explicable en matière de classifieurs peuvent être divisées en approche “agnostiques” [4] traitant des classifieurs “boite noire” comme les systèmes d’apprentissage profond ou “non agnostiques” [1] dans le sens où elles se basent sur les connaissances codées ou apprises par le classifieur lui-même et sur son processus d’inférence. C’est le cas notamment des classifieurs de type arbres de décision, Bayésiens, etc. Ces approches peuvent aussi être catégorisées selon la nature des explications fournies où on distingue des explications du modèle ou sa fonction de décision et des explications concernant des instances individuellement.

Parmi les problèmes majeurs qui limitent les approches d’explication existantes, on peut citer i) Le nombre très important d’explications [1], ce qui compromet leur interprétabilité et utilisabilité en pratique, et ii) Le niveau des explications qui est souvent très élémentaire et de bas niveau (tel que les valeurs des attributs qui “influencent” de telles prédictions). Des travaux récents [2,3] soulèvent d’autres problèmes comme la qualité d’une explication… Des tentatives pour traiter certains des problèmes ci-dessus ont porté sur la visualisation, l’ajout d’information sur la fiabilité de la prédiction, les attributs les plus influents…

Dans ce travail de thèse, nous nous intéressons aux questions suivantes :

  • Trouver des structures (à l’image des sorties compactes comme les motifs fermés et les clos en fouille itemset fréquents), prioriser, sélectionner des explications
  • Post-traiter et exploiter automatiquement les explications pour par exemple détecter les faux positifs et les faux négatifs
  • Expliquer les prédictions des modèles prédictifs composites tels que la classification multi-label, boosting…

Pour atteindre nos objectifs, nous comptons explorer en particulier les deux pistes suivantes

  • Exploitation des connaissances du domaine (sous forme d’ontologies sur les attributs par exemple) pour fournir des explications de haut niveau et plus abstraites, susceptibles d’être mieux comprises par l’utilisateur
  • Pour les modèles composites, certaines techniques proposées dans la littérature pour des classifieurs élémentaires peuvent être généralisées par exemple aux techniques de classifications multi-label directement mais cela risque d’être inefficace en pratique. Le but est de proposer des sémantiques et des raisonnements pour inférer à partir de sous- ensembles d’explications, fournies par les modèles de base, des explications à la prédiction finale.

Au niveau des formalismes, les approches à proposer sont plutôt symboliques mais les classifieurs de base peuvent être de n’importe quel type. Parmi les pistes à explorer pour le calcul et le raisonnement avec des explications, nous privilégierons les approches consistant à “compiler” la fonction de décision d’un classifieur sous forme de représentations traitables comme les OBDD [1], SDD [5] ou PSDD [6] pour les explications avec degrés de fiabilité. Raisonner dans ce cadre avec des explications issues de classifieurs élémentaires touchera à plusieurs problématiques annexes telles le raisonnements avec des informations inconsistantes, multi-sources et incertaines.

Références

  1. Andy Shih, Arthur Choi, Adnan Darwiche. A Symbolic Approach to Explaining Bayesian Network Classifiers. IJCAI 2018: 5103-5111
  2. Zachary C. Lipton. 2018. The Mythos of Model Interpretability. Queue 16, 3, Pages 30 (June 2018), 27 pages. DOI: https://doi.org/10.1145/3236386.3241340
  3. Derek Doran, Sarah Schulz, Tarek R. Besold. What Does Explainable AI Really Mean? A New Conceptualization of Perspectives. CEx@AI*IA 2017
  4. Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ‘16). ACM, New York, NY, USA, 1135-1144. 2016 DOI: https://doi.org/10.1145/2939672.2939778
  5. Adnan Darwiche. SDD: A New Canonical Representation of Propositional Knowledge Bases. In Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence (IJCAI), pages 819-826, 2011
  6. Doga Kisa, Guy Van den Broeck, Arthur Choi, and Adnan Darwiche. 2014. Probabilistic sentential decision diagrams. In Proceedings of the Fourteenth International Conference on Principles of Knowledge Representation and Reasoning (KR’14), Chitta Baral, Giuseppe De Giacomo, and Thomas Eiter (Eds.). AAAI Press 558- 567.