Une problématique majeure aujourd’hui est celle de l’IA explicable et robuste : il s’agit de pouvoir justifier à l’utilisateur (humain) un système d’IA les décisions prises ou des prédictions suggérées par le système, et aussi de pouvoir évaluer à quel point le système est fiable.

Un courant de recherche important dans cette direction consiste à associer au système d’IA considéré (et vu comme une boîte noire), une boîte blanche (ou transparente), sous la forme d’un circuit ayant le même comportement que la boîte noire en terme d’entrées/sorties. On peut alors utiliser la boîte blanche pour répondre aux requêtes explicatives qui sont posées et pour estimer la robustesse des décisions prises ou des prédictions réalisées.

Plusieurs questions se posent. En particulier : quel type de boîte blanche pour quel type de boîte noire ? Quels encodages pour passer de la boîte noire à la boîte blanche ? Quelle information utile faut-il préserver pour pouvoir réaliser ensuite des requêtes d’explication ou de vérification ? Quel est le coût de ces requêtes selon le type de circuit retenu et la représentation choisie pour ce circuit ?

La boîte blanche étant indépendante des entrées de la boîte noire, elle peut être prétraitée (compilée) afin de faciliter la génération d’explications des prédictions réalisées par la boîte noire et l’évaluation de la fiabilité de celle-ci.

Les questions de recherche listées ci-avant seront abordées dans la thèse proposée. Celle-ci sera centrée sur les aspects de représentation (quelles représentations pour les circuits?) et algorithmiques pour l’explication et la vérification.