Les processus décisionnels de Markov (MDPs : Markov Decision Processes) permettent de modéliser des problèmes de décision séquentielle sous incertitude. La première partie de l'exposé présentera d'une manière générale les concepts de base du modèle MDP.

Les modèles MDP standards n’intègrent pas d’hypothèses sur les contraintes d'exécution des actions. Dans la deuxième partie de l'exposé, nous nous intéressons, à l'adaptation du modèle MDP afin de prendre en considération les contraintes temporelles, les contraintes de précédence et les durées probabilistes des actions. Dans la dernière partie de l'exposé, nous nous focalisons sur la version décentralisée du MDP et son adaptation à la modélisation des problèmes à contraintes qui incluent la communication entre "agents".