Exercice 1 : Chaînes de Markov

Problème guidé : Étude d’une chaîne de Markov à espace d’états fini et application

En tant qu’examinateur de CPGE (filière MP), je propose ici un problème classique mais exigeant, combinant algèbre linéaire et probabilités discrètes. L’accent est mis sur la rigueur de la rédaction, l’utilisation des outils matriciels et l’interprétation des résultats asymptotiques.

---

Préambule et Notations

Soit $N \ge 2$ un entier fixé. On considère un système évoluant au cours du temps discret $n \in \mathbb{N}$. L’état du système à l’instant $n$ est modélisé par une variable aléatoire $X_n$ prenant ses valeurs dans l’ensemble fini E = $\{1, 2, \dots, N\}$.

On suppose que la suite de variables aléatoires $(X_n)_{n \in \mathbb{N}}$ forme une chaîne de Markov homogène de matrice de transition $P = (p_{i,j})_{1 \le i,j \le N}$, définie par : $p_{i,j} = \mathbb{P}(X_{n+1} = j \mid X_n = i)$

On rappelle qu’une loi de probabilité sur $E$ est représentée par un vecteur ligne $\mu = (\mu_1, \mu_2, \dots, \mu_N) \in \mathcal{M}_{1,N}(\mathbb{R})$ tel que $\mu_i \ge 0$ pour tout $i$ et $\sum_{i=1}^N \mu_i = 1$. La loi de $X_n$ est notée $\mu^{(n)} = (\mathbb{P}(X_n = 1), \dots, \mathbb{P}(X_n = N))$.

---

Partie I : Propriétés générales et évolution temporelle

1. Exprimer la loi $\mu^{(n+1)}$ en fonction de $\mu^{(n)}$ et de la matrice de transition $P$. En déduire l’expression de $\mu^{(n)}$ en fonction de la loi initiale $\mu^{(0)}$ et de $P^n$.

Corrigé : D’après la formule des probabilités totales, pour tout $j \in E$ : $\mathbb{P}(X_{n+1} = j) = \sum_{i=1}^N \mathbb{P}(X_{n+1} = j \mid X_n = i)\mathbb{P}(X_n = i) = \sum_{i=1}^N \mu_i^{(n)} p_{i,j}$ Sous forme matricielle, cela se traduit par : $\mu^{(n+1)} = \mu^{(n)} P$ Par une récurrence immédiate sur $n$, on en déduit que : $\mu^{(n)} = \mu^{(0)} P^n$

2. Soit $\mathbf{1} = \begin{pmatrix} 1 \\ 1 \\ \vdots \\ 1 \end{pmatrix} \in \mathcal{M}_{N,1}(\mathbb{R})$ le vecteur colonne dont toutes les composantes valent $1$. Montrer que $P\mathbf{1} = \mathbf{1}$. Interpréter ce résultat probabilistiquement.

Corrigé : Par définition d’une matrice de transition, la somme des coefficients de chaque ligne vaut $1$ (car la somme des probabilités de transition depuis un état $i$ vers tous les autres états est égale à $1$). Ainsi, pour tout $i \in E$ : $\sum_{j=1}^N p_{i,j} = 1$ Matriciellement, cela s’écrit $P\mathbf{1} = \mathbf{1}$. Interprétation : Le vecteur $\mathbf{1}$ est un vecteur propre de $P$ associé à la valeur propre $1$. Cela traduit le fait que la somme des probabilités d’être dans l’un des états à l’instant $n+1$ est conservée et vaut $1$ si elle valait $1$ à l’instant $n$.

---

Partie II : Étude d’un modèle particulier d’ordre $2$ ($N=3$)

On pose $N = 3$ et on considère la matrice de transition $P$ suivante :

undefined