Markov-Ketten

Zusammenfassung

Markov-Ketten modellieren den zeitlichen Verlauf gewisser Prozesse, bei denen zufällige Übergänge ausgeführt werden. Zu ihrer Beschreibung werden stochastische Matrizen verwendet. In diesem Kapitel lernen wir die wichtigsten Aspekte der Theorie von Markov-Ketten in diskreter Zeit kennen, insbesondere was deren Langzeitverhalten angeht. Zentral dafür sind invariante Verteilungen, deren Berechnung und Bedeutung wir kennenlernen. Anwendungen gibt es beispielsweise in der Modellierung von Wartesystemen oder in stochastischen Algorithmen.

Aufgaben

11.1

Überprüfen Sie, dass

$$P=\begin{bmatrix} 0{,}2&{}0&{}0{,}7&{}0{,}1\\ 0{,}4&{}0&{}0&{}0,6\\ 0{,}3&{}0{,}2&{}0{,}2 &{}0{,}3\\ 0&{}0{,}8&{}0{,}1&{}0{,}1\\ \end{bmatrix} $$

eine stochastische Matrix ist, und zeichnen Sie den Übergangsgraphen.

11.2

In Abb. 11.5 ist der Übergangsgraph einer Markov-Kette gegeben. Bestimmen Sie die zugehörige stochastische Matrix P,  und berechnen Sie die bedingte Verteilung von $X_3$ gegeben $X_0=1$. Ist die zugehörige Kette irreduzibel bzw. aperiodisch?

11.3

Welche der Markov-Ketten zu den folgenden Übergangsgraphen sind irreduzibel bzw. aperiodisch? Pfeile stehen dabei für positive Übergangswahrscheinlichkeiten.

11.4

Berechnen Sie die invarianten Verteilungen der Markov-Ketten aus Aufgabe 11.1 und 11.2.

Abb. 11.5

Übergangsgraph zu Aufgabe 11.2

11.5

Bestimmen Sie für die Markov-Kette aus Aufgabe 11.2 $\lim _{n\rightarrow \infty }\mathbb {E}[X_n]$.

11.6

Es sei $(X_n)_{n\in \mathbb {N}_0}$ eine Markov-Kette mit Zustandsraum $\{1,2,3\}$ und Übergangswahrscheinlichkeiten $p_{1,2}=p_{1,3}=1/2, p_{2,1}=1/2, p_{2,2}=1/4, p_{2,3}=1/4, p_{33}=1$. a) Ist die Markov-Kette irreduzibel? b) Bestimmen Sie alle möglicherweise vorhandenen invarianten Verteilungen dieser Kette. c) Bestimme $\lim _{n\rightarrow \infty } \mathbb {P}(X_n=i\,|\, X_0=1)$ für $i\in \{1,2,3\}$.

11.7

Es sei $(X_n)_{n\in \mathbb {N}_0}$ eine Markov-Kette mit Zustandsraum $\{1,2,3\}$ und Übergangswahrscheinlichkeiten $p_{1,2}=p_{1,3}=1/2, p_{2,2}=p_{33}=1$. a) Ist die Markov-Kette irreduzibel? b) Bestimmen Sie alle möglicherweise vorhandenen invarianten Verteilungen dieser Kette. c) Bestimmen Sie $\lim _{n\rightarrow \infty } \mathbb {P}_\nu (X_n=i)$ für $i\in \{1,2,3\},$ wenn die Startverteilung gegeben ist durch $\nu =[1/2,1/2,0]^T$.

11.8

Es sei $(X_n)_{n\in \mathbb {N}_0}$ eine Markov-Kette mit Zustandsraum $\{1,2,3\}$ und Übergangswahrscheinlichkeiten $p_{1,2}=p_{1,3}=1/2, p_{2,2}=p_{2,3}=p_{3,2}=p_{33}=1/2$. Zeigen Sie: Die Markov-Kette ist nicht irreduzibel, besitzt aber eine eindeutige invariante Verteilung.

11.9

Man beweise Satz 11.9.

11.10

In Beispiel 11.13 betrachte man im Fall $\lambda <\mu$ die Situation für $k\rightarrow \infty$. Wie viele Kunden befinden sich auf lange Sicht im Mittel in der Warteschlange?