Markov-Erneuerungstheorie

Zusammenfassung

Wir hatten in 7.1 gesehen, daß ein MSP (Ḿ _t ) _t≥0 vollständig durch seine eingebettete DMK (Ḿ _n ) _n≥0 der sukzessiv angenommen Zustände sowie die zugeordnete Folge S₀ = 0, S ₁,... von Eintrittszeitpunkten beschrieben wird. Die Zuwächse X ₁, X ₂,... von (S _n ) _n≥0 geben die Verweildauern in Ḿ ₀, Ḿ _l,... an und sind bedingt unter letzterer Folge stochastisch unbhängig und jedes X _j , exponentialverteilt mit Parameter ${q_{{{\hat M}_j}}}$, wobei der Vektor (q _j) _j∈S durch die Q-Matrix von (Ḿ _t) _t≥0 gegeben ist. Ausgehend von diesem Modell, ergeben sich eine Reihe naheliegender und interessanter Verallgemeinerungen: Gibt man etwa die Forderung auf, daß die X _j , exponentialverteilt sind, und erlaubt stattdessen unter Beibehaltung der bedingten Unabhängigkeit gegeben (Ḿ _n ) _n≥0, daß X _j eine beliebige von Ḿ _j−1 und Ḿ _j abhängige Verteilung auf (0, ∞) besitzt, so ist (Ḿ _t ) _t≥0 zwar kein Markov-Prozeß mehr, besitzt aber immer noch eine sehr ähnliche Struktur. Man bezeichnet (M _t) _t≥0 in diesem Fall als Semi-Markov-Prozeß (SMP). Eine weitere naheliegende Verallgemeinerung ergibt sich nach Einnahme einer veränderten Perspektive. Interpretiert man nämlich (S _n ) _n≥0 nicht mehr als Eintrittszeitpunkte sondern als einen RW, dessen Zuwächse durch die DMK (Ḿ _{n n≥0} gesteuert werden, so erscheint es natürlich, beliebige reeliwertige X ₁, X ₂,... zu betrachten, die bedingt unter (Ḿ _n ) _n≥0 stochastisch unabhängig sind, wobei die bedingte Verteilung von X _j weiterhin nur von Ḿ _j−1 und Ḿ _j abhängt. Nichts spricht dann außerdem dagegen, daß (Ḿ _n ) _n≥0 eine MK mit beliebigem Zustandsraum bildet. (S _n ) _n≥0 ist dann ein kontrollierter RW mit Markovschem Steuerprozeß. Erneuerungstheoretische Eigenschaften ebenso wie das asymptotische Verhalten derartiger RW ebenso wie von SMP bilden Inhalt der Markov-Erneuerungstheorie. Das zentrale Resultat dieser Theorie ist das MarkovErneuerungstheorem, das sich durch Kombination der zuletzt entwickelten Theorie über HK mit dem Blackwellschen Erneuerungstheorem ergibt und zugleich dessen Verallgemeinerung bildet. Wir werden es im übernächsten Abschnitt nach Vorstellung und Diskussion des grundlegenden Modells sowie Angabe eines weiteren Regenerationslemmas in 9.1 formulieren und beweisen.