Однородные цепи Маркова

Однородной называют цепь Маркова, для которой условная вероятность перехода из состояния в состояние не зависит от номера испытания. Для однородных цепей вместо используют обозначение .

Примером однородной цепи Маркова могут служить случайные блуждания. Пусть на прямой Ox в точке с целочисленной координатой x=n находится материальная частица. В определенные моменты времени частица скачкообразно меняет свое положение (например, с вероятностью p может сместиться вправо и с вероятностью 1–p – влево). Очевидно, координата частицы после скачка зависит от того, где находилась частица после непосредственно предшествующего скачка, и не зависит от того, как она двигалась в предшествующие моменты времени.

В дальнейшем ограничимся рассмотрением конечных однородных цепей Маркова.

Переходные вероятности. Матрица перехода

Переходной вероятностью называют условную вероятность того, что из состояния в итоге следующего испытания система перейдет в состояние . Таким образом, индекс относится к предшествующему, а – к последующему состоянию.

Будем считать, что число состояний конечно и равно k.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

,

где представляют вероятности перехода за один шаг.

Отметим некоторые особенности матрицы перехода:

  • Элементы каждой строки матрицы представляют собой вероятности всех возможных переходов за один шаг из выбранного состояния, в том числе и вероятность отсутствия перехода (элемент строки с равными индексами);
  • Элементы столбцов задают вероятности всех переходов системы за один шаг в заданное состояние.

    Так как в каждой строке матрицы помещены вероятности событий (т.е. вероятности перехода из состояния в любое возможное состояние ), которые образуют полную группу, то сумма вероятностей этих событий равна единице:


    По главной диагонали матрицы перехода стоят вероятности того, что система не выйдет из состояния, а останется в нем.

Вам нужно заказать контрольную или курсовую по данной теме и не только? Тогда Вам сюда — Курсовые на заказ в Уфе отличное качество и цена.