Цепи Маркова с непрерывным временем

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени.

Время наступления событий часто предсказать заранее невозможно. Например, любая деталь устройства или агрегат могут выйти из строя в любой, непредсказуемый момент времени. Описание таких, и гораздо более сложных ситуаций возможно при использовании формализма непрерывных цепей Маркова.

Пусть система характеризуется состояниями , и переход из состояния в состояние может происходить в любой момент времени. Обозначим через вероятность того, что в момент времени система будет находиться в состоянии . Требуется определить для любого момента времени вероятности состояний . При этом, очевидно, должно выполняться условие нормировки:


Для процесса с непрерывным временем вместо переходных вероятностей
рассматриваются плотности вероятностей перехода
, представляющие собой предел отношения вероятности перехода системы за время из состояния в состояние к величине :


где – вероятность того, что система, пребывавшая в момент в состоянии , за время перейдет из него в состояние ; при этом всегда .

Если , то процесс называется однородным, если же , то – неоднородным.

При рассмотрении непрерывных марковских процессов принято считать, что переходы системы происходят под влиянием некоторых потоков событий.

Потоком событий называется последовательность событий, следующих одно за другим через какие-то случайные интервалы времени. Плотность вероятности перехода интерпретируется, как интенсивность соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе, является марковским.

Марковские процессы удобно иллюстрировать с помощью графа состояний (Рис. 1), где кружками обозначены состояния системы, а стрелками – возможные ее переходы. Задержки в прежнем состоянии изображают «петлей», т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным.


Как правило, в графе состояний над стрелками проставляют соответствующие переходам интенсивности . Такой граф называют размеченным.

Если вдруг у Вас случилось несчастье, то очень хороший памятник можно заказать здесь Данная мастерская занимается уже 20 лет в данной сфере и может предложить Вам огромный выбор вариантов