Уравнения Колмогорова

Пусть система имеет конечное число состояний и случайный процесс, протекающий в ней, характеризуется некоторыми вероятностями нахождения системы в каждом из состояний.

В случае марковской системы с непрерывным временем и конечным числом состояний их вероятности могут быть найдены с помощью решения системы дифференциальных уравнений Колмогорова:


где .

Величина называется потоком вероятности перехода из состояния в состояние .

Уравнения Колмогорова составляют по размеченному графу состояний системы, пользуясь следующим правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Решение системы уравнений Колмогорова необходимо задать начальное распределение вероятностей . Как правило, за исключением особенно простых систем, решение возможно получить лишь численными методами.

Финальные вероятности состояний системы

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей при . В некоторых случаях существуют финальные (предельные) вероятности состояний:

, .,

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности .

Таким образом, для системы с состояниями получается система линейных однородных алгебраических уравнений с неизвестными , которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие , пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.