Марковские процессы принятия решений

Понятие Марковского процесса, классификация Марковских процессов. Дискретные Марковские процессы. Расчёт  вероятностей состояний за один, несколько переходов. Эргодические Марковские процессы.  Предельные вероятности состояний, поглощающие Марковские процессы. Расчет вероятностей попадания в поглощающие состояния. Использование дискретных Марковских процессов для прогнозирования поведения потребителей электронного бизнеса.

Марковские процессы с доходами.  Расчет доходов за один, несколько переходов. Понятие стратегии управления Марковским процессом. Алгоритмы выбора оптимальной стратегии.  Задача об оптимальном рекламном бюджете.

Случайный процесс называется марковским,  если поведение процесса в будущем зависит только от его поведения в настоящем и не зависит от его поведения  в прошлом. Марковские процессы называют также процессами без последействия.

В зависимости от того, дискретными или непрерывными являются множество значений случайного процесса и параметр t, можно произвести следующую классификацию марковских процессов:

• С дискретным множеством значений (дискретными состояниями) состояниями и дискретным временем (цепи Маркова). Примером такого процесса может служить выборочный контроль продукции (состояния: S1- качественная, S2- некачественная; t1, t2,…-времена проверки).
• С дискретными состояниями и непрерывным временем (непрерывные цепи Маркова). Пример непрерывной цепи Маркова -   случай поломки машины (два состояния, но время непрерывно).
• С непрерывными состояниями и дискретным временем (Марковские последовательности). Пример – проверка термометра через определенные промежутки времени.
• С непрерывными состояниями и непрерывным временем. Примером непрерывного марковского процесса может служить любая осцилограмма.

Дискретный случайный процесс называется марковским,  если для каждого момента времени t0 вероятность пребывания в любом из состояний в последующий момент времени  t1, t1>t0  зависит от того, в каком состоянии процесс находился в момент t0 , и не зависит от развития процесса до момента t0. Дискретные марковские процессы также называют марковскими цепями или цепями Маркова. 

В дальнейшем будем рассматривать процессы, в которых время между переходами из состояния в состояние одинаково, поэтому моменты времени будем обозначать  0, 1,…..N. Такой случайный процесс можно задать последовательностью состояний S(0), S(1), ….S(N)… , где S(0)-начальное состояние системы, S(1)- состояние системы в момент времени 1 и т.д. Дискретные марковские процессы удобно иллюстрировать с помощью графа состояний (рис. 3.6.1), на котором кружками обозначаются состояния системы, а стрелками – возможные переходы из состояния в состояние. Таким образом, граф переходов показывает, в какие состояния и из каких возможен переход. Дискретный марковский процесс в этом случае превращается в случайное блуждание по графу, которое описывается вероятностями перехода из состояния в состояние.