0,8 0,1 0,1 0,8 0,1 0,1 0,64 0,15 0,21
0 0,7 0,3 0 0,7 0,3 0 0,49 0,51
0 0 1 0 0 1 0 0 1
То есть искомые в примере 1) и 2) вероятности равны соответственно
р11 =0,64, р23 =0,51
Далее рассмотрим Марковский случайный процесс с дискретными состояниями и непрерывным временем, в котором, в отличие от рассмотренной выше цепи Маркова, моменты возможных переходов системы из состояния не фиксированы заранее, а случайны.
При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой – так называемым графиком событий. Обычно состояния системы изображаются прямоугольниками (кружками), а возможные переходы из состояния в состояние – стрелками (ориентированными дугами), соединяющими состояния.
Пример. Построить граф состояний следующего случайного процесса: устройство S состоит из двух узлов, каждый из которых в случайный момент времени может выйти из строя, после чего мгновенно начинается ремонт узла, продолжающийся заранее неизвестное случайное время.
РЕШЕНИЕ. Возможные состояния системы: S0 – оба узла исправны; S1 – первый узел ремонтируется, второй исправен; S2 – второй узел ремонтируется, первый исправен; S3 – оба узла ремонтируются.
Стрелка, направления, например, из S0 в S1, означает переход системы в момент отказ первого узла, из S1 в S0 – переход в момент окончания ремонта этого узла.
На графе отсутствуют стрелки из S0 в S3 и из S1 в S2. Это объясняется тем, что выходы узлов из строя предполагается независимыми друг от друга и, например, вероятностями одновременного выхода из строя двух узлов (переход из S0 в S3) или одновременного окончания ремонтов двух узлов (переход из S3 в S0) можно пренебречь.
Стационарные случайные процессы
Случайный процесс Х(t) называют стационарным в узком смысле, если
F(x1, …, xn; t1, …, tn) = F(x1, …, xn; t1+∆, …, tn+∆)
При произвольных
n≥1, x1, …, xn, t1, …, tn; ∆; t1 € T, ti + ∆ € T.
Здесь F(x1, …, xn; t1, …, tn) – n-мерная функция распределения случайного процесса Х(t).
Случайный процесс Х(t) называют стационарным в широком смысле, если
m(t) = m(t + ∆), K(t, t’) = K(t + ∆, t’ + ∆)
(t € T, t’ € T, t + ∆€ T), t’ + ∆€ T)
Очевидно, что из стационарности в узком смысле следует стационарность в широком смысле.
Из формул:
m(t) = m(t + ∆), K(t, t’) = K(t + ∆, t’ + ∆)
(t € T, t’ € T, t + ∆€ T), t’ + ∆€ T)
Следует, что для процесса, стационарного в широком смысле, можно записать
m (t) = mx(0) = const;
D (t) = K(t, t) = K(0,0) = const;
K(t, t’) = K(t – t’, 0) = K (0, t’ - t)
Таким образом, для процесса, стационарного в широком смысле, математическое ожидание и дисперсия не зависят от времени, а K(t, t’) представляет собою функцию вида:
K(t, t’) = k(τ) = k(-τ), τ = t’ – t.
Видно, что k(τ) – чётная функция, при этом
K(0) = В = σ2; |k(τ)| ≤ k(0); ∑ ∑ άiαjk(ti - tj) ≥ 0
Здесь D – дисперсия стационарного процесса
Х(t), αi (I = 1, n) – произвольные числа.
Первое равенство системы
K(0) = В = σ2; |k(τ)| ≤ k(0); ∑ ∑ άiαjk(ti - tj) ≥ 0
следует из уравнения K(t, t’) = k(τ) = k(-τ), τ = t’ – t. Первое равенство
K(0) = В = σ2; |k(τ)| ≤ k(0); ∑ ∑ άiαjk(ti - tj) ≥ 0 - простое следствие неравенства Шварца для сечений X(t), X(t’) стационарного случайного процесса X(t). Последнее неравенство:
K(0) = В = σ2; |k(τ)| ≤ k(0); ∑ ∑ άiαjk(ti - tj) ≥ 0
Получают следующим образом:
∑ ∑ αi αjk(ti - tj) = ∑ ∑ K(ti, tj)αiαj = ∑ ∑ M[(αiXi)(αjXj)] = M[(∑ αiXi)2] ≥0
Учитывая формулу корреляционной функции производной dX(t)/dt случайного процесса, для стационарной случайной функции X(t) получим
K1(t, t’) = M[(dX(t)/dt)*(dX(t’)/dt’)] = δ2K(t, t’) / δtδt’ = δ2k(t’ - t) / δtδt’
Поскольку
δk(t’ - t) / δt = (δk(τ) / δτ) * (δτ / δτ) = - δk(τ) / δτ,
δ2k(t’ - t) / δtδt’ = - (δ2k(τ) / δτ2) * (δτ / δt’) = - (δ2k(τ) / δτ2)
то K1(t, t’) = k1(τ) = - (δ2k(τ) / δτ2), τ = t’ – t.
Здесь K1(t, t’) и k1(τ) – корреляционная функция первой производной стационарного случайного процесса X(t).
Для n-й производной стационарного случайного процесса формула корреляционной функции имеет вид:
Kn(τ) = (-1)n * (δ2n *k(τ) / δτ2n)
Теорема.Стационарный случайный процесс X(t) с корреляционной функцией k(τ) непрерывен в среднем квадратическом в точке t € T тогда и только тогда, когда
Limk(τ) = k(0)
Для доказательства запишем очевидную цепочку равенств:
M [|X(t+τ)-X(T)|2] = M[|X(t)|2] – 2M[|X(t+τ)X(t)|] + M[X(t)2] =
= 2D-2k(τ) = 2[k(0)-k(τ)].
Отсюда очевидно, что условие непрерывности в среднем квадратическом процесса X(t) в точке t € T
LimM[|X(t+τ) – X(t)|2] = 0
Имеет место тогда и только тогда, когда выполняется Limk(τ) = k(0)
Теорема. Если корреляционная функция k(τ) стационарного случайного процесса X(t) непрерывна в среднем квадратическом в точке τ=0, то она непрерывна в среднем квадратическом в любой точке τ € R1.
Для доказательства запишем очевидные равенства:
k(τ+∆τ)-k(τ) = M[X(t+τ+∆τ)X(t)] – M[X(t+τ)X(t)] =
= M{X(t)[X(t+τ+∆τ) – X(t+τ)]}
Затем, применяя неравенство Шварца к сомножителям в фигурной скобке и учитывая соотношения:
K(t, t’) = k(τ) = k(-τ), τ = t’ – t.
K(0) = В = σ2; |k(τ)| ≤ k(0); ∑ ∑ άiαjk(ti - tj) ≥ 0
Получим:
0 ≤ [k(τ+∆τ)-k(τ)]2≤ M[X(t)2]M[|X(t+τ+∆τ)-X(t+τ)|2] =
= 2D[D-k(∆τ)].
Переходя к пределу при ∆τ→0 и принимая во внимание условие теоремы о непрерывности k(τ) в точке τ=0, а также первое равенство системы
K(0) = В = σ2 , найдём
Limk(τ+∆τ) = k(τ)
Поскольку здесь τ – произвольное число, теорему следует считать доказанной.
Эргодическое свойство стационарных случайных процессов
Пусть Х(t) - стационарный случайный процесс на отрезке времени [0,T] с характеристиками
M[X(t)] = 0, K(t, t’) = M[X(t)X(t’)] = k(τ),
τ = t’ – t, (t, t’) € T×T.
Эргодическое свойство стационарного случайного процесса заключается в том, что по достаточно длительной реализации процесса можно судить о его математическом ожидании, дисперсии, корреляционной функции.
Более строго стационарный случайный процесс Х(t) будем называть эргодическим по математическому ожиданию, если
LimM {|(1 / T)∫ X(t)dt|2} = 0
Теорема
Стационарный случайный процесс Х(t) с характеристиками:
M[X(t)] = 0, K(t, t’) = M[X(t)X(t’)] = k(τ),
τ = t’ – t, (t, t’) € T×T
является эргодическим по математическому ожиданию тогда и только тогда, когда
Lim (2 / T) ∫ k(τ) (1 – τ/t)dτ = 0.
Для доказательства, очевидно, достаточно убедиться, что справедливо равенство
M{(1 / T) ∫X(t)dt|2} = (2 / T) ∫ k(τ) (1 – τ/t)dτ
Запишем очевидные соотношения
C = M {|(1 / T) ) ∫X(t)dt|2} = (1 / T2) ∫ ∫ k(t’ - t)dt’dt = (1/T) ∫ dt ∫ k(t’ - t)dt’.
Полагая здесь τ = t’ – t, dτ = dt’ и учитывая условия (t’ = T) → (τ = T - t),
(t’ = 0)→(τ = -t), получим
С = (1/T2) ∫ dt ∫ k(τ)dτ = (1/T2) ∫ dt ∫ k(τ)dτ + (1/T2) ∫ dt ∫ k(τ)dτ =
= -(1/T2) ∫ dt ∫ k(τ)dτ - (1/T2) ∫ dt ∫ k(τ)dτ
Полагая в первом и втором слагаемых правой части этого равенства соответственно τ = -τ’, dτ = -dτ’, τ = T-τ’, dτ = -dτ’, найдем
С = (1/T2) ∫ dt ∫ k(τ)dτ + (1/T2) ∫ dt ∫ k(T - τ)dτ
Применяя формулу Дирихле для двойных интегралов, запишем
С = (1/T2) ∫ dt ∫ k(τ)dτ + (1/T2) ∫ dt ∫ k(T - τ)dτ = (1/T2) ∫ (T - τ) k(τ)dτ + (1/T2) ∫ τk (T – τ)dτ
Во втором слагаемом правой части можно положить τ’ = T-τ, dτ = -dτ’, после чего будем иметь
С = (1/Т2) ∫ (Т - τ) k(τ)dτ – (1/T2) ∫ (T - τ) k(τ)dτ= 2/T ∫ (1- (τ/T)) k(τ)dτ
Отсюда и из определения констант видно, что равенство
M{(1 / T) ∫X(t)dt|2} = (2 / T) ∫ k(τ) (1 – τ/t)dτ
Справедливо.
Теорема
Если корреляционная функция k(τ) стационарного случайного процесса X(t) удовлетворяет условию
Lim (1/T) ∫ |k(τ)| dt = 0
То X(t) является эргодическим по математическому ожиданию.
Действительно, учитывая соотношение
M{(1 / T) ∫X(t)dt|2} = (2 / T) ∫ k(τ) (1 – τ/t)dτ
Можно записать
0 ≤ (2/Т) ∫ (1 – τ/t) k(τ)dτ ≤ (2/T) ∫ (1- τ/t) |k(τ)|dτ ≤ (1/T) ∫ |k(τ)|dτ
Отсюда видно, что если выполнено условие, то
Lim (2/T) ∫ (1 – τ/T) k(τ)dτ = 0
Теперь, принимая во внимание равенство
С = (1/Т2) ∫ (Т - τ) k(τ)dτ – (1/T2) ∫ (T - τ) k(τ)dτ= 2/T ∫ (1- (τ/T)) k(τ)dτ
И условие LimM {|(1 / T)∫ X(t)dt|2} = 0
Эргодичности по математическому ожиданию стационарного случайного процесса X(t), находим, что требуемое доказано.
Теорема.
Если корреляционная функция k(τ) стационарного случайного процесса
X(t) интегрируема и неограниченно убывает при τ → ∞, т.е. выполняется условие
При произвольном ε > 0, то X(t) – эргодический по математическому ожиданию стационарный случайный процесс.
Действительно, учитывая выражение
Для Т≥Т0 имеем
(1/T) ∫ |k(τ)|dτ = (1/T)[ ∫ |k(τ)|dτ + ∫ |k(τ)|dτ ≤ (1/T) ∫ |k(τ)|dτε(1 – T1/T).
Переходя к пределу при Т → ∞, найдём
0 ≤ lim ∫ |k(τ)|dτ = ε.
Поскольку здесь ε > 0 – произвольная, сколько угодно малая величина, то выполняется условие эргодичности по математическому ожиданию. Поскольку это следует из условия
О неограниченном убывании k(τ), то теорему следует считать доказанной.