Расчет информационных характеристик дискретного канала (стр. 2 из 6)

Эта матрица отражает статистические характеристики действия помех. Канальная матрица источника является матрицей прямых переходов переданных сигналов

в принятые сигналы .

Каждая строка КМИ представляет собой распределение условных вероятностей принятых сигналов

относительно переданных сигналов . Все эти условные вероятности p(b_j/a_i) и образуют КМИ.

Канальная матрица приемника (КМП)

Дискретный канал полностью задан, если известны безусловные вероятности приема сигналов

и задана канальная матрица приемника.

Условные вероятности р(a_i /b_j) приёма сигналов

относительно переданных сигналов составляют канальную матрицу приемника (КМП) и отражают действие помех на канале.

Канальная матрица объединения (КМО)

Дискретный канал полностью задан канальной матрицей объединения (КМО).

КМО состоит из совместных вероятностей появления сигналов

и - р(a_i ,b_j) и отражает действие помех на канале связи.

Элементами матрицы являются совместные вероятности:

Взаимосвязь канальных матриц

Из КМО в КМИ

p(b_i/a_j) =

p(a_i) =

p(a_i,b_j) (i=1,2…n)

Из КМИ в КМО

Из КМО в КМП

p(a_i/b_j) =

p(b_j) =

p(a_i,b_j) (j=1,2…n)

Из КМП в КМО

p(a_i, b_j) = p(b_j) ·p(a_i/b_j)

2.1 Свойства канальных матриц

Свойства канальной матрицы источника (КМИ):

1. КМИ – квадратная матрица, то есть её размер nxn ;

2. Сумма условных вероятностей каждой строки равна 1, то есть образует полную группу:

(i=1,2…n)

3. Условные вероятности главной диагонали КМИ отражают вероятность правильного приема сигналов

относительно переданных сигналов ;

4. Остальные условные вероятности канальной матрицы (кроме главной диагонали) отражают вероятность ложного приема переданных сигналов;

5. Для идеального канала, на котором нет помех, канальная матрица имеет вид:

Свойства канальной матрицы приемника (КМП):

1. КМП – это квадратная матрица, то есть её размер nxn ;

2. Сумма условных вероятностей каждого столбца равна 1, то есть образует полную группу:

(j=1,2…n)

3. Условные вероятности главной диагонали КМП отражают вероятность правильного приема сигналов

относительно переданных сигналов ;

4. Остальные условные вероятности канальной матрицы приемника(кроме главной диагонали) отражают вероятность ложного приема переданных сигналов;

5. Для идеального канала, на котором нет помех, КМП имеет вид:

Свойства канальной матрицы объединения (КМО):

1. Сумма совместных вероятностей каждой строки равна безусловной вероятности источника:

дискретный матрица приемник кодирование

(i=1,2…n)

Σ p(a_i) = 1

2. Сумма совместных вероятностей каждого столбца равна соответствующей безусловной вероятности приемника:

(j=1,2…n)

3. Сумма всех элементов канальной матрицы объединения равна 1.

Σ p(b_j) = 1

3. Информационные характеристики источника сообщений

Для того, чтобы понять что такое информационные характеристики, нужно вначале дать определение таким терминам, как алфавит сообщения, кортеж упорядоченных уникальных символов и дискретный ансамбль сообщения (ДАС).

Алфавитом сообщения называются символы, которые входят в сообщение. Например:

A={a₁, a₂,…,a_n}

Кортеж упорядоченных уникальных символов – это упорядоченная последовательность символов.

Х={х₁, х₂,…, х_n} – сообщение – кортеж символов

Дискретный ансамбль сообщения (ДАС) – сообщение с вероятностями символов ДАС {Х, p(х_i) или A, p(a_i)}

3.1 Количество информации

источника сообщений

Количество информации

Количеством информации символа сообщения определяется:

I(a_i) = - log₂(p(a_i)) = - log(p(a_i)) [бит] (i=1,2…n)

В Шенноновской теории информации количество информации источника определяется вероятностью появления символа.

I(a_i) = - ln(p(a_i)) [нат]

I(a_i) = - lg(p(a_i)) [дит]

Каждый символ сообщения содержит своё количество информации.

Свойства количества информации источника сообщений

1. Количество информации неотрицательно:

I(a_i) >= 0

2. Чем выше вероятность, тем меньшее количество информации содержит символ.

3. Если вероятность символа равна 1, то количество информации этого символа равно 0.

р(a_i) = 1 ⇒I(a_i) = 0

4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого.

I(a_1, a_2, a₃) = I(a₁) + I(a₂) + I(a₃)

Энтропия – среднее количество информации на символ сообщения (средневзвешенное).

[бит/символ]

Свойства энтропии

1. Энтропия неотрицательна: Н(А) ≥ 0

2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1: Н(a_i) = 0 ⇔р(a_i) =1

3. Энтропия ограничена: H (a_i) ≤ log n[бит/символ]

где n – количество символов в сообщении.

4. Максимальная энтропия равна: H_max(А) = log n[бит/символ]

3.2Информационные потери

Существует два вида условной энтропии, которые определяют действия помех на дискретном канале – это частная условная энтропия (ЧУЭ) и общая условная энтропия (ОУЭ).

Частная условная энтропия источника (ЧУЭИ) сообщений отображает количество потерь информации при передаче каждого сигнала а_i:

H(В/а_i) = −

p(b_j/a_i)logp(b_j/a_i) (i = 1,2…n) [бит/символ]

Общая условная энтропия источника (ОУЭИ) определяет средние потери количества информации на принятый сигнал

относительно переданных сигналов .

[бит/символ]

4. Информационные характеристики приемника сообщений

4.1Количество информации

приёмника

Количество информации

Количеством информации символа сообщения определяется:

I(b_j) = - log₂(p(b_j)) = - log(p(b_j)) [бит] (j=1,2…n)

В Шенноновской теории информации количество информации приемника определяется вероятностью появления символа.

I(b_j) = - ln(p(b_j)) [нат]

I(b_j) = - lg(p(b_j)) [дит]

Каждый символ сообщения содержит своё количество информации.

Свойства количества информации приемника сообщений

1. Количество информации неотрицательно: I(b_j) ≥ 0

2. Чем выше вероятность, тем меньшее количество информации содержит символ.

3. Если вероятность символа равна 1, то количество информации этого символа равно 0.

р(b_j) = 1 ⇒I(b_j) = 0