Энтропия (стр. 4 из 5)

В настоящее время при компьютерном и математическом моделировании для описания неопределенностей все чаще используют такой метод, как энтропия. Некоторые виды неопределенностей связаны с безразличными к организации силами — природными (погодные условия) или общественными (смена правительства).

Разнообразные формальные методы оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения — всегда человек, менеджер, на котором лежит ответственность за принятое решение.

Поэтому процедуры энтропии естественно применять не только на конечном, но и на всех остальных этапах анализа рассматриваемого организацией проекта, используя при этом весь арсенал теории и практики энтропии.

Рассмотрим использования энтропии на примере прогноза погоды.

Пусть для некоторого пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность дождя 15 октября равна 0,8, а вероятность отсутствия дождя в этот день — всего 0,2. Предположим, что определенный метод прогноза погоды 15 июня оказывается правильным в 3/5 всех тех случаев, в которых предсказывается дождь, и в 4/5 тех случаев, в которых предсказывается отсутствие осадков; в применении же к погоде 15 октября этот метод оказывается правильным в 9/10 тех случаев, в которых предсказывается дождь, и в половине случаев, в которых предсказывается отсутствие дождя (сравнительно большой процент ошибок в последнем случае естественно объясняется тем, что предсказывается маловероятное событие, предугадать которое довольно трудно). Спрашивается, в какой из двух указанных дней прогноз дает нам больше информации о реальной погоде?

Обозначим через β₁ и β₂ опыты, состоящие в определении погоды в рассматриваемом пункте 15 июня и 15 октября. Мы считаем, что эти опыты имеют всего по два исхода — В (дождь) и

(отсутствие осадков); соответствующие таблицы вероятностей имеют вид:

Опыт β₁

исходы	В
вероятн.	0,4	0,6

Опыт β₂

исходы	В
вероятн.	0,8	0,2

Следовательно, энтропии опытов β₁ и β₂ равны

Н (β₁ ) = -0,4 log 0,4 — 0,6 log 0,6

0,97 бита,

Н (β₂) = - 0,8 log 0,8 - 0,2 log 0,2

0,72 бита.

Пусть теперь α₁ и α₂ — предсказания погоды на 15 июня и на 15 октября. Опыты α₁ и α₂ также имеют по два исхода: А (предсказание дождя) и

(предсказание сухой погоды); при этом пары опытов (α_1, β₁) и (α₂,β₂) характеризуются следующими таблицами условных вероятностей:

Пара (α_1, β₁)

0,6	0,4	0,2	0,8

Пара (α₂,β₂)

0,9	0,1	0,5	0,5

(

). Эти таблицы позволяют определить также и неизвестные нам вероятности р₁(А) и р₁( ),р₂(А) и р₂( ) исходов А и опытов α₁ и α₂. По формуле полной вероятности имеем для опыта β₁

0,4=р(В)= р₁(А)

+ р₁( ) =0,6· р₁(А) +0,2· р₁( )

и для опыта β₂

0,8 = р (В)= р₂(А)

+ р₂( ) =0,9· р₂(А)+0,5· р₂( ).

Так как р₁(

)= 1 — р₁(А), р₂( )= 1 — р₂(А), то отсюда получаем

р₁(А)= р₁(

)= 0,5, р₂(А) = 0,75, р₂( ) = 0,25.

Подсчитаем теперь энтропии Н_А(β₁),

(в битах):

Н_А(β₁)= -0,6• log 0,6 - 0,4 • log 0,4

0,97,

= - 0,2• log 0,2 – 0,8• log0,8 0,72

и

= - 0,9 • log 0,9 - 0,1• log 0,1 0,47,

= - 0,5 • log 0,5 - 0,5• log 0,5= 1.

Следовательно,

р₁(А) Н_А(β₁)+ р₁( ) 0,84,

р₂(А) + р₂( ) 0,60.

Таким образом, информация, содержащаяся в прогнозе погоды на 15 июня (опыт α₁) о реальной погоде в этот день (об опыте β₂), равна

I (α_1, β₁) = Н(β₁) -

0,97 -0,84 = 0,13 бит,

что несколько больше, чем информация о реальной погоде 15 октября (об опыте β₂), содержащаяся в прогнозе погоды на этот день (в опыте α₂):

I (α_2, β₂) = Н(β₂) -

0,72 — 0,60 = 0,12 бит.

Этот результат позволяет считать прогноз погоды па 15 нюня более ценным, чем прогноз на 15 октября, несмотря на то, что последний прогноз чаще оказывается правильным: действительно, в силу формулы полной вероятности, для прогноза погоды на 15 нюня вероятность оказаться правильным равна

р₁(А)

+ р₁( ) = 0,5• 0,6 + 0,5• 0,8 = 0,7,

в то время как для прогноза погоды на 15 октября эта вероятность равна

р₂(А)

+ р₂( ) = 0,75 • 0,9 + 0,25 • 0,5 = 0,8.