Формулу для вычисления количества информации предложил

Урок " Вероятностный подход к определению количества информации ".

Количество информации в случае различных вероятностей событий определяется

по формуле Шеннона:

где Pi – вероятность i -го события,

N – количество возможных событий

Формула была предложена в 1948 г.

а мериканский учёный,

(30 апреля 1916 – 24 февраля 2001 )

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий.

1. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх.

2. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.

Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт.
P = K / N , где К – количество случаев реализации одного из исходов события, N – общее число возможных исходов одного из событий 2 i = log 2(1/ p ), где i – количество информации, p – вероятность события

Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.

Решение: Вероятность вытаскивания белого шара – P 1 = 40/50 = 0,8

Вероятность вытаскивания чёрного шара P 2 = 10/50 = 0,2

Количество информации о вытаскивании белого шара i 1 = log 2(1/0,8) = log 21,25

= log 1,25/ log 2 » 0,32 бит

Количество информации о вытаскивании чёрного шара i2 = log2(1/0,2) = log25 = log5/log2 » 2,32 бит

Ответ: 0,32 бит; 2,32 бит

Задача 2. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней – 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?

Решение: События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.

Общее количество карасей и окуней в пруду 1500 + 500 = 2000.

Вероятность попадания на удочку карася

p 1 = 1500/2000 = 0,75, окуня p 2 – 500/2000 = 0,25.

I 1 = log 2(1/ p 1), I 1 = log 2(1/ p 2), где I 1 и I 2 – вероятности поймать карася и окуня соответственно.

I 1 = log 2(1 / 0,75) » 0,43 бит, I 2 = log 2(1 / 0,25) » 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно.

Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона

I = – 0,75*log20,75 – 0,25*log20,25 = – 0,75*(log0,75/log2)-0,25*(log0,25/log2) = 0,604 бит » 0.6 бит.

Ответ: в сообщении содержится 0,6 бит информации

Вычисление количества информации для равновероятных событий

определяется по формуле Хартли:

Формула Хартли – частный случай формулы Шеннона

для равновероятных событий:

где N – число возможных событий,

i – количество информации в битах.

Формула была предложена Р. Хартли в 1928 г.

Ральф Хартли

30 ноября 1888 г – 1 мая 1970 г

Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение: Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.

Читайте также:  Удаление файлов через командную строку

N = 32, i = ? N = 2 i , 32 = 25, i = 5 бит .

Задача 2. В школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику сообщили, что нужный учебник находится на 2-ой полке 4-го стеллажа. Какое количество информации получил ученик?

1) Число стеллажей (случаев) – 16.

N 1 = 16, N 1 = 2 I , 16 = 2 I , 16 = 24, I 1= 4 бита.

2) Число полок на каждом стеллаже (случаев) – 8,

N2 = 8, N2 = 2I, 8 = 23, I2 = 3 бит .

3) i = i1 + i2, i = 4 бита + 3 бита = 7 бит .

Задача 3. Загадывают число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да» или «Нет».

Решение: Правильная стратегия состоит в том, чтобы количество вариантов каждый раз уменьшалось вдвое.

Например, загадано число 152.

1 вопрос: Число >100? Да.

3 вопрос: Число > 175? Нет. и т.д.

Количество событий в каждом варианте будет одинаково, и их отгадывание равновероятно. N = Ii , 200 = 2 i , 7 i

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения "орла" и "решки" будут различаться.

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

(2.2)

где I – количество информации;
N – количество возможных событий;
рi – вероятность i-го события.

Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут равны:

Тогда количество информации, которое мы получим после реализации одного из них, можно рассчитать по формуле (2.2):

I = -(l/2 log2l/2 + l/4 log2l/4 + l/8 log2l/8 + l/8 log2l/8) = (1/2 + 2/4 + 3/8 + 3/8) битов = 14/8 битов = 1,75 бита.

Этот подход к определению количества информации называется вероятностным.

Для частного, но широко распространенного и рассмотренного выше случая, когда события равновероятны (pi= 1/N), величину количества информации I можно рассчитать по формуле:

(2.3)

По формуле (2.3) можно определить, например, количество информации, которое мы получим при бросании симметричной и однородной четырехгранной пирамидки:

I = log24 = 2 бита. Таким образом, при бросании симметричной пирамидки, когда события равновероятны, мы получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Выбор оптимальной стратегии в игре "Угадай число". На получении максимального количества информации строится выбор оптимальной стратегии в игре "Угадай число", в которой первый участник загадывает целое число (например, 3) из заданного интервала (например, от 1 до 16), а второй – должен "угадать" задуманное число. Если рассмотреть эту игру с информационной точки зрения, то начальная неопределенность знаний для второго участника составляет 16 возможных событий (вариантов загаданных чисел).

При оптимальной стратегии интервал чисел всегда должен делиться пополам, тогда количество возможных событий (чисел) в каждом из полученных интервалов будет одинаково и отгадывание интервалов равновероятно. В этом случае на каждом шаге ответ первого игрока ("Да" или "Нет") будет нести максимальное количество информации (1 бит).

Читайте также:  Asus geforce gtx 1080 strix отзывы

Как видно из табл. 1.1, угадывание числа 3 произошло за четыре шага, на каждом из которых неопределенность знаний второго участника уменьшалась в два раза за счет получения сообщения от первого участника, содержащего 1 бит информации. Таким образом, количество информации, необходимое для отгадывания одного из 16 чисел, составило 4 бита.

Таблица 2.1. Информационная модель игры "Угадай число"
Вопрос второго участника Ответ первого участника Неопределенность знаний (количество возможных событий) Полученное количество информации
16
Число больше 8? Нет 8 1 бит
Число больше 4? Нет 4 1 бит
Число больше 2? Да 2 1 бит
Число 3? Да 1 1 бит

1.3. Вычислить с помощью электронного калькулятора количество информации, которое будет получено:

  • при бросании симметричного шестигранного кубика;
  • при игре в рулетку с 72 секторами;
  • при игре в шахматы игроком за черных после первого хода белых, если считать все ходы равновероятными;
  • при игре в шашки.

1.4. Вероятность первого события составляет 0,5, а второго и третьего – 0,25. Какое количество информации мы получим после реализации одного из них?

1.5. Какое количество информации получит второй игрок в игре "Угадай число" при оптимальной стратегии, если первый игрок загадал число: от 1 до 64? От 1 до 128?

  • Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное.
  • Исправить статью согласно стилистическим правилам Википедии.

Пожалуйста, после исправления проблемы исключите её из списка параметров. После устранения всех недостатков этот шаблон может быть удалён любым участником.

Формула Хартли или хартлиевское количество информации или мера Хартли – логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.

I = K log 2 ⁡ N <displaystyle I=Klog _<2>N>

Где N – количество символов в используемом алфавите (мощность алфавита), K – длина сообщения (количество символов в сообщении), I – количество информации в сообщении в битах.

Формула была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:

i = log 2 ⁡ N <displaystyle i=log _<2>N>

Соответственно, мощность алфавита равна:

N = 2 i <displaystyle N=2^>

Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:

log 2 ⁡ 1 = 0 <displaystyle log _<2>1=0>

Пусть, имеется алфавит А, из N букв которого составляется сообщение:

| A | = N . <displaystyle |A|=N.>

Количество возможных вариантов разных сообщений:

M = N K , <displaystyle M=N^,>

где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.

Пример: цепь ДНК состоит из 4 видов азотистых оснований: Аденин (A), Гуанин (G), Тимин (T), Цитозин (C). Следовательно, мощность (N) «алфавита ДНК» равна 4. Значит, каждое азотистое основание несет i = log 2 ⁡ 4 = 2 <displaystyle i=log _<2>4=2> бита информации.

Читайте также:  Чем лучше 64 битная система

Пример: Пусть алфавит состоит из 16 символов «1», «2», «3», «4», «5», «6», «7», «8», «9», «0», «+», «-», « », «*», «#», «✆» (символы для набора номеров и команд мобильных телефонов), а длина сообщения составляет 10 символов (например, команда «*123*1*3#✆») — таким образом, мощность алфавита N = 16, а длина сообщения K = 10. При выбранных нами алфавите и длине сообщения можно составить M = N K = 16 10 = 1099511627776 <displaystyle M=N^=16^<10>=1099511627776> сообщений. В этом случае, по формуле Хартли можно определить, что количество информации в каждом символе этого сообщения равно i = log 2 ⁡ N = log 2 ⁡ 16 = 4 <displaystyle i=log _<2>N=log _<2>16=4> бита, а количество информации во всем сообщении, соответственно, равно I = K log 2 ⁡ N = 10 log 2 ⁡ 16 = 10 ∗ 4 = 40 <displaystyle I=Klog _<2>N=10log _<2>16=10*4=40> бит или 5 байт.

При равновероятности символов p = 1 m , m = 1 p <displaystyle p=<frac <1>>,m=<frac <1>

>> формула Хартли переходит в собственную информацию.

Иллюстрация [ править | править код ]

Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.

Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим, загаданное число 27. Вариант диалога:

Если число не 28 и не меньше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.

Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — оптимальный в данном случае способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», если эти ответы равновероятны, равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь битов (семь ответов «да»/«нет»).

N = 2 i <displaystyle N=2^>

Такой формулой можно представить, сколько вопросов (битов информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а i — количество битов. Например, в нашем примере 27 меньше, чем 28, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.

i = log 2 ⁡ N . <displaystyle i=log _<2>N.>

Количество информации (i), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Формула Шеннона [1] [ править | править код ]

Когда события не равновероятны, может использоваться формула Шеннона:

I = − ∑ i p i log 2 ⁡ p i , <displaystyle I=-sum _p_log _<2>p_,>

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock detector