"Информатика", Босова Л.Л., Босова А.Ю.
Вся информация состоит из символов. Но все символы несут разное количество информации. Например, если в тексте почти всегда встречается буква "О", то её появление мало что добавляет к нашему знанию о тексте. А если встречается редкая буква, например, "Щ", то это уже интереснее! Информационный вес символа – это мера неопределённости, связанная с его появлением, и показывает, сколько новой информации мы получаем, когда этот символ видим. Мы узнаем, как рассчитать этот вес и зачем он нужен.
Текст подготовлен нейронной сетью по теме параграфа и не заменяет учебник — важные факты и формулировки сверяйте с ним.
Информационный вес символа – это мера неопределённости, связанная с появлением этого символа в сообщении. Это значит, что чем менее вероятно появление символа, тем больше информации он несёт. Представьте, что вы играете в игру, где вам нужно угадать, какое число загадал ваш друг. Если он всегда загадывает число 5, то это событие не несёт никакой новой информации. А если он может загадать любое число от 1 до 100, то каждый раз, когда он загадывает число, вы получаете много новой информации.
Алфавит – это конечный набор символов, используемых для представления информации. Это может быть набор букв, цифр, знаков препинания или любых других символов. Например, алфавит русского языка состоит из 33 букв, а двоичный алфавит состоит из двух символов: 0 и 1.
Вероятность символа – это число, показывающее, как часто данный символ встречается в сообщении (или в изучаемом языке). Вероятность всегда находится в диапазоне от 0 до 1. Если вероятность символа равна 1, то этот символ всегда встречается в сообщении. Если вероятность символа равна 0, то этот символ никогда не встречается в сообщении.
Информационный вес символа отражает степень нашей удивленности при его появлении. Если символ ожидаем, то пользы от его появления мало. Если символ неожиданный, то он несет больше информации. Это связано с тем, что мы должны потратить больше усилий, чтобы обработать новую информацию.
Зависимость информационного веса от вероятности очень проста: чем выше вероятность символа, тем меньше его информационный вес, и наоборот. Теоретически, если символ встречается всегда, его появление не несёт никакой информации, а если символ никогда не встречается, то его появление несёт бесконечно много информации.
Рассмотрим пример с броском монеты. Вероятность выпадения орла или решки равна 50% (0.5). Это означает, что каждый раз, когда мы бросаем монету, у нас есть одинаковая вероятность увидеть орла или решку. В этом случае информационный вес равен 1 бит. Это минимальное количество информации, которое может нести одно событие.
Информационный вес символа рассчитывается по формуле: I = -log₂ P, где I – информационный вес, а P – вероятность символа. Логарифм по основанию 2 используется для того, чтобы измерить информацию в битах. Один бит - это количество информации, которое необходимо для выбора между двумя равновероятными вариантами.
Почему стоит знак минус? Потому что вероятность (P) всегда положительное число, а информационный вес (I) должен быть положительным. Если бы мы не использовали знак минус, то информационный вес был бы отрицательным.
В конечном счёте, информационный вес – это величина, показывающая количество информации, которое мы получаем при появлении символа. Чем выше информационный вес, тем больше информации мы получаем.
| Вероятность (P) | Информационный вес (I = -log₂ P) | Пример |
|---|---|---|
| 1 | 0 бит | Событие, которое всегда происходит |
| 0.5 | 1 бит | Бросок монеты (орел или решка) |
| 0.25 | 2 бита | Событие, которое происходит в 25% случаев |
| 0.125 | 3 бита | Событие, которое происходит в 12.5% случаев |
Как видно из таблицы, чем меньше вероятность символа, тем больше его информационный вес. Эта таблица поможет вам лучше понять взаимосвязь между вероятностью и информационным весом.
Задача 1: В алфавите 3 символа: А, Б, В. Вероятность появления символа А — 0.5, символа Б — 0.3, символа В — 0.2. Рассчитайте информационный вес каждого символа.
Ответ: Информационный вес символа А равен 1 биту, символа Б — примерно 1.74 бита, а символа В — примерно 2.32 бита.
Задача 2: Сравните информационный вес символа, вероятность появления которого 0.1, и символа, вероятность появления которого 0.01.
Ответ: Информационный вес символа с вероятностью 0.01 больше, чем информационный вес символа с вероятностью 0.1, что подтверждает, что чем меньше вероятность, тем больше информационный вес.
Задача 3: Предположим, у нас есть алфавит из 8 символов, причём каждый символ равновероятен. Найдите информационный вес каждого символа.
Ответ: Информационный вес каждого символа равен 3 битам, так как все символы равновероятны.
Использование натурального логарифма вместо логарифма по основанию 2: Это приводит к измерению информационного веса в натах, а не в битах. Очень важно не перепутать основания логарифмов, иначе результат будет неверным.
Неправильное вычисление вероятности символа: Важно корректно определить вероятность, прежде чем рассчитывать информационный вес. Например, если сумма вероятностей всех символов в алфавите не равна 1, то вероятность рассчитана неверно.
Попытка применить формулу информационного веса к событиям, которые не являются символами алфавита: Формула применима только к символам алфавита, у которых есть определенная вероятность.
Забывание про знак минус в формуле: Информационный вес всегда положительная величина. Если вы забыли про знак минус, то информационный вес получится отрицательным, что не имеет смысла.
Понятие вероятности и ее расчет: Для вычисления информационного веса необходимо понимать, что такое вероятность и как её рассчитывать. Это тема, которую мы изучали ранее.
Кодирование информации: В дальнейшем, при изучении кодирования информации, понятие информационного веса будет использоваться для определения оптимальной длины кодов. Мы будем использовать информационный вес, чтобы сжать данные и сделать их более компактными.
Что произойдет с информационным весом символа, если его вероятность увеличится?
Информационный вес символа уменьшится. Чем выше вероятность появления символа, тем меньше он нас удивляет и, следовательно, несёт меньше новой информации. Напомним, что информационный вес и вероятность связаны обратно пропорционально.
Почему используется логарифм в формуле для расчета информационного веса?
Логарифм позволяет нам удобно измерять информацию в битах. Бит – это единица измерения информации, показывающая количество информации, необходимое для различения двух равновероятных событий. Использование логарифма по основанию 2 даёт нам количество битов, необходимых для кодирования символа.
Чем информационный вес отличается от вероятности символа?
Вероятность символа показывает, как часто он встречается, а информационный вес – это количество информации, которое мы получаем при его появлении. Это противоположные понятия: высокая вероятность – низкий вес, и наоборот. Вероятность характеризует предсказуемость, а информационный вес – неожиданность.
Как информационный вес используется при кодировании информации?
Информационный вес используется для эффективного кодирования информации. Символам с большим информационным весом (редким символам) обычно назначаются более длинные коды, а символам с меньшим весом (частым символам) - более короткие. Это позволяет сжать информацию и уменьшить её размер.
Можно ли применять формулу информационного веса к любым событиям?
Формулу информационного веса можно применять к любым событиям, которые имеют определенную вероятность наступления. Однако, важно помнить, что в информатике эта концепция чаще всего применяется к символам алфавита, используемым для представления информации.
1.6.2. Информационный вес символа произвольного алфавита
