Измерение информации

Что такое бит и сколько он может хранить информации. Что такое неопределённость знаний. Сколько информации, может нести сообщение. По какой формуле можно выяснить количество информации из множества событий. Сколько бит в килобите и сколько байт в килобайте. Мощность алфавита и информационный вес символа. Информационный объём текста. Решение задач на измерение информации.

Информация это сообщения (текст, звук, графика, видео)…

А в чём её измерить. В информатике за единицу измерения информации приняли бит который может хранить одно из двух различных значений либо 0, либо 1. Для простоты можно вместо 0 и 1 выбрать любые два взаимно противоположные понятия:

ДА-НЕТ;

СВЕТЛО-ТЕМНО;

ХОЛОДНО-ЖАРКО;

ДЕНЬ-НОЧЬ;

ПЛЮС-МИНУС;

БЕЛЫЙ-ЧЁРНЫЙ

Сообщение, уменьшающее неопределённость знаний в 2 раза несёт 1 бит информации.

Перед бросанием монеты есть ДВА равновероятных результатов, т.е. неопределённость знаний равна двум. Игральный кубик с шестью гранями перед броском несёт неопределённость знаний равной шести. Значит неопределённость знаний о некотором событии это количество возможных событий.

После того как подбросили монету, мы увидели ОДИН результат. Произошло одно из двух событий. Неопределённость уменьшилась в 2 раза: было 2 варианта, остался 1, мы получили 1 бит информации. Сообщение о том, что произошло одно событие из двух, несёт 1 бит информации.

Теперь узнаем в цифрах, сколько информации может нести сообщение

Сколько информации несёт сообщение о том, что произошло 1 событие из 4 возможных? Например: Есть шкаф с четырьмя полками, на каждой по одной книге, сколько бит информации мы получили узнав о том, что некто взял книгу из третей полки?

Ответом будет количество возможных вопросов, ответы на которых могут быть лишь ДА или НЕТ. При этом после очередного полученного ответа мы должны исключить ровно половину.

Итак, перед первым вопросом разделим шкаф с четырьмя полками пополам, узнав в какой половине НЕ лежит книга, делим эту половину на два. Теперь перед вторым вопросом делим эту половину пополам и задаём второй вопрос и т.д. Теперь по действиям:

Итак, книгу взяли, и до 1-го вопроса есть четыре полки с тремя книгами. Делим шкаф пополам:

Задаём 1-й вопрос: «Книга лежала в левой или в правой части?» Ответ: в правой. Левую часть исключаем, а правую делим пополам:

Задаём 2-й вопрос: «Книга лежала в левой или в правой части?» Ответ: в левой. Больше делить нечего. Ответ: Было задано два вопроса, соответственно получили 2 бита информации.

Т.е. сообщение КНИГУ ВЗЯЛИ ИЗ ТРЕТЬЕЙ ПОЛКИ несёт 2БИТА информации, при условии что количество полок 4. При этом сообщении неопределённость уменьшилось в 4 раза.

Тоже самое сообщение, но при количестве полок 8, уменьшает неопределённость в 8 раз, а несёт уже 3 бита информации, поскольку здесь уже пришлось бы задавать три вопроса. 8 платформ на поезд, пассажир не знает на какую платформу подадут поезд, после объявления номера платформы неопределённость уменьшилась в 8 раз и несёт 3 бита информации,

Получим формулу позволяющую выводить количество информации из множества событий. Обозначим N число возможных событий, i количество информации содержащейся в сообщении о том, что произошло одно из N возможных событий.

Итак пример с монетой N=2, i=1 с книгами в четырёх полках N = 4, i = 2, с платформами N = 8, i = 3. Связь между этими величинами выражается уравнением:

2ⁱ = N

А если величина N известна, а найти нужно i, то уравнение будет показательным

i=log₂N

его называют формулой Хартли.

Но проще выписать в таблицу хотя бы из 10 чисел степени двойки и запомнить их:

N	i
2	1
4	2
8	3
16	4
32	5
64	6
128	7
256	8
512	9
1024	10

Задача. Сколько бит информации несёт сообщение о том, что из колоды в 32 карты достали даму пик?

Решение: т.к. события равновероятные, то неопределённость равна количеству карт, т.е. N = 32, если i количество информации в сообщении о результате вытаскивания одной карты, то имеем уравнение 2ⁱ = 32, по формуле Хартли имеем log₂ 32 = 5. Ответ: i = 5

В информатике используется величина байт равная 8 битам, т.е. в одном байте может произойти 2⁸ = 256 событий. Или, одним байтом можно закодировать 256 различных символов.

Для большого количества байтов применяют приставки КИЛО, МЕГА, ГИГА, ТЕРА и получают килобайты(Кб), мегабайты(Мб), гигабайты(Гб) и терабайты(Тб):

• 1 Кб = 2¹⁰ = 1024 байт
• 1 Мб = 2²⁰ = 1024 Кб
• 1 Гб = 2³⁰ = 1024 Мб
• 1 Тб = 2⁴⁰ = 1024 Гб

Другими словами: число 1024, это количество байт в килобайте, это количество килобайт в мегабайте, это количество мегабайт в гигабайте.

В компьютерных сетях используют килобиты(Кбит), мегабиты(Мбит) и гигабиты(Гбит):

• 1Кбит = 1000 бит
• 1Мбит = 1000 Кбит = 1000 000 бит
• 1Гбит = 1000 Мбит = 1000 000 Кбит = 1000 000 000 бит

Гигабайты, мегабайты, килобайты, байты в биты и наоборот

Переведём последовательно 2 гигабайта в биты через мегабайты, килобайты и байты:

2 Гб = 2 × 1024 = 2048 Мб

2048 Мб = 2048 × 1024 = 2097152 Кб

2097152 Кб = 2097152 × 1024 = 2147483648 байт

2147483648 байт = 2 147 483 648 × 8 = 17179869184 бит

Перевод из бит в байты производится делением на 8, а из байт в килобайты, из килобайт в мегабайты и из мегабайт в гигабайты – делением на 1024

Для измерения физических величин(х, m, t) есть эталонные единицы(м, кг, с). И для измерения информации нужно ввести измеряемую величину. Алфавитный подход позволит измерить информационный объём текста на некотором языке.

Мощность это полное число символов в алфавите, обозначают N.

Каждый символ имеет информационный вес, который зависит от мощности N алфавита. Наименьшая N, или наименьшее число символов в алфавите = 2, и состоит из 0 и 1. А информационный вес этого алфавита i =1 и называется бит.

С увеличением N увеличивается информационный вес. 1 символ в 4-х символьном алфавита весит 2 бита, т.е. все символы такого алфавита могут закодированы всеми возможными комбинациями из 2 цифр двоичного алфавита:

00

01

10

11

Значит, имея 4 различных символа, получаем информационный вес любого из них равный 2 (Если N=4, то i=2). Используя 3 различные цифры, можно составить 8 различных комбинаций. Значит, имея N = 8, получаем информационный вес i =3.

Количество информации во всём тексте (или информационный объём текста) I состоящим из К символов равно
произведению информационного веса символа i на количество символов К: I = i × K.

Задача. Компьютерный текст состоит из алфавита мощностью
256 знаков(символы, цифры, знаки препинания, скобки). Какой информационный объём имеет слово информация?

Решение. Воспользуемся формулой I = i × K, где К это количество символов
в слове информация т.е. 10, а i это сколько бит весит один символ:
N = 2ⁱ, N по условию = 256, находим i=8 . Итого: I = 8 × 10 = 80 бит

Решение задач на поиск различных ситуаций(не путать с информационным объёмом текста). Здесь нужно найти, количество предметов и количество свойств, которыми обладает этот предмет (символы, цвета, сигналы и т.п.). Затем, вычислить число различных ситуаций которые могут возникнуть располагая такими предметами. Данное число получается по следующей формуле:

количество свойств ^{количество предметов}

Задача 1. Сколько различных последовательностей длиной в 6 символов можно составить из цифр 0 и 1?

Решение: Нужно представить блок из 6 ячеек, каждая из которых может хранить два разных значения в нашем случае это 0 или 1, 2⁶ = 64

Наглядно представить решение этой задачи можно с помощью flash ролика где можно перебрать все 64 значения нажимая на биты

Задача 2. Сколько различных последовательностей длиной в 8 символов можно составить из цифр 0 и 1?

Решение: Нужно представить блок из 8 ячеек, каждая из которых может хранить два разных значения в нашем случае это 0 или 1, 2⁸ = 256.

Задача 3. Дано устройство, состоящее из двух переключателей, каждый из которых может быть установлен в один из трёх режимов. Сколько различных функций может реализовать устройство?

Решение: Здесь предмет это переключатель (но не устройство), он обладает тремя различными свойствами, количество переключателей два. Получаем: 3²=9.

Наглядно представить решение этой задачи можно с помощью flash ролика, где нажимая на каждый из двух предметов можно перебрать 9 различных значений (один предмет содержит 3-х различных изображения)

Задача 4. Два туристских лагеря расположенных по разные стороны реки условились передавать друг другу сообщения при помощи цветных фонариков красного и синего цвета, зажигая или гася их на 1 минуту. Каждую минуту наблюдатель с другого берега может зафиксировать одно из трёх событий: светит красный, светит синий или не светит никакой. Сколько различных сообщений можно передать за пять минут?

Решение: Здесь можно попасться, если принять во внимание что различных сообщений два: красный цвет и синий, но в условии идёт речь что принимающий турист считает выключенный фонарик как третье сообщение. Итак, различных событий три, количество повторений этих событий пять: 3⁵.

Задача 5. Сколько различных сообщений мог бы передать светофор, если бы у него одновременно горели сразу три фонаря, а каждый фонарь мог бы менять цвет на красный, жёлтый, зелёный и синий?

Решение: Здесь предмет это фонарь(но не светофор!!!), один фонарь обладает четырьмя различными свойствами, количество предметов три: 4³.

Задача 6. Табло состоит из ламп, способные находится в следующих различных состояниях: лампа горит, лампа не горит или лампа мигает. Сколько различных сообщений может передать табло, если в нём четыре лампы?

Решение: Здесь предмет это лампа(не табло), этот предмет обладает тремя различными свойствами, количество предметов четыре: 3⁴.

Решение задач с информационным объёмом сообщений, ведётся с применением формулы I = i × K, где I это информационный объём, i информационный вес предмета из всех участвующих в задаче предметах и K количество предметов участвующих в конечном результате задачи

Задача 7. В скачках участвуют 20 лошадей. Специальное устройство регистрирует прохождение каждой лошадью финиша, записывая её номер с использованием минимально возможного количества бит, одинакового для каждой лошади. Каков информационный объём сообщения, записанного устройством в байтах, если до финиша добрались 8 лошадей?

Наглядно представить решение этой задачи можно с помощью flash ролика, где вначале показано сколько бит нужно выделить для каждой из участвующих лошадей, затем просуммировать эти биты

Задача 8. В некоторой стране автомобильный номер длинной 5 символов составлен из заглавных букв(33) и десятичных цифр в любом порядке. Каждый номер помещают в память ПК с использованием минимально возможным и одинаково целым количеством байт, а каждому символу в номере отводится одинаковое количество минимально возможных бит. Сколько байт хватит для записи 35 номеров?

Решение:

1. Сколько бит хватит для каждого символа в номере, если каждый символ состоит из 43 различных знаков: 6
2. Сколько целых байт понадобится ПК чтобы записать один номер: имеем 30 бит, подгоняем биты до такого количества чтобы они уложились в ровное количество байт, т.е. чтобы деление на 8 было без остатка. Получаем 32 бита итого 4 байта на номер
3. Один номер 4 байта количество номеров 35: итого 140 байт

Задача 9. В 2011 году на гран при F1 участвуют одиннадцать команд каждая команда представлена двумя пилотами(в том числе и российский пилот Виталий Петров). Специальное устройство регистрирует прохождение финиша каждого пилота, записывая его номер с использованием минимально возможного количества бит, одинакового для каждого пилота. Каков информационный объём сообщения, записанного устройством, если до финиша добралось 17 пилотов?

Решение: Итак есть 22 пилота, в такое количество может уложиться пять бит чтобы устройство смогло всех зафиксировать, т.е. на каждого пилота по пять бит. К финишу приехало 17 пилотов получаем 17 * 5