Количественные характеристики информации
Для оценки количества информации применяются различные подходы, среди которых можно выделить статистический, семантический и прагматический.
Статистический подход к измерению информации
Статистический подход представлен в обширном разделе кибернетики - теории информации, которая занимается математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации. Его основоположником считается Клод Шеннон, опубликовавший в 1948 году свою математическую теорию связи.
Согласно Клоду Шеннону, количество информации измеряется величиной уменьшения неопределенности состояния (неполноты знаний) после получения информации. Количественно выраженная неопределенность состояния получила название энтропии. При получении информации снижается энтропия системы.
Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
Семантический подход к измерению информации
Семантика (французское sémantique от греческого σημαντικός - обозначающий) - наука о понимании определенных знаков, последовательностей символов и других условных обозначений.
Для измерения смыслового содержания информации, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.
Тезаурус - это совокупность сведений (знаний), которыми располагает пользователь или система.
Если тезаурус пользователя S отражает его знания о данном предмете, то количество информации I, содержащееся в некотором сообщении, можно оценить степенью изменения этого тезауруса, произошедшего после приема сообщения.
Пользователь потребляет семантическую информацию в том случае, когда поступающая информация понятна пользователю и несет ранее неизвестные сведения (отсутствующие в его тезаурусе).
Одно и то же информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертеж, радиопередача и т. п.) может содержать разное количество информации для разных людей в зависимости от их накопленных знаний, от уровня понимания этого сообщения и интереса к нему.
Так, сообщение, составленное на японском языке, не несет никакой новой информации человеку, не знающему этого языка, но может быть высокоинформативным для человека, владеющего японским. Никакой новой информации не содержит и сообщение, изложенное на знакомом языке, если его содержание непонятно или уже известно. Следовательно, количество семантической информации в сообщении (количество новых знаний), является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. Несмотря на то, что смысловое содержание сообщения постоянно, получатели, имеющие разные тезаурусы, будут получать неодинаковое количество информации.
Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса
Рассмотрим два предельных случая, когда количество семантической информации I равно 0:
- при S → 0 пользователь не воспринимает, не понимает поступающую информацию (примером такой ситуации может быть прослушивание сообщения на языке, которым получатель не владеет);
- при S → ∞ пользователь все уже знает, и поступающая информация ему уже не нужна.
Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации I к ее объему V:
Прагматический подход к измерению информации
В прагматическом подходе количество информации рассматривается с точки зрения достижения получателем поставленной цели (оценивается полезность сообщения).
Подход основывается на статистической теории Шеннона и рассматривает количество информации как приращение вероятности достижения цели. Если принять вероятность достижения цели до получения информации равной Р0, а после ее получения – Р1, то количество информации I определяется как:
