Цитата Сообщение от NuFunnya Посмотреть сообщение
Хорошо, тогда по отношению к этой же ситуации, какова энтропия?
Энтропия (в данном контексте) и есть мера количества информации. Если информации ноль, то и энтропия ноль.
http://cih.ru/a1/f58.html

В 1946 г . американский ученый-статистик Джон Тьюки предложил название БИТ (BIT — аббревиатура от BInary digiT), одно из главных понятий XX века. Тьюки избрал бит для обозначения одного двоичного разряда, способного принимать значение 0 или 1. Шеннон использовал бит как единицу измерения информации. Мерой количества информации Шеннон предложил считать функцию, названную им энтропией.
Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности». Количество информации, передаваемое в сообщении, тесно связано с мерой неопределенности, или непредсказуемости передаваемых символов.
Вот еще немного энтропии:
http://www.kirsoft.com.ru/intell/KSNews_57.htm