Вид для печати
Уважаемые камрады!
Задался вопросом: какова энтропия чистого листа бумаги (то есть листа, не содержащего текст) - 0 или 100%? :rtfm:
Почитал вики, но так как сугубо гуманитарий, не смог применить ту информацию к данной ситуации. Поясните, если кто знает.
Это зависит от того, излек ли ты какую-либо новую для себя информацию, получив этот чистый лист бумаги.
Информацию может нести не только текст, но и его отсутствие. Например, если ты не получил в очередной четверг чистый лист бумаги или получил лист бумаги с любым текстом, то значит явка провалена. :)
Информацию также может нести плотность бумаги, вес, химический состав, размер и форма листа и т.п.
Если полученное сообщение принесло тебе полностью новые/полезные для тебя данные, энтропия 100%.
Если полученное сообщение не принесло тебе полностью новых/полезных для тебя данных, энтропия 0%.
Энтропия - понятие относительное в том смысле, что одно и то же сообщение для разных получателей может обладать разной энтропией.
Согласен.
Дополню: информационная энтропия не может заниматься единичным символом, ибо она в этом случае по определению будет = 0%.
Так понятие "чистый лист" в топике не говорит ни о чем.
Но как только мы видим набор понятий "чистый лист бумаги" - так у нас увязываются связи и последовательности символов, за каждым из которых появляется набор семантических (читай - информационных) полей, основанных на вопросах "что означает?", "как связан?", "чем отличается?", "как создан?", "для чего предназначен?" и т.п., из ответов на которые энтропия и растет.
Спасибо!
Под "чистым листом" я имел ввиду лист без символов - канал информации, не передающий никакую информацию. Абсолютная тишина, абсолютная темнота - как аналоги.
То есть, если я правильно понял, то некий единичный символ (читай - знак, например, буква) всегда является носителем информации. И в таком случае информация = 100%, энтропия = 0%Цитата:
информационная энтропия не может заниматься единичным символом, ибо она в этом случае по определению будет = 0%.
А вот сочетание нескольких символов - это уже неизвестно, все будет зависеть от адресата и адресанта, шумов канала, шумов кодирования-декодирования?
То есть, получение новых знаний всегда увеличивает энтропию? С этим примерно понятно.Цитата:
Если полученное сообщение принесло тебе полностью новые/полезные для тебя данные, энтропия 100%.
Если полученное сообщение не принесло тебе полностью новых/полезных для тебя данных, энтропия 0%.
Я всегда думал, что энтропия - это мера хаоса. Тогда не вполне ясно, почему отсутствие новых/полезных знаний несет в себе нулевую энтропию. Разве дублирование информации не увеличивает хаос? (прошу прощения, если вопрос построен коряво, надеюсь, смысл его ясен).
PS Начинаю понимать ))) Ответы на мой вопрос увеличили энтропию, потому что вызвали за собой цепочку новых вопросов, так? ))
Включай абстрактное мышление. Введен набор абстрактных понятий (в числе которых и энтропия) и описаны взаимосвязи между ними. Это чисто абстрактная модель.Цитата:
Сообщение от NuFunnya
Если уж очень хочется гуманитарных ассоциаций, то считай так, что заранее известные получателю данные - это полностью упорядоченные данные, у который энтропия 0%. Новые неизвестные данные - считай хаотичными, неупорядоченными, требующими обработки, у них энтропия 100%. В принятом сообщении могут содержаться как заранее известные получателю данные, так и новые заранее неизвестные данные. Энтропия же показывает, насколько новы для получателя полученные данные.
Грубый пример. Тебе по электронной почте прислали 4 книги. 3 из них ты уже читал, а одну еще не читал, но как раз хотел прочитать. Энтропия такого сообщения для тебя 25%.
Информация - это возможность выбора из некотрого количества вариантов. Если с вероятностью 100% известно, что буква всегда одна и та же - информация равна 0. Если буква может быть, а может и не быть, имеем 1 бит информации. Применительно к листу бумаги, он может быть чистым, а может не быть.Цитата:
Сообщение от NuFunnya
Вот, спасибо, вот это самое понятное )))Цитата:
Если уж очень хочется гуманитарных ассоциаций, то считай так, что заранее известные получателю данные - это полностью упорядоченные данные, у который энтропия 0%. Новые неизвестные данные - считай хаотичными, неупорядоченными, требующими обработки, у них энтропия 100%. В принятом сообщении могут содержаться как заранее известные получателю данные, так и новые заранее неизвестные данные. Энтропия же показывает, насколько новы для получателя полученные данные.
Хорошо, тогда по отношению к этой же ситуации, какова энтропия?Цитата:
Если с вероятностью 100% известно, что буква всегда одна и та же - информация равна 0.
Энтропия (в данном контексте) и есть мера количества информации. Если информации ноль, то и энтропия ноль.Цитата:
Сообщение от NuFunnya
http://cih.ru/a1/f58.html
Цитата:
В 1946 г . американский ученый-статистик Джон Тьюки предложил название БИТ (BIT — аббревиатура от BInary digiT), одно из главных понятий XX века. Тьюки избрал бит для обозначения одного двоичного разряда, способного принимать значение 0 или 1. Шеннон использовал бит как единицу измерения информации. Мерой количества информации Шеннон предложил считать функцию, названную им энтропией.
:) Вот еще немного энтропии:Цитата:
Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности». Количество информации, передаваемое в сообщении, тесно связано с мерой неопределенности, или непредсказуемости передаваемых символов.
http://www.kirsoft.com.ru/intell/KSNews_57.htm
Угу. Нет собственно динамики, как меры энтропии. А единичный символ/знак/понятие уже определено и статично по определению определения. :DЦитата:
Сообщение от NuFunnya
По сути, энтропия сильно связана с "вариативным деревом восприятия", так что в академическом случае с передачей информации все верно: "источник >> канал >> приемник".Цитата:
Сообщение от NuFunnya
А расширенной версии обмена информацией энтропия увеличивается за счет бесконечных подтверждений кольца "обработка и выдача информации (a) >> канал >> обработка и выдача информации ((a)+/-1) >> канал >> ... >> канал >> обработка и выдача информации (n)^m >> канал >> ...", где а - первичный генератор информации, n - количество участников обработки и выдачи информации, а m - количество подтверждений и оно может быть не определено.
То есть первичная информация искажается на уровне первичного восприятия, засоряется помехами канала, искажается на входе вторичного приема, засоряется в канале при запросе подтверждения, искажается первичным генератором при восприятии и выдаче подтверждения, засоряется передачей через канал самого подтверждения (пока описывплся лишь один канал с двумя обработчиками), и передается дальше через следующий канал, будучи 4 раза искаженной и 4 раза засоренной... При многоадресной трансляции дела еще хуже: один адресант является генератором искажений (и информации ;) ) для целого ряда адресатов, каждый из которым может оказаться в результате первых же нескольких действий не только адресатом второго порядка, но и вопринимать искаженную информацию от адресантов, которые были адресатами второго, третьего, четвертого (n-ого) порядков.
Такой вот привет детской игре "испорченный телефон". :cool:
Хы... Интересная тема :)Цитата:
Сообщение от NuFunnya
ИМХО: Энтропия в данном случае - абсолютная величина. А ноль она или бесконечность - вопрос, откуда смотреть. Одно дело, когда чистый лист в окружающей действительности, причем фактура бумаги не рассматривается - тогда лист есть ничто и информации на нем нуль, а если кроме листа ничего нет, то он лишь что-то вроде исходного хаоса, на котором еще может быть будет что-то написано, а если лист появился в нигде, то написано на нем будет обязательно :)