Это не совсем так.
Информация-таки вполне физичное понятие.
Даже, как ни странно, квантуемое.
А что самое весёлое, так это то, что "минимальная порция" информации равна всё тому же кванту действия.
Это, как бы, обобщающая категория над всеми взаимодействиями...
Не важно - электромагнитное ли взаимодействие брать или какое ещё, но "минимальное действие" - всё тот же квант. Т.е., можно рассматривать любые физические взаимодействия как "обмен информацией".
Обмен импульсом, обмен энергией... энергия может быть любой, импульс может быть любой... А соотношение энергии и времени или импульса и "расстояния", при любом "обмене" между телами, всегда будет целым числом квантов действия - целым числом "событий элементарного (взаимо)действия", или "как бы" "обменом целым числом бит информации".
Раз физические ограничения на "передачу информации" (не быстрее света, не менее кванта действия), то и "какбы искусственно введённое понятие" информации содержит вполне физический смысл. Так же, как физический смысл содержат понятия энергии, импульса, спина, заряда.... и т.д.