предполагает модель с детерминированной связью (помехи отсутствуют) между дискретными состояниями двух систем без их вероятностного описания.

До получения сведений о состоянии системы имеется априорная неопределенность ее состояния. Сведения позволяют снять эту неопределенность, то есть определить состояние системы. Поэтому количество информации можно определить как меру снятой неопределенности, которая растет с ростом числа состояний системы.

Количественная мера информации устанавливается следующими аксиомами.

Аксиома 1. Количество информации, необходимое для снятия неопределенности состояния системы, представляет собой монотонно возрастающую функцию числа состояний системы.

В качестве количественной меры информации можно выбрать непосредственно число состояний системы m_x, которое является единственной характеристикой множества X.

Однако такое определение не удобно с точки зрения его практического применения. Поэтому в теории информации вводится несколько иная количественная мера информации, которая является функцией тх. Вид указанной функции позволяет установить аксиома 2.

Аксиома 2.Неопределенность состояния сложной системы, состоящей из двух подсистем, равна сумме неопределенностей подсистем.

Если для снятия неопределенности первой подсистемы необходимо количество информации, равное I(т1), а для второй подсистемы количество информации, равное I(m2), то для снятия неопределенности сложной системы необходимо количество информации, равное I(m1,m2) = I(m1) + I(m2) , где т1 - число состояний первой подсистемы; т2 - число состояний второй подсистемы; т1 т2-число состояний сложной системы.

Единственным решением полученного функционального уравнения является логарифмическая функция I(т)=Кlogат, которая определяет количество информации как логарифм числа состояний системы. Произвольный коэффициент К выбирается равным единице, а основание логарифма а определяет единицу измерения количества информации. В зависимости от значения а единицы измерения называются двоичными (а=2), троичными (а=3) и в общем случае а-ичными. В дальнейшем под символом log будем понимать двоичный логарифм. Двоичная единица иногда обозначается bit (от английского binary digit - двоичный знак).

Каждое передаваемое слово из п букв, записанное в алфавите, содержащем т букв, можно рассматривать как отдельное «укрупненное» состояние источника сообщений. Всего таких состояний (слов) будет тn.

Тогда количество информации, которое несет слово из п букв, равно I=logamn=nlogam. Отсюда следует, что одна буква несет logam а-ичных единиц информации. Если единица измерения информации а=т, то количество информации в слове (I=п) измеряется количеством содержащихся в нем букв, а единица измерения информации определяется размером алфавита т. Таким образом, одна a-ичная единица содержит logam a-ичных единиц информации.

Это выражение, повторяющее по форме выражение для энтропии в статистической механике, К. Шеннон по аналогии назвал энтропией.

Такой подход принципиально изменил понятие информации. Под информацией теперь стали понимать не любые сообщения, передаваемые в системе связи, а лишь те, которые уменьшают неопределенность у получателя информации, и чем больше уменьшается эта неопределенность, т.е. чем больше снижается энтропия сообщения, тем выше информативность поступившего сообщения. Энтропия - это тот минимум информации, который необходимо получить, чтобы ликвидировать неопределенность алфавита, используемого источником информации.

Однако и количественная мера информации Р. Хартли и энтропия К. Шеннона не измеряют саму вторичную информацию в ее смысловом или физическом виде, а лишь характеризуют используемую для передачи по каналам связи систему кодирования этой информации, алфавит, примененный для ее передачи.