Дискретный источник информации

Рассмотрим как наиболее простой дискретный источник, который выдает дискретные сообщения, а не непрерывные.

Дискретные сообщения состоят из последовательности дискретных знаков.

Рассмотрим основные свойства дискретного источника.

  • Алфавит – это общее число различных знаков (M), используемых в данном источнике. Элементы алфавита будем обозначать через {xi}, где 1 ≤ iM. Минимальное число элементов алфавита Mmin = 2, например {0,1} – двоичный код. Один дискретный знак представляет собой элементарное сообщение, последовательность знаков – сообщение.
  • Набор элементов алфавита, создаваемых дискретным источником сообщений, заранее, априори (до опыта) известен получателю. Источник информации в каждый момент времени t выдает один элемент алфавита X(t). Этот элемент сообщения взят из алфавита, но заранее не известно какой это элемент. Если обозначить вероятность выбора каждого элемента алфавита в момент выбора времени tpi(t), где pi(t) – вероятность выбора элемента алфавита xi в момент времени t, то
    основные свойства дискретного источника
  • В случае выдачи того или иного элемента алфавита источник сообщения переходит в новое состояние – S. Если при этом вероятности появления следующего элемента алфавита зависят от того в каком состоянии находится источник сообщений, то имеет место источник сообщений со статической зависимостью состояний. Большинство языков общения являются примерами источников со статической зависимостью состояний.

Например:

1. Первая буква любого сообщения имеет вероятность появления равной частоте употребления этой буквы в начале слова

основные свойства дискретного источника

2. Если же первая буква сообщения нам известна, например «м», то вероятность употребления следующей буквы, будет уже отличаться от вероятности употребления начальных букв (в русском языке чаще употребляются сочетания «сг», чем «сс»). Тогда набор вероятностей следующих букв составит:

основные свойства дискретного источника

3. Если же вторая буква – «а» и получено сочетание «ма», то набор вероятностей {p(i/ма)} снова будет другим. Неопределенность выбора следующей буквы алфавита зависит от того в каком состоянии находится источник в данный момент времени. А характеристикой источника становится перечисление всех его состояний S( j) и соответствующих столбцов вероятностей появления следующих элементов алфавита в каждом состоянии. http://peredacha-informacii.ru/ Элементарным источником сообщений является источник со статически независимыми состояниями. Он характеризуется безусловными вероятностями появления следующего элемента сообщения, то есть

pi(t) = pi(t + Δt) = pi(t + n · Δt) = const = p(i).

Таким образом дискретный источник характеризуется тремя факторами:

  • алфавитом {xi}, где 1 ≤ iM;
  • количеством состояний S( j); j = 1; k;
  • столбцами вероятностей ||pi(Sj)||; i = 1; M появления i-той буквы в j-том состоянии.