Н.К. Шавенько
Основы теории информации
Учебное пособие для студентов высших учебных заведений,
обучающихся по специальностям направления подготовки
09.03.02 «Информационные системы и технологии»
Москва
Издательство МИИГАиК
2019
1
УДК 621.391.
ББК 22.19
Ш 14
Шавенько Н.К.
Основы теории информации. Учебное пособие. – М,: Изд-во МИИГАиК, 2019. – 135
с.: ил.
ISBN 978-5-91188-027-9
Содержит краткие теоретические положения курса «Основы теории информации», а
именно: основы теории информации, основы передачи информации по каналам связи и
основы использования информационных моделей при анализе качества изображений.
Кроме этого пособие включает в себя лабораторный практикум, предназначенный
для закрепления теоретического материала и представленный в виде подробного описания
выполнения лабораторных работ. Для удобства пользования пособие содержит краткие
справочные сведения по теории вероятностей, которые крайне необходимы при
рассмотрении основных положений теории информации и теории передачи информации
по каналам связи.
Для студентов высших учебных заведений, обучающихся по направлению 09.03.02
«Информационные системы и технологии»
УДК 621.391.
ББК 22.19
© Н.К. Шавенько, 2019
© Издательство МИИГАиК, 2019
2
Введение
В настоящем учебном пособии рассматриваются основы теории информации,
основы теории передачи информации по каналам связи и примеры использования
информационных моделей для анализа качества изображений. Представленные разделы
теории информации служат теоретическим базисом для специализированных курсов,
связанных с автоматической обработкой информации и её передачи.
Содержание пособия соответствует программе курса «Теория информационных
процессов и систем» для студентов высших учебных заведений, обучающихся по
специальностям направления 09.03.02 «Информационные системы и технологии».
Пособие состоит из трёх теоретических глав, лабораторного практикума и
приложения. В первой главе содержатся общие сведения по основам теории информации,
вторая глава посвящена краткому изложению теории передачи информации по каналам
связи и в третьей главе приведены примеры использования информационных моделей для
оценки
качества
изображений
при
анализе
систем
автоматической
обработки
изображений и их основных узлов.
Изложение теоретических глав написано в предположении, что студенты знакомы с
основными понятиями из курса физики и высшей математики.
Лабораторный практикум включает в себя три лабораторные работы: две работы по
основам теории информации и лабораторную работу по определению информационных
характеристик оптических изображений и фотоизображений. Описание лабораторных
работ выполнено из расчета на то, что к моменту их выполнения студентами изучен
соответствующий теоретический материал, а также приобретены навыки работы на
персональном компьютере в программном продукте «MathСad». В конце каждой работы
приведены контрольные вопросы.
Приложение
содержит
краткий
справочный
материал
по
основам
теории
вероятностей, знание, которого необходимо при изучении основного теоретического
материала представленного в пособии.
При подготовке пособия использованы теоретические положения, отраженные в
научных статьях, в учебной литературе и монографиях.
3
Информация – это свойство организованной
материи, позволяющее уменьшить беспорядок.
Неизвестный мудрец.
Глава 1. Основы теории информации.
1.1. Информация. Общие понятия
Понятие информация в общем философском смысле достаточно сложно, так как этот
объект изучения качественно отличается от большинства других привычных объектов
исследования тем, что начисто лишён основных физических свойств. У него нет ни цвета,
ни запаха, он не имеет линейных размеров, веса и т.п. И даже законы сохранения,
характерные для большинства объектов материального мира, к нему не применимы.
Исходя из этого, можно сделать вывод, что информация нематериальна. Может быть, это
и послужило одной из причин гонений на кибернетику и теорию информации, как на
буржуазную лженауку, во время господства государственной идеологии основанной на
материализме в 40 -50 годы.
Термин «информация» происходит от латинского informatio – разъяснение,
изложение, осведомленность. Сначала под этим словом понимали «представление»,
«понятие», а затем «сведения», «передачу сообщений». Широкое использование этого
термина началось в XX веке в связи с бурным развитием всевозможных средств связи
(телефон, телеграф, радио), назначение которых заключалось в передаче сообщений. Их
использование и развитие выдвинули ряд проблем, таких как исследование и разработка
методов и средств связи, обеспечение надежности связи при наличии помех, выбор
оптимального способа кодирования сообщений в том или ином случае и т. д.
Насущная необходимость решения этих проблем с целью их практического
использования в различных средствах связи потребовала разработки специальной теории
передачи сообщений, иными словами, теории информации, включающей в себя как
математические теоретические основы, так и различные её приложения к техническим
дисциплинам.
Попытки
использования
понятия
информация
при
исследовании,
наблюдении, объяснении и описании самых разнообразных физических процессов,
объектов или явлений предпринимались с начала 1920-х годов, но вплоть до настоящего
времени не существует единого общепринятого определения этого понятия.
Известно достаточно много определений понятия информация, существенно
4
различающихся в зависимости от конкретной сферы деятельности, в применении к
которой даётся конкретное определение этого понятия. Часто эти определения сложны и
противоречивы. Такое положение, при котором существует множество различных
определений и отсутствует единое, общепринятое и точное, проистекает из того, что
информация, наряду с такими фундаментальными понятиями как материя и энергия в
физике или как множество или точка в математике, является первичным понятием и
поэтому, в строгом смысле, не может иметь четкого формализованного определения, т.е.
не может быть определено через более простые известные понятия или объекты, имеющие
четкие определения.
Действительно, исходя из практического опыта, интуитивно, можно представить
информацию как отражение реального мира, содержащего совокупность содержательных
сведений, заключенных в том, или ином объекте или явлении, и подлежащих хранению,
передаче, обработке и использованию в человеческой деятельности. Но с точки зрения
логики это определение бессмысленно, т. к. определяемое понятие (информация) здесь
подменяется другим понятием (совокупность сведений), которое само по себе нуждается в
определении. Такое определение не является полностью бесполезным, т. к. оно помогает
хотя бы смутно представить, о чем идет речь и кроме того в нем указаны действия, в
которых может участвовать информация: хранение, передача, обработка. Хранение
информации предполагает наличие материального носителя информации, передача
информации подразумевает наличие передатчика, приёмника и связи между ними, что
позволяет отображать состояние передатчика в состоянии приёмника, а обработка
информации проявляется в способности выполнения какого либо алгоритма, исходными
данными для которого является состояние носителя информации.
Исторически
сложилось
так,
что
определения
основных
фундаментальных
первичных понятий производят путём использования интуитивного подхода, определяя
понятие через совокупность присущих ему свойств.
Интуитивное определение понятия информации может быть получено исходя из
перечисления ее основных свойств, к которым можно отнести следующие свойства.
1. Информация приносит знания об окружающем мире, которых в рассматриваемой
точке пространства не было до ее получения.
2. Информация не материя, а свойство организованной материи. Информация такое
же неотъемлемое свойство материи как масса и энергия, однако, в отличие от них она не
подчиняется законам сохранения, подобным законам сохранения массы и энергии.
5
3. Одним из важнейших свойств информации, является ее неотделимость от
носителя. Поэтому хотя информация не материальна, она проявляется в материальноэнергетической форме в виде материальных носителей — символов и сигналов. Причем
символы — это реальные различимые получателем материальные объекты (буквы, цифры,
изображения), а сигналы — это динамические процессы, т.е. изменяющиеся во времени
или пространстве значения любой физической величины.
4. Информация может быть заключена как в самих символах, так и в их взаимном
расположении (например, символы Т, Р, С, О могут принести информацию: торс, сорт,
трос, рост и т.д.).
5. Символы и сигналы несут информацию только для получателя, способного их
распознать, т.е. поставить в соответствие принятым символам и сигналам объекты
реального мира и их отношения.
Исходя
из
вышеперечисленных
основных
свойств,
информацию
можно
рассматривать как сведения (знания), полученные в результате моделирования (описания)
реального мира или его исследуемой части, являющиеся объектом некоторых операций:
передачи,
распределения,
преобразования,
хранения
или
непосредственного
использования.
В общем, философском смысле, понятие информации можно рассматривать как
отраженное разнообразие, причём источником разнообразия является неоднородность
распределения материи и энергии в пространстве и во времени, а информация – это мера
неоднородности распределения материи и энергии в пространстве и во времени,
показатель изменений, которыми сопровождаются все происходящие в мире процессы.
Следовательно, информацию можно считать неотъемлемым свойством материи.
Дальнейшее изложение требует определения некоторых устоявшихся понятий и
терминов
теории
информации,
которых
необходимо
строго
придерживаться
в
дальнейшем.
Информация нематериальна, но содержится в материальных сообщениях, которые
генерируются материальными источниками сообщений.
Источник сообщений — любой процесс, объект или явление, который обладают
способностью изменять свое состояние во времени или в пространстве.
Символ источника сообщений - это любое мгновенное состояние источника
сообщений.
Сообщение — любая конечная последовательность символов.
Алфавит
источника
сообщений
—
все
множество
различных
символов,
генерируемых источником сообщений.
6
Объем
алфавита
источника
сообщений
—
число
различных
символов,
генерируемых источником сообщений.
Дискретный источник сообщений — источник сообщений, обладающий конечным
алфавитом.
Непрерывный
источник
сообщений
—
источник
сообщений,
обладающий
бесконечным алфавитом.
1.2.Измерение информации
Вопрос о возможности количественного измерения информации является одним из
основных, без его решения невозможно практическое применение теории информации.
Первые предложения об общих способах количественного измерения информации
были сделаны Р. Фишером (1921 г.) при решении задач математической статистики. Р.
Хартли (1928 г.) заложил основы теории информации, предложив количественную меру
информации применительно для некоторых частных задач. В дальнейшем вопросы
количественного измерения информации были разработаны и обобщены американским
инженером Клодом Шенноном в 1948 г. С этого времени началось интенсивное развитие
теории информации вообще и углубленное исследование вопроса об измерении ее
количества в частности.
Для практического использования понятия информации необходимо установить
саму возможность её измерения, а затем разработать методику ее измерения. Эта задача
может быть решена по аналогии с методикой численного измерения иных первичных
фундаментальных понятий, таких как материя (масса), энергия или пространство. Для
этого
требуется
установить
возможность
её
измерения
путем
выбора
меры
количественной оценки информации и определить единицу измерения этой меры. Под
мерой количественной оценки понимают некоторое явление или объект, которые
однозначно (пропорционально) связаны с определяемым первичным понятием и которые
могут характеризовать количественное содержание этого понятия.
Таблица 1.1 иллюстрирует общепринятую методику измерения первичных понятий,
таких как масса, пространство и т. п.
Таблица 1.1
Первичное
понятие.
Материя.
Мера количественной
оценки первичного понятия.
Вес.
Единицы измерения
меры количественной оценки.
Грамм, тонна и т.д.
7
Пространство.
Расстояние.
Информация
Метр, километр и т.д.
?
?
Очевидно, что объективный подход к определению меры количественной оценки
информации,
содержащейся
в
сообщении,
вынуждают
использовать
чисто
математические средства и методы. По своей природе, эти методы требуют полного
отвлечения от смыслового содержания сообщения, от его эмоционального воздействия,
полезности и даже от его отношения к реальной действительности, так как математика
оперирует только с количественными соотношениями, не вдаваясь в физическую природу
тех объектов, за которыми стоят эти соотношения. Например, если находится сумма двух
чисел a и b, то она в равной мере будет справедлива для любых объектов, определяемых
этими числами. Если отсутствует смысловое содержание сообщений, то отличительной
характеристикой какого-либо конкретного сообщения, принадлежащего некоторому
множеству отличных друг от друга сообщений, может быть только некоторая его
информационная характеристика, которая будет определяться лишь степенью его
неопределённости и которая характеризуется наличием выбора одной конкретной
возможности из некоторого их числа.
Понятие неопределенности неотъемлемо от понятия вероятности. Уменьшение
неопределенности всегда связано с выбором (отбором) одного или нескольких элементов
(альтернатив) из некоторого их множества. Взаимная обратимость понятий вероятности и
неопределенности послужила основой для использования понятия вероятности при
измерении степени неопределенности в теории информации. Очевидно что, чем меньше
вероятность какого-либо события, тем большую неопределенность снимает сообщение о
его появлении и, следовательно, тем большее количество информации оно несет.
Традиционно сложилось три основных подхода к выбору меры количественной
оценки информации.
1.
Структурный подход, при котором количественная оценка информации о
событии оценивается путем определения объективной возможности этого события,
входящего в некоторую полную группу событий.
2.
Статистический подход, при котором количественная оценка информации
о принятом сообщении производится на основе меры неопределенности, снимаемой с
исследуемого информационного процесса (события) при получении данного сообщения.
3.
Семантический
подход,
который
в
основном
учитывает
ценность
полученной информации с точки зрения конкретного получателя этой информации.
8
В гуманитарных науках семантика изучает знаковые системы как средства
выражения смысла, определенного содержания, т.е. правила интерпретации знаков и их
сочетаний, смысловую сторону языка.
Применительно к точным и техническим наукам для определения меры
количественной оценки информации можно использовать структурный и статистический
подходы, а семантический подход мало приемлем, так как он сугубо субъективен и не
может дать общепринятой объективной количественной меры оценки информации, хотя
этот подход и может быть использован в сфере гуманитарных и общественных наук.
Выбор критерия для количественной оценки информации, независимо от
выбранного подхода, должен удовлетворять очевидным условиям, вытекающим из
практического опыта:
—
сообщению большей длины (при одном и том же объеме алфавита)
соответствует большее количество информации;
—
большее количество информации содержится в тех сообщениях (одинаковой
длины), которые составлены из символов большего алфавита;
—
символы в сообщении могут появляться с различными вероятностями и
могут быть статистически зависимыми.
Учитывая это, меру количественной оценки информации можно ввести исходя из
следующих соображений. Предположим, что какое-то событие имеет m равновероятных
исходов, например, появление какого-либо символа из алфавита, содержащего m таких
символов. Измерить количество информации, содержащееся в сообщении из n таких
символов можно, определив число N всех возможных сообщений, которые могут быть
составлены из символов этого алфавита. Если сообщение формируется из одного символа,
то N=m, если из двух, то N m m m2 , если из n символов, то N m n . Если для
получателя все N сообщений от источника сообщений являются равновероятными, то
получение конкретного сообщения равносильно для него случайному выбору одного из N
сообщений с вероятностью 1/N. Очевидно, что чем больше значение N тем большая
степень неопределенности характеризует этот выбор и тем более информативным можно
считать такое сообщение.
Поэтому число N могло бы служить мерой количественной оценки информации.
Такую
меру
количественной
оценки
информации
можно
понимать
как
меру
неопределенности получения конкретного заданного сообщения, состоящего из n
символов алфавита объёмом m из некоторого числа возможных.
Однако эта мера количественной оценки информации не совсем удобна.
Действительно, при m 1 (т.е. алфавит состоит из одного символа) неопределенности не
существует и появление этого символа не несет никакой информации, однако значение N
в этом случае (N=1n) не обращается в нуль. Кроме этого, из практических соображений,
9
целесообразно считать, что количество информации, полученное от двух независимых
источников сообщений, равно сумме количеств информации, получаемых от каждого
источника (свойство аддитивности), а предлагаемая мера количественной оценки
информации дает в этом случае равна произведению:
N m n1 n2 m n1 m n2 N1 N 2 ,
где N1 , N 2 — число возможных сообщений от двух источников сообщений.
И, наконец, желательно, чтобы мера количественной оценки информации была
пропорциональна длине сообщения. Очевидно, что при передаче и оплате сообщения
(например, телеграммы), важно не ее содержание, а только общее число символов
(знаков).
Эти неудобства легко преодолимы, если (как предложил Р.Хартли) в качестве меры
количественной оценки информации ( I ) взять логарифм по какому-либо основанию (a)
от общего числа возможных сообщений N
I log a N ,
(1.1)
или логарифм вероятности появления конкретного сообщения (Р)
I log a N log a
1
log a P,
P
(1.2)
при условии, что все сообщения равновероятны, т.е.
Р
1
.
N
Определенная по формулам (1.1) и (1.2) мера количественной оценки информации
(I) называется количеством информации. Важно отметить, что это понятие (количество
информации) не затрагивает смысла и важности передаваемого сообщения, а связано
лишь со степенью его неопределенности.
Количество информации как мера количественной оценки информации может быть
вписана в соответствующую графу таблицы 1.1.
В случае если сообщения не равновероятны, мера неопределенности будет зависеть
не только от общего числа возможных сообщений, но и от распределения вероятности
между возможными сообщениями.
В общем случае, при наличии шумов, понятие количества информации может быть
определено из следующих соображений.
Если поступило сообщение о событии, априорная вероятность, которого равна Р1
Р1 характеризует состояние системы до получения сообщения, т.е. до опыта), а после
приема сообщения апостериорная вероятность этого события стала для получателя Р 2 (
Р 2 характеризует состояние системы после получения сообщения), то прирост количества
10
информации (I), связанный с приемом сообщения о событии, определяется выражением
I log a
P2
.
P1
(1.3)
Это выражение часто называют основным соотношением теории информации.
В частном случае, когда шумы при передаче и приеме сообщения отсутствуют,
событие после приема сообщения о нем становится достоверным, т.е. P2 1 и выражение
(1.3) принимает вид:
I log a P1 .
(1.4)
Таким образом, количество информации, содержащееся в сообщении, зависит от
вероятности этого события до приема сообщения ( Р1 ) , и чем меньше эта вероятность, т.е.
чем больше неопределенность исхода, тем больше количество информации о нем
получается в результате приема сообщения. Поскольку Р 1, то определяемое формулой
(1.4) количество информации всегда положительно. Следовательно, приём какого-либо
сообщения может осуществить прирост количества информации, но никоим образом не
может уменьшить уже имеющегося у получателя количества информации.
Полученные формулы позволяют при некоторых условиях найти количество
информации содержащееся в сообщении и определить соотношения между количествами
информации. Однако для практических целей необходимо задаться единицей измерения
меры количественной оценки информации, т.е. единицей количества информации.
Единицы измерения количества информации могут быть определены выбором
основания логарифмов в выражениях (1.1) - (1.4).
В принципе безразлично, какое основание логарифма использовать для определения
количества информации, т. к. в силу известного соотношения переход от одного
основания логарифма к другому не представляет сложности и сводится лишь к изменению
единицы измерения количества информации.
Выбор наиболее рационального значения основания логарифмов может быть сделан
на основании следующих заключений. Действительно, если мы полагаем, что информация
– это устраненная неопределенность, то в простейшем случае неопределенности выбор
будет производиться между двумя взаимоисключающими друг друга равновероятными
сообщениями, например между двумя качественными признаками: положительным и
отрицательным импульсами, импульсом и паузой и т.п. Количество информации,
полученное в этом простейшем случае, наиболее удобно принять за единицу количества
информации. Именно такое количество информации может быть получено, если
применить формулу (1.4) и взять логарифм по основанию 2. Тогда
11
I log 2 P log 2
1
log 2 2 1.
2
Выбранная таким образом единица количества информации характеризует выбор из
двух равновероятных событий. Она является оптимальной и для современной
информационной техники, которая базируется на электронных элементах, имеющих два
устойчивых состояния («0» и «1»).
Эта единица количества информации получила название двоичной единицы, или
бита (bit от английского binary digit, - двоичное число). Бит является не только единицей
количества информации, но и единицей измерения степени неопределенности. При этом
имеется в виду неопределенность, которая содержится в одном опыте, имеющем два
равновероятных исхода.
Таким образом, один бит это количество информации, получаемое при приеме
одного из двух равновероятных символов сообщения. Этим же количеством информации
обладает один двоичный электронный элемент при равновероятных состояниях «0» и «1».
Следовательно, двоичное сообщение длинной n символов содержит n бит информации.
Единица количества информации, равная 8 битам, называется байтом.
Иногда используют логарифмы по основанию 10, в этом случае единица количества
информации носит название дит (причем 1 дит = log 2 10 = 3,32 бит), а если используются
натуральные логарифмы (по основанию е) – то единица количества информации носит
название нат.
Использование выше указанных формул(1.3, 1.4) часто бывает затруднено, поэтому
на их основе получают иные выражения для определения количества информации,
которые более просты и практичны, однако применимы лишь к конкретным видам
сообщений.
1.3.Структурное (комбинаторное) определение количества информации (по
Хартли).
Данное выражение для определения количества информации применимо лишь к
дискретным сообщениям, причем таким, у которых входящие в них символы
равновероятны и взаимно независимы. Количество информации, содержащееся в такого
рода сообщениях определяют из следующих соображений.
Пусть дан источник дискретных сообщений A (a1 , a 2 ,..., a m ) , объем алфавита
которого равен m. Предположим, что каждое сообщение включает в себя n символов, при
12
этом сообщения различаются либо набором символов, либо их размещением. Число
различных сообщений N 0 , состоящих из n символов алфавита m, будет N 0 m n .
Предположим, что все сообщения равновероятны и одинакова ценность этих сообщений.
Тогда легко подсчитать количество информации, которое несет каждое сообщение.
Вероятность появления каждого такого сообщения ( Pn ) может быть легко найдена:
Pn
1
m n .
N0
И, следовательно, количество информации в одном сообщении ( I n ) , в соответствии
с (1.4), равно:
I n log 2 m n n log 2 m (бит).
(1.5)
Эту формулу предложил американский учёный Р.Хартли в 1928 г., и она носит его
имя. Разделив I n на количество символов в сообщении (n), получим значение среднего
количества информации ( I 1 ) , приходящееся на один символ сообщения, называемое
энтропией:
I 1 log 2 m log 2 Pm (бит / символ),
(1.6)
где Pm - вероятность появления одного символа сообщения.
Из соотношений (1.5) и (1.6) вытекают важные свойства дискретных сообщений,
символы которых равновероятны и взаимно независимы.
1.
Количество информации содержащееся в сообщении пропорционально
полному числу символов в нем – n и логарифму объема алфавита - m.
2.
Среднее количество информации, приходящееся на один символ, зависит
только от m – объема алфавита.
Из практического опыта известно что на количество информации, содержащегося в
сообщении, влияет фактор неожиданности его для получателя, который зависит от
вероятности получения того или иного сообщения. Чем меньше эта вероятность, тем
сообщение более неожиданно и, следовательно, более информативно. Сообщение,
вероятность которого высока и, соответственно, низка степень неожиданности, несет
немного информации. При структурном определение количества информации (по Хартли)
полностью исключается фактор «неожиданности». Поэтому формула Хартли позволяет
определить количество информации в сообщении только для случая, когда появление
символов этого сообщения равновероятно и они статистически независимы. На практике
эти условия выполняются редко. Поэтому при определении количества информации
необходимо учитывать не только общее количество различных сообщений, которые
13
можно получить от источника сообщений, но и вероятность получения конкретного
сообщения.
В реальных дискретных сообщениях их символы чаще всего появляются с
различными вероятностями и, более того, часто существуют статистическая связь между
отдельными символами, характеризующаяся условной вероятностью P(ai / a j ) , которая
равна вероятности появления символа a i после символа a j . Например, в тексте на
русском языке вероятность появления отдельных символов (букв) различна. В среднем, в
тексте из 1000 букв буква О появляется 110 раз, Е – 87, А – 75, Т – 65, Н – 65, С – 55,
кроме того, существуют статистические связи между буквами, например, после гласных
букв не может появиться Ь или Ъ. Исходя из этого, применение формул вычисления
количества информации по Хартли (1.5) и (1.6) не всегда корректно.
1.4.Статистическое определение количества информации (по Шеннону).
Этот подход к определению количества информации в сообщениях, учитывающий
не равновероятное появление символов сообщения и их статистическую связь, был
предложен К. Шенноном в 1946 г.
Рассмотрение этого метода удобно начать с определения количества информации в
дискретных сообщениях, символы которых появляются не равновероятно, однако
статистическая связь между символами отсутствует.
Пусть, как и ранее, дан источник дискретных сообщений A (a1 , a 2 ,... a m ) с объемом
алфавита равным m, который генерирует сообщение, состоящее из n символов. Допустим,
(исходя из статистического анализа), что в этом сообщении символ a 1 встречается n1 раз,
символ a 2 n 2 раз и так далее вплоть до символа a m , который встречается
n m раз,
причем очевидно, что
n1 n 2 ... n m n
При приеме одного символа a 1 , как следует из (1.4), получаем количество
информации I a01 :
I a01 log 2 Pa1 ,
где Pa1 - априорная вероятность появления символа a 1 .
А количество информации I a1 , содержащееся в n1 взаимно независимых символах
a 1 , будет равно:
14
I a1 n1 log 2 Pa1 .
Аналогично, в n 2 символах a 2 содержится количество информации I a 2 :
I a 2 n2 log 2 Pa 2 ,
и так далее вплоть до
I am nm log 2 Pam .
Очевидно, что полное количество информации (In), содержащееся в сообщении из n
символов, равно сумме количеств информации содержащихся во всех m символах
алфавита.
m
I n I a1 I a 2 ... I am (n1 log 2 Pa1 n2 log 2 Pa 2 ... nm log 2 Pam ) ni log 2 Pai (бит)
i 1
Разделив и умножив это выражение на n (n ≠ 0), приведем это выражение к виду:
ni
log 2 Pai (бит)
i 1 n
m
I n n
Ясно, что при достаточно большом n отношение
ni
– это априорная вероятность
n
появления i-го символа. Таким образом, при достаточно большом n, имеем:
ni
Pai ,
n
m
причем Pai 1 , как сумма вероятностей полной группы случайных событий.
i 1
Окончательно получим:
m
I n n Pai log 2 Pai (бит)
(1.7)
i 1
При этом среднее количество информации, приходящееся на один символ (Н), будет
равно:
Н
m
In
Pai log 2 Pai
n
i 1
бит
.
символ
(1.8)
Определенная таким образом величина Н называется энтропией, а формула (1.8)
известна как формула Шеннона для энтропии источника дискретных сообщений.
Энтропия определяет среднее количество информации, приходящееся на один символ
дискретного сообщения.
В последнее время в околонаучных кругах формула Шеннона стала не менее
популярной, чем знаменитая формула Эйнштейна Е = mc2.
Из (1.6) следует, что при равновероятном появлении символов алфавита энтропия
определяется
исключительно
объёмом
алфавита
(m)
и
по
существу является
характеристикой только алфавита.
15
Если же появление символов алфавита неравновероятно, то алфавит источника
сообщений можно рассматривать как дискретную случайную величину, заданную
статистическим законом распределения (Таблица 1.2.), где xi – i-й символ алфавита, а
P(xi) – вероятность его появления.
Таблица 1.2.
xi
P(xi)
x1
P(x1)
x2
P(x2)
...
xm
P(xm)
...
Такие распределения получают обычно на основе статистического анализа
конкретных типов сообщений (например, русских или английских текстов и т.п.).
Поэтому,
если
символы
алфавита
неравновероятны,
энтропия
отражает
статистические свойства некоторой совокупности сообщений, хотя формально в
выражение для энтропии входят только характеристики алфавита (вероятности появления
его символов).
Величину hai log 2 Pai , входящую в выражение для энтропии (1.8), можно
рассматривать как частную энтропию, характеризующую «информативность» символа ai,
а саму энтропию (H) - как среднее значение всех частных энтропий символов, входящих в
алфавит источника сообщений.
Функция
энтропию H.
H ai Pai log 2 Pai Pai hai
отражает вклад символа ai в полную
График её представлен на Рис.1.1, из которого видно, что она имеет
экстремум.
Для определения координат максимума
0.8
этой функции
0.6
нужно найти производную и
приравнять ее к нулю. В результате простых
преобразований получаем Pai e 1,
Hai( Pai) 0.4
где
e
основание
натуральных
логарифмов.
0.2
Таким образом, координаты максимума
0
0
0.2
0.4
0.6
0.8
1 функции H ai - (0,37; 0,531).
Pai
Рис. 1.1. График функции H ai .
Предложенная информационная мера (H) была названа энтропией не случайно. Дело
в том, что формальная структура выражения (1.8) совпадает со структурой для выражения
энтропии физической системы, используемой в молекулярной физике (формула
16
Больцмана).
Согласно
второму закону термодинамики
энтропия
H
замкнутого
пространства определяется выражением:
Н
1 N
m
mi ln i ,
M n i 1
Mn
где M n — число молекул в данном пространстве;
mi — число молекул, обладающих скоростью vi v .
Так как отношение
mi
Pi , то есть вероятность того, что молекула имеет скорость
Mn
vi v , то это выражение можно записать в виде:
N
Н Pi ln Pi .
i 1
Формальное
совпадение
выражений
для
информационной
энтропии
и
термодинамической энтропии физической системы имеет глубокий физический смысл,
так как в обоих случаях величина H характеризует степень разнообразия состояний
системы, т. е неопределённость её конкретного состояния.
Понятие физической энтропии применяется для физических систем, стремящихся к
термодинамическому равновесию, т.е. к максимальному беспорядку в движении ее
составляющих, к увеличению энтропии. А понятие информационной энтропии применимо
к системам, которые не увеличивают энтропию, а наоборот, находясь в состоянии с
небольшими значениями энтропии, стремятся к ее дальнейшему уменьшению.
Действительно, физическая энтропия характеризует степень неупорядоченности
статистических
параметров
движения
молекул.
Энтропия
максимальна
при
равновероятном распределении параметров движения молекул (направлении, скорости и
пространственном положении). Значение энтропии уменьшается, если движение молекул
упорядочить. По мере увеличения упорядоченности движения энтропия стремится к нулю
(например, когда возможно только одно значение и направление скорости).
Информационная энтропия характеризует степень неупорядоченности символов
генерируемого сообщения. Сообщение с максимальной энтропией – это сообщение с
равновероятным распределением всех символов алфавита, т.е. с их бессмысленным
чередованием. Если при генерировании сообщения учтена реальная вероятность
появления символов, то в получаемых таким образом сообщениях будет наблюдаться
определенная упорядоченность символов, регламентируемая частотой их появления. При
учете условных вероятностей появления символов сообщение становится ещё более
17
упорядоченным. Причиной такой упорядоченности в данном случае является информация
о статистических закономерностях появления символов сообщений.
Таким образом, от сообщения к сообщению увеличиваются упорядоченность и
информация, которой мы располагаем о сообщении, а энтропия (мера неупорядоченности)
уменьшается. Различие формул количества информации Шеннона и энтропии Больцмана,
позволяет характеризовать информационную энтропию как отрицательную физическую
энтропию. Так как физическая энтропия является мерой неупорядоченности, то
информация может быть определена как мера упорядоченности материальных систем.
В общем случае, необходимо учитывать не только различную вероятность,
появления символов в сообщении, но и их возможную статистическую зависимость.
Статистическая зависимость может быть выражена условной вероятностью появления
одного символа после другого.
Для учёта статистических связей между символами, входящими в сообщение,
формулу Шеннона преобразуют к виду, который носит название формула Шеннона с
условными вероятностями:
m
m
a
a
H k Pai P j log 2 P j
a
a
i
i
i 1
j 1
где P a j
бит
,
символ
(1.9)
– условная вероятность появления символа a после символа a .
i
j
ai
Количество информации I k , содержащееся в такого рода сообщении длиной n символов,
равно:
m
m
a
a
I k n H k n Pai P j log 2 P j
ai
ai
i 1
j 1
(бит)
(1.10)
1.5.Свойства функции энтропии источника дискретных сообщений.
Свойства функции энтропии можно наглядно продемонстрировать на примере
простейших бинарных сообщений, генерируемых источником дискретных сообщений с
алфавитом A=(a1, a2), и соответственно с объем алфавита m равеным 2, т.е. m=2. В этом
случае справедливо равенство Pa1 Pa 2 1 , и выражение (1.8) может быть записано в
виде:
H Pa1 log 2 Pa1 Pa 2 log 2 Pa 2 Pa1 log 2 Pa1 1 Pa1 log 2 1 Pa1 (бит/символ).
График этой функции имеет вид, представленный на рис. 1.2.
18
Рис.1.2. График функции энтропии (H).
А на рис 1.3 представлен как график функции энтропии (Н) двоичных сообщений (1)
так и графики ее составляющих ( Pa1 log 2 Pa1 ) и (1 Pa1 log 2 1 Pa1 ) , (2 и 3
соответственно).
Рис. 1.3. График энтропии (Н) двоичных сообщений и ее составляющих.
Из графика (1.2) видно, что обращение вероятности появления одного из возможных
символов в 0 или 1 вносит полную определенность, энтропия обращается в 0 и сообщение
о приёме такого символа не содержит в себе никакой информации. Следовательно,
энтропия равна нулю, если сообщение известно заранее.
При Pa1 Pa 2 0,5 получение конкретного символа наиболее неопределено и
количество информации, содержащееся в поступившем символе, максимально.
Анализ формулы (1.8) и графика (Рис. 1.2) позволяет сформулировать основные
свойства функции энтропии.
1.
Энтропия источника дискретных сообщений есть величина вещественная,
положительная и ограниченная, так как для любого i (1 i N ) Pai изменяется в
интервале от 0 до 1, log Pai отрицателен и, следовательно, произведение ( Pai log Pai )
положительно. Энтропия — величина ограниченная. Действительно для слагаемых ( Pai
19
log Pai ) в диапазоне 0< Pai 1 ограниченность очевидна. Необходимо только определить
предел, к которому стремится произведение ( Pai log Pai ), при Pai —>0, поскольку
сомножитель log Pai при этом неограниченно возрастает:
log 2 (1/ Pai )
,
Pai 0
1/ Pai
lim ( Pai log 2 Pai ) lim
Pai 0
Сделав замену 1 / Pai и воспользовавшись правилом Лопиталя, получим:
1
( ) log 2 e
log 2 (1 / Pai )
log 2
lim
lim
Pai 0
1 / Pai
1
lim ( Pai log 2 Pai ) lim
Pai 0
2.
0
Энтропия равна 0, если с вероятностью, равной единице, всегда выбирается
один и тот же символ, тогда вероятности появления всех остальных символов,
соответственно, равны нулю. Это равносильно случаю, когда состояние источника
сообщений полностью определено.
3.
Энтропия максимальна ( H m ax log 2 m ), если все состояния источника
сообщений равновероятны и, следовательно, все символы источника сообщений
генерируются независимо и равновероятно.
4.
Функция
энтропии
непрерывна,
что
непосредственно
вытекает
из
непрерывности функций, входящих в её определение ( Pai и log Pai ).
5.
Энтропия
характеризует
среднюю
неопределенность
выбора
одного
состояния из множества (одного символа из алфавита). При ее определении используют
только вероятности состояний, полностью игнорируя их содержательную сторону,
поэтому энтропия не может служить средством решения задач, определяемых
неопределенностью, связанной с содержательной или смысловой составляющей.
Например, при использовании этой меры для оценки неопределенности действия
лекарства, приводящего к полному выздоровлению больных в 90 % случаев и ухудшению
самочувствия в остальных 10 % случаев, её значение будет таким же, как и у лекарства,
вызывающего в 90 % случаев ухудшения самочувствия, а в 10 % — выздоровление
больных.
6.
Как следует из определения(1.8), значение энтропии не зависит от
конкретных значений символов входящих в алфавит источника сообщений, а зависит
только от вероятности их появления. Действительно, сравнение двух источников
дискретных сообщений X и Y, у которых значения символов (xi и yi) различны, а объёмы
алфавитов и законы распределения символов одинаковы (Таблица 1.3), показывает, что
20
значение энтропии этих источников одинаково:
Н(Х) = Н(Y) = log24 = 2(бит/).
Таблица 1.3
хi
0.5
1.0
0.9
0.3
yi
5
10
9
3
P(xi)
0.25
0.25
0.25
0.25
P(yi)
0.25
0.25
0.25
0.25
Таким образом, как следует из свойства 3, количество информации, определяемое
по Хартли, т.е. при допущении полной независимости и равной вероятности появления
отдельных символов сообщения, определяет максимально возможное количество
информации в сообщении заданной длины (n).
Следует отметить, что рассмотренные свойства функции энтропии справедливы и
для источников сообщений, объём алфавита которых больше 2 (m > 2).
При неравной вероятности появления символов (формула Шеннона) количество
информации, содержащееся в сообщении заданной длины (n), снижается. Ещё одним
фактором, снижающим энтропию, а, следовательно, и количество информации в
сообщении заданной длины (n), является наличие статистической зависимости между
символами – корреляции. О снижении значения энтропии реальных сообщений,
вызванном неравновероятным появлением символов в сообщении и их статистической
зависимостью, может служить такой пример.
В Таблице 1.4 приведены реальные вероятности появления символов (букв),
вычисленные
путём
статистического
анализа
достаточно
длинного
дискретного
сообщения в виде текста на русском языке.
Таблица 1.4
Буква
Вероятность
Буква Вероятность
Буква
Вероятность
Буква
Вероятность
а
0,064
й
0,010
т
0,056
ы
0,016
б
0,015
к
0,029
у
0,021
э
0,003
в
0,039
л
0,036
ф
0,02
ю
0,007
г
0,014
м
0,026
х
0,09
я
0,019
д
0,026
н
0,056
ц
0,04
пробел
0,143
е
0,074
о
0,096
ч
0,013
ж
0,008
п
0,024
ш
0,006
21
з
0,015
р
0,041
ш
0,003
и
0,064
с
0,047
ъ, ь
0,015
Энтропия текста на русском языке (объём алфавита принят равным 32), при
предположении равновероятного появления символов (букв), равна 5 бит/символ, с
учетом же фактически неравной вероятного появления различных букв алфавита (Таблица
1.4) реальная энтропия равна 4,43 бит/символ, а с учетом корреляционной зависимости
двухбуквенных сочетаний энтропия уменьшается до 3,52 бит/символ
Интересно отметить, что сравнение выражений (1.5), (1.7) и (1.10) показывает, что
формула
Хартли
является
частным
случаем
формулы
Шеннона
при
условии
независимости и равной вероятности появления символов в сообщении, а формула
Шеннона, в свою очередь, является частным случаем формулы для подсчета энтропии с
условными
вероятностями
при
условии,
что
символы
сообщения
независимы.
Действительно, из (1.10) следует, что количество информации I k ,содержащееся в
сообщении, состоящем из n неравновероятных и взаимно зависимых символов
определяется выражением:
m
m
a
a
I k n Pai P j log 2 P j .
a
i
ai
i 1
j 1
a
Если символы сообщения взаимно независимы, то P j P(a j ) и P(a j ) 1 ,
ai
j 1
m
следовательно, это выражение преобразуется к виду:
m
m
m
a
a
I k n Pai P j log 2 P j = n P(a j ) log 2 P(a j ) I n
ai
ai
j 1
i 1
j 1
Последнее выражение соответствует формуле Шеннона.
В случае равновероятного появления символов сообщения
P(a j )
1
, при j= 1,
m
2,…, m. (m – объём алфавита) выше приведённое выражение для формулы Шеннона после
соответствующего преобразования примет вид:
m
m
1
1
1
log 2 n log 2 n log 2 m ,
m
m
j 1 m
I n n P(a j ) log 2 P(a j ) n
j 1
который соответствует формуле Хартли.
22
Из-за корреляционных связей между символами и неравновероятного их появления
количество информации в реальных сообщениях падает. Количественно эти потери
информации характеризуются коэффициентом избыточности (R)
R
H max H
H
H
1
1
,
H max
H max
log 2 m
(1.11)
где H m ax — максимальное количество информации, которое может содержать один
символ сообщения, определяемое по формуле (1.6);
Н — среднее количество информации, которое переносит один символ в реальных
сообщениях;
m
—
число различных символов в алфавите источника сообщений (объём
алфавита).
Избыточность R 0 говорит о том, что число символов в сообщении больше, чем
это требовалось бы при полном их использовании, т.е. при условии, что символы
появляются равновероятно и взаимно независимо.
Обычно рассматривают три вида избыточности:
- частную избыточность, обусловленную корреляционной зависимостью символов;
- частную избыточность, зависящую от закона распределения символов;
- полную избыточность, зависящую от первых двух видов избыточности.
Интересно отметить, что, в следствие неравновероятности появления, зависимости
между сочетаниями, содержащими две и больше букв, а также смысловой зависимости
между словами, избыточность текста на русском языке (как и текстов на других
европейских языках) превышает 0.5 (50%). Интуитивно, избыточность письменных
сообщений была отмечена ещё в древности, поэтому, например, в текстах на
старославянских языках гласные буквы вообще не писали. Это позволяло сократить длину
сообщений и тем самым экономить дорогой пергамент.
1.6 Информационная емкость дискретного сообщения
При описании информационных процессов часто пользуются следующими
информационными характеристиками.
Производительность источника сообщений (P) — среднее количество информации,
генерируемое источником сообщения в единицу времени
23
PI
t
где I — количество информации, генерируемое источником собщений;
t – время генерирования источником сообщений этого количества информации.
Единицей измерения производительности источника сообщений является бот:
1бот
бит
.
сек.
Информационная емкость сообщения (R) — это среднее количество информации,
содержащееся в данном, конкретном сообщении единичной длительности:
RI ,
t
где I — количество информации, содержащееся в сообщении;
t – длительность сообщения.
Скорость создания (генерации) информации (Q) — это среднее количество
информации, генерируемое источником сообщений за единицу времени:
Q W H,
где W – скорость передачи символов (символ /сек);
H–среднее количество информации приходящееся на один символ (бит /символ).
Единицей измерения скорости генерации информации и информационной емкости
сообщения служит бот.
В качестве примера можно привести определение информационной емкости
простейшего дискретного сообщения длительностью Т, состоящего из совокупности
импульсов и пауз, причем длительность импульсов и пауз одинакова, а амплитуда
импульсов постоянна, т.е. сообщение строится на использовании лишь двух символов
(объём алфавита равен 2).
Очевидно, если избыточность отсутствует, то на каждый символ такого сообщения
приходится одна двоичная единица информации (1 бит), а на все сообщение, состоящее из
n символов, приходится n бит информации.
Пусть длительность импульса и паузы одинакова и равна t и , тогда длительность
всего сообщения (T) будет равна
T n tи .
Из радиотехники известно, что импульсу с длительностью t и соответствует
определенная полоса частот Δw причем
Δw k
1
,
tи
(1.12)
24
где k — коэффициент, зависящий от формы импульса k 1 .
Следовательно, количество информации в рассматриваемом двоичном сообщении
длительностью Т не может превышать предельного значения I пр
I пр n log 2 2 n
T
.
tи
И с учетом формулы (1.12) имеем:
I пр =T·Δw (бит).
Разделив I пр на Т, получим предельную информационную ёмкость сообщения (R)
R Δw (бот).
Tаким образом, информационная емкость двоичного дискретного сообщения
выраженная в ботах численно равна полосе частот сигнала, с помощью которого
передаются символы сообщения, выраженной в герцах.
Рассмотрим дискретное сообщение состоящее из последовательности импульсов
длительностью t и , причем паузы между импульсами отсутствуют, а амплитуда каждого
импульса соответствует одному из L заранее установленных дискретных уровней. Можно
считать, что алфавит такого источника сообщений состоит из L равновероятных и
независимых символов Количество информации в сообщении, состоящем из n таких
символов (длительностью Т), не может превышать предельного значения ( I пр ),
определяемого по формуле Хартли
I пр n log 2 L
T
log 2 L T Δw log 2 L (бит).
tи
А информационная емкость такого сообщения (сигнала) (R) равна:
R
I пр
Т
Δw log 2 L
Следует отметить, что полученные выражения имеют смысл только тогда, когда
разность между двумя соседними символами значительно превышает уровень помехи и
когда отсутствует избыточность. В противном случае, а также в случае, когда символы,
формирующие сообщение имеют различную длительность, вычисление информационной
емкости сообщения является более сложной задачей.
1.7. Энтропия объединенных источников сообщения.
До сих пор рассматривались различные отдельные источники сообщений,
генерирующие сообщения, состоящие либо из независимых символов, либо из символов,
25
вероятность появления которых определяются не только их собственными вероятностями
появления, но и зависимостью от появившихся предыдущих символов. Однако на
практике часто встречаются информационные системы, включающие в себя несколько
объединённых источников сообщений, в которых сообщение формируется на основе
символов, одновременно генерируемыми несколькими источниками сообщений.
Примерами таких информационных систем могут служить системы дистанционного
зондирования, когда сообщения (информация) об одной и той же территории
осуществляется различными, отдельными съемочными системами, например, при
многозональной или многоспектральной съёмке.
Энтропию объединенных источников сообщения можно рассмотреть на примере
простейшего объединения, включающего только два источника дискретных сообщений U
и V с алфавитами {U} и {V} и объемами алфавита m и n соответственно.
Объединение этих источников сообщений состоит в том, что сообщение об
исследуемом объекте содержится в сообщении, формируемом за счет одновременного
поступления двух сообщений, формируемых из символов алфавита {U} и алфавита {V}.
Такой обобщенный источник сообщений (U, V), можно характеризовать двумерными
вероятностями P(ui , v j ) совместного появления всех возможных комбинаций символов u i ,
источника сообщений U и символов v j источника сообщений V.
Так как поступление символов отдельных источников сообщений носит случайный
характер, то процесс объединения можно характеризовать двумерным законом
распределения, который может быть представлен в виде матрицы двумерных
(совместных) вероятностей P(U,V):
P(u1 , v1 )
P(u , v )
2 1
P(U ,V )
...
P(um , v1 )
P(u1 , v2 )
P(u2 , v2 )
...
P(um , v2 )
...
...
...
...
P(u1 , vn )
P(u2 , vn )
,
...
P(um , vn )
(1.13)
где Pui , v j – вероятность одновременного (совместного) появления пары символов
u i U и v j V ;
i = 1, 2…m - номер строки матрицы P(U , V ) ;
j = 1, 2…n - номер столбца матрицы P(U , V ) .
26
Очевидно, что сумма всех вероятностей одновременного (совместного) появления
пары символов равна 1, как сумма вероятностей появления событий, составляющих
полную группу событий т.е.
m
n
P(u , v ) 1
i 1 j 1
i
j
Двумерные вероятности совместного появления пары символов P(ui , v j ) можно
рассматривать как вероятность произведения двух случайных событий и, следовательно,
её можно выразить через произведение вероятности одного из этих случайных событий на
условную вероятность другого при наличии первого. В соответствии с тем, появление
символа какого источника сообщения считать первым, а какого — вторым, вероятность
совместного появления пары символов описывается выражением:
Pui , v j Pui Pv j / ui Pv j Pui / v j ,
(1.14)
где: P ui — вероятность появления символа u i источника U;
Pv j — вероятность появления символа v j источника V;
Pui / v j — вероятность появления символа u i источника U при условии, что уже
реализовался символ v j источника V;
Pv j / ui — вероятность появления символа v j источника V при условии, что уже
реализовался символ u i источника U.
Если считать источник U за причину, а источник V - за следствие, то матрица
двумерного распределения символов P(U,V) будет приведена к виду:
P(u1 ) P(v1 / u1 )
P(u ) P(v / u )
2
1
2
P(U ,V )
...
P(um ) P(v1 / um )
P(u1 ) P(v1 / u1 )
P(u ) P(v / u )
2
1
2
=
... ...
P(um ) P(v1 / um )
P(u1 ) P(v2 / u1 )
P(u2 ) P(v2 / u2 )
...
P(um ) P(v2 / um )
P(v2 / u1 )
P(v2 / u2 )
...
P(v2 / um )
...
...
...
...
...
...
...
...
P(u1 ) P(vn / u1 )
P(u2 ) P(vn / u2 )
...
P(um ) P(vn / um )
P(vn / u1 )
P(vn / u2 )
PU P(V / U ),
...
P(vn / um )
(1.15)
где P U - матрица-столбец символов алфавита источника U;
P(V / U ) - матрица условного распределения символов , если считать источник
U за причину, а источник V - за следствие.
27
Аналогичный вид будет иметь матрица условного распределения символов
P(U / V ) , если считать источник V за причину, а источник U - за следствие.
Очевидно, что матрицы условного распределения символов также могут служить в
качестве двумерного закона распределения символов в процессе объединения источников
сообщения
Как следует из (1.14), в зависимости от того появление символов какого источника
принять за причину, а какого — за следствие, условные вероятности совместного
появления символов источников сообщений
формулам:
P v j / ui
Pui , v j
Pui
U
и
вычисляют соответственно по
V
P (ui / v j )
,
Pui , v j
Pv j
.
(1.16)
Рассматриваемые матрицы условного распределения символов обладают рядом
полезных свойств
Каждая строка матрицы P(V / U ) (1.15) представляет собой условное распределение
символов источника сообщений V при условии, что зафиксирован конкретный символ u i
источника V - Pv j / ui , а каждый столбец представляет собой условное распределение
символов источника сообщений U при зафиксированном конкретном символе vj
источника V - P ui / v j .
Очевидно, что сумма вероятностей условного распределения в каждом столбце и в
каждой строке, как сумма вероятностей полной группы событий, равна единице, т. е.
Pv / u 1,
j
Pu / v 1.
i
i
j
(1.17)
j
i
Суммируя строки матрицы P(V/U), можно получить распределение P(V) символов в
алфавите {V}, а суммируя столбцы – распределение P(U) символов в алфавите {U}. Эти
распределения
могут
быть
представлены
законом
распределения
в
виде
ряда
распределения:
P(U )
u1
u2
... um
Pu1 Pu2 ... Pum
и
P(V )
v1
v2
... vn
,
Pv1 Pv2 ... Pvn
(1.18)
Энтропию объединенного источника сообщений (U, V), в соответствии с формулой
Шеннона, можно записать в виде:
m
n
H (U ,V ) P(ui , v j ) log 2 P(ui , v j ) ,
(1.19)
i 1 j 1
где P(ui , v j ) - вероятность совместного появления символа u i , источника сообщений
28
U и символа v j источника сообщений V;
j = 1, 2…n;
i = 1, 2…m;
m – объём алфавита источника сообщений U;
n - объём алфавита источника сообщений V.
Вероятности Pui , v j , входящие в выражение (1.19), являются элементами матрицы
P(U,V) и выражают вероятность совместного (одновременного) появления пары символов
ui и v j .
В случае статистической независимости источников сообщений U и V, а,
следовательно, и взаимной независимости символов u i и v j , вероятность Pui , v j можно
рассматривать как вероятность произведения двух независимых событий т.е:
P(ui , v j ) = P(ui ) P(v j ) .
(1.20)
Тогда выражение (1.19) может быть преобразовано следующим образом:
m
m
n
n
H (U ,V ) P(ui , v j ) log 2 P(ui , v j ) P(ui ) P(v j ) log 2 (P(ui ) P(v j ))
i 1 j 1
i 1 j 1
m
m
n
n
P(ui ) P(v j ) log 2 P(ui ) P(ui ) P(v j ) log 2 P(v j )
i 1 j 1
i 1 j 1
n
m
m
n
j 1
i 1
i 1
j 1
P(v j ) P(ui ) log 2 P(ui ) P(ui ) P(v j ) log 2 P(v j ) .
(1.21)
Учитывая, что
m
P(ui ) 1 и
i 1
n
P (v ) 1 ,
j 1
j
как суммы вероятностей появления полной группы событий, получим:
m
n
i 1
j 1
H (U ,V ) P(ui ) log 2 P(ui ) P(v j ) log 2 P(v j ) H (U ) H (V ).
(1.22)
Полученные выводы могут быть распространены и на большее число объединенных
независимых источников. Соответственно для энтропии объединения нескольких
независимых источников U ,V ,....Z ) имеем:
H (U ,V ,....Z ) H (U ) H (V ) .... H (Z )
(1.23)
Таким образом, энтропия объединения нескольких статистически независимых
источников сообщений равна сумме энтропии исходных источников.
Наряду с независимыми источниками сообщений, входящими в объединенный
источник сообщений, у которых вероятность появления каждого конкретного символа
одного источника сообщений никак не зависит от появления символов других источников
29
сообщений, существуют и статистически зависимые источниками сообщений, у которых
вероятность
появление
символов,
определяются
не
только
их
собственными
вероятностями появления, но и зависимостью от символов, одновременно генерируемых
другим источником сообщения. Поэтому использование ранее полученных выводов (1.22,
1.23), далеко не всегда корректно, так как при оценке энтропии объединенного источника
сообщений необходимо учитывать статистические связи, которые в большинстве случаев
имеют место между символами двух или нескольких
источников сообщений,
объединенных в рамках одной информационной системы. Энтропию таких объединенных
источников сообщений (как и ранее) можно рассмотреть на примере простейшего
объединения, включающего только два источника дискретных сообщений U и V с
алфавитами {U} и {V} и объемами алфавита m и n соответственно.
Объединение этих источников дискретных сообщений можно характеризовать ранее
представленной матрицей двумерных вероятностей P(U,V) (1.13), элементы которой
P(ui , v j ) выражают вероятность совместного (одновременного) появления пары символов:
символа u i , принадлежащего алфавиту {U}, и символа v j , принадлежащего алфавиту {V}.
В случае взаимной зависимости источников сообщений U и V, выражающейся во
взаимной статистической зависимости генерируемых ими символов u i и v j , элементы
P(ui , v j ) матрицы P(U,V) могут быть представлены в виде вероятности произведения двух
зависимых случайных событий (1.14). Для нахождения энтропии объединенных
статистически зависимых источников сообщений используют формулу Шеннона, которая
в данном случае принимает вид:
m
n
m
n
H (U ,V ) P(ui , v j ) log 2 P(ui , v j ) P(ui ) P(v j / ui ) log 2 ( P(ui ) P(v j / ui ))
i 1 j 1
m
i 1 j 1
n
P(ui ) P(v j / ui ) log 2 P(ui )
i 1 j 1
m
n
m
n
i 1 j 1
i 1
j 1
P(ui ) P(v j / ui ) log 2 P(v j / ui ) P(ui ) log 2 P(ui ) P(v j / ui )
m
n
i 1
j 1
(1.24)
P(ui ) P(v j / ui ) log 2 P(v j / ui )
n
Первое слагаемое, с учётом того, что P(v j / ui ) 1 , представляет собой энтропию
j 1
источника дискретных сообщений U, т. е
m
n
m
i 1
j 1
i 1
P(ui ) log 2 P(ui ) P(v j / ui ) P(ui ) log 2 P(ui ) H (U ).
(1.25)
30
n
Сумма P(v j / ui ) log 2 P(v j / ui ) H (V / ui ) из второго слагаемого представляет
j 1
собой случайную величину, характеризующую среднее количество информации,
приходящаяся на один символ источника сообщений V при условии, что источник U
генерирует символ ui и называется частной условной энтропией источника сообщений V.
В общем виде всё второе слагаемое представляет собой усреднение величины
H (V / ui ) по всем символам ui , входящим в алфавит источника U. Таким образом,
получаем энтропию т.е. среднее количество информации ( H (V / u ) ), приходящуюся на
один символ источника V при известных символах источника U:
m
H (V / U ) P(ui ) H (V / ui )
(1.26)
i 1
или
m
n
i 1
j 1
H (V / U ) P(ui ) P(v j / ui ) log 2 P(v j / ui ).
(1.27)
Величину H (V / U ) называют полной условной или просто условной энтропией
источника V по отношению к источнику U.
Подставляя (1.27) в (1.24), получаем:
H (U ,V ) H (U ) H (V / U ).
(1.28)
Выражая в (1.24) P(ui , v j ) через другую условную вероятность в соответствии с
(1.14), найдем
H (U ,V ) H (V ) H (U / V ),
(1.29)
n
где H (U / V ) P(v j ) H (U / v j ) - условная энтропия источника U по отношению к
j 1
источнику V.
m
Причем H (U / v j ) P(ui / v j ) log 2 P(ui / v j ) - частная условная энтропия источника
i 1
сообщений U (т.е. среднее количество информации приходящееся на один символ
источника сообщений U) при условии что источник V генерирует символ v j
Таким образом, энтропия объединения двух статистически связанных источников
дискретных сообщений U и V равна безусловной энтропии одного из источников плюс
условная энтропия другого относительно первого.
Распространяя правило (1.28) на объединение любого числа зависимых источников
дискретных сообщений (U, V, Z,……W) получим:
H (U ,V , Z ,....W ) H (U ) H u (V ) H uv ( Z ) ..... H uvz... (W ),
31
где H (U ,V , Z ,....W ) - энтропия объединения зависимых (статистически связанных)
источников дискретных сообщений U ,V , Z ,....W ;
H (U ) - энтропия источника сообщений U;
H u (V ) - условная энтропия источника V по отношению к источнику U;
H uv (Z ) - условная энтропия источника Z по отношению к источникам U и V;
H uvz... (W ) - условная энтропия источника W по отношению к источникам U, V, Z,…
Важно отметить, что при объединении источников сообщений условная энтропия
любого источника всегда меньше или равна безусловной энтропии того же источника.
Действительно, наличие сведений о состоянии одного из источников сообщений никоим
образом не может увеличить неопределенность выбора состояния другого источника
сообщений. Эта неопределенность может только уменьшиться, если существует
взаимосвязь между состояниями обоих источников сообщений. Поэтому для объединения
двух источников U и V справедливы соотношения:
H (V / U ) H (V )
(1.30)
H (U / V ) H (U ).
(1.31)
и
Из (1.30) и (1.31) следует, что в общем случае энтропия объединения двух
произвольных источников сообщений удовлетворяет соотношению:
H (U ,V ) H (U ) H (V ),
а для объединения нескольких произвольных источников сообщений соответственно
имеем:
H (U ,V , Z ,....W ) H (U ) H (V ) H (Z ) .... H (W ).
(1.32)
В случае отсутствия статистической связи между символами ui источника
сообщений U и символами v j источника сообщений V, сведения о результатах выбора
символа одного источника сообщений не снижают неопределенности выбора символа
другого источника сообщений, т.е. условные вероятности P(ui / v j ) и P(v j / ui ). в этом
случае обращаются в простые вероятности P (ui ) и P(v j ) соответственно. Это находит
отражение в равенствах:
H (V / U ) H (V )
и
H (U / V ) H (U ).
(1.33)
Если же имеет место однозначная взаимосвязь между различными символами ui (1
i m) источника сообщений U и символами v j (1 j n) источника сообщений V, то
32
условная энтропия любого из источников сообщений равна нулю:
H (V / U ) 0) и H (U / V ) 0).
(1.34)
Действительно, условные вероятности P(ui / v j ) и P(v j / ui ). в этом случае равны
либо нулю (при i ≠ j) , либо единице (при i = j), поэтому и все слагаемые, входящие в
выражения (1.24) и (1.30) для частных условных энтропий, равны нулю, следовательно, в
соответствии с (1.25) и (1.29), условные энтропии также равны нулю. Таким образом,
равенства (1.33) указывают на отсутствие дополнительной неопределенности при выборе
символов второго источника сообщений.
На
рис.
1.4.
представлена
графическая
интерпретация соотношений между рассмотренными
энтропиями дискретных источников сообщений,
где: H (U )
и
H (V )
-
энтропии источников
дискретных сообщений U и V соответственно;
H (U ,V ) - энтропия объединения двух
произвольных источников сообщений;
H u (V ) - условная энтропия источника V по
отношению к источнику U.
Рис. 1.4.
H v (U ) - условная энтропия источника V по отношению к источнику U.
Следует
отметить,
что
зависимость
между
источниками
сообщений
и
непосредственно сообщениями часто характеризуют таким понятием как взаимная
энтропия. Понятие взаимной энтропии можно пояснить следующим примером. Пусть
сообщения x и y соответственно передаваемое и соответствующее ему принимаемое
сообщение. Различия между сообщениями x и y обусловлено искажениями в процессе
передачи сообщений под воздействием помех (n).
Воздействие помех можно оценить с помощью условной энтропией H ( x / y ) . В этом
случае получаемое потребителем среднее количество информации, приходящееся на один
символ сообщения ( H ( x, y)) , равно:
H ( x, y) H ( x) H ( x / y).
Величину H ( x, y) называют взаимной энтропией.
Если сообщениями x и y независимы, то это означает, что помехи в канале привели
к полному искажению сообщения, т.е. H ( x / y ) H ( x) , а получаемое потребителем
33
количество информации, приходящееся на один символ сообщения, H ( x, y) равно 0.
Если же помехи в канале отсутствуют различий между сообщениями x и y не будет,
сообщения x и y идентичны и, следовательно, полностью зависимы и энтропии
передаваемого и принимаемого сообщений будут равны: Н(x) = Н(y). Поэтому
H ( x / y) 0 и H ( x, y) H ( x) H ( y).
1.8. Информация в непрерывных сообщениях.
Под непрерывным сообщением подразумеваются сообщения, состоящие из
символов бесконечного алфавита, т.е. символы такого сообщения представляют собой
непрерывное множество из некоторого конечного интервала (континиум). Поэтому
непрерывное сообщение можно рассматривать как некую непрерывную функцию,
значения которой отображаются непрерывной случайной величиной. Однако понятие
непрерывности сообщения не следует отождествлять с понятием непрерывности функции
в аналитическом смысле. В непрерывном сообщении вполне возможны разрывы
соответствующей ему функции.
Кроме этого, вероятности конкретных значений непрерывной случайной величины
не могут использоваться для оценки неопределенности, поскольку в данном случае
вероятность любого конкретного значения (символа непрерывного сообщения) равна
нулю. Однако, вероятность конечна для множества значений, принадлежащих какомулюбо сколь угодно малому интервалу значений случайной непрерывной величины.
Очевидно, неопределенность выбора значения непрерывной случайной величины
(символа непрерывного сообщения) необходимо связывать с функцией плотности
распределения вероятностей этих значений.
Подходы, приведенные для оценки количества информации, содержащейся в
дискретных сообщениях, непосредственно применить к непрерывным сообщениям не
удаётся, так как это приводит к результату, противоречащему здравому смыслу.
Действительно, поскольку алфавит источника непрерывных сообщений (L)
бесконечен и число символов в сообщении (n) также бесконечно, то и количество
информации I н , содержащееся в непрерывном сообщении даже конечной длины, равно
бесконечности, т.е.
I н n log 2 L
34
Однако для реальных источников сообщений это противоречие устранимо, т.к.
любые реальные источники сообщений обладают следующими особенностями.
Во-первых, реальные источники сообщений обладают инерционностью (т.е. для
перехода их из одного состояния в другое требуется конечное время). Это выражается в
ограниченности частотного спектра непрерывных сообщений, и, следовательно, к ним
применима теорема Котельникова («теорема отсчетов»). Из этой теоремы следует, что
любое непрерывное сообщение x(t) длительностью Т и верхней граничной частотой в
спектре Fm может быть представлено последовательностью равноотстоящих мгновенных
значений этого сообщения взятых с интервалом Δt = 1/2 Fm . При этом общее число
равноотстоящих мгновенных значений не будет превышать значения N:
N
T
1 2TFm 1 .
1 2Fm
(1.35)
Теорема Котельникова позволяет представить любое непрерывное сообщение в виде
сообщения дискретного по аргументу и распространить на непрерывные сообщения
методы определения количества информации разработанные для дискретных сообщений.
Во-вторых, в любых реальных системах всегда присутствуют помехи (шумы),
вызванные различными причинами, вплоть до молекулярныи и квантовых. Эти шумы
ограничивают число различимых символов сообщения. Действительно, для надежного
распознавания соседних символов необходимо, чтобы разность между ними была больше,
чем уровень помехи (шума).
При заданной средней мощности помехи (Рn) и мощности сообщения Рс число
различимых символов (L) непрерывного сообщения x(t) приближенно можно определить
из соотношения:
L
Pc Pп
Pп
Pc
1,
Pп
(1.36)
что позволяет представить любое непрерывное сообщение в виде дискретного по
амплитуде, т.е. с ограниченным объёмом алфавита.
Теорема
Котельникова
даёт
возможность
определить
оптимальную
(по
достоверности и эффективности восстановления исходного непрерывного сообщения)
частоту дискретизации по аргументу f д ( f д
1
) . Действительно, уменьшение частоты
t
дискретизации не позволит восстановить исходную непрерывную функции x(t) с
достаточной точностью, а увеличение частоты дискретизации хотя и ведёт к более
35
точному восстановлению исходной функции x(t), но в тоже время приводит к увеличению
числа используемых мгновенных отсчётов и, следовательно, к увеличению избыточности
и объёма памяти в случае их хранения.
Таким образом, любое реальное непрерывное сообщение длительностью Т и с
частотным спектром, ограниченным верхней частотой Fm , может быть представлено
дискретным сообщением из N символов с алфавитом объемом L. В соответствии с
формулой определения количества информации по Хартли (1.5), можно получить
формулу для оценки максимального количества информации в таком сообщении (Iн):
I н N log 2 L (2TFm 1) log 2
Pc Pn
(бит)
Pn
(1.37)
Можно так же подсчитать предельную информационную емкость реального
непрерывного сообщения (R):
R
I н 2TFm 1 1
P Pn
P Pn
,
log 2 c
Fm log 2 c
T
T
2
Pn
Pn
при условии, что 2TFm>>1.
Эта формула устанавливает предельную информационную емкость непрерывного
сообщения. Из нее следует, что важнейшими характеристиками любого источника
непрерывных сообщений (и канала передачи информации) являются ширина частотного
спектра и отношение мощности сообщения (сигнала) к мощности помех.
Следует подчеркнуть, что приведенные выше соотношения справедливы только при
условии взаимной независимости и равновероятности появления символов непрерывного
сообщения т.к. их вывод основан на использовании формулы Хартли.
Примером практического использования выводов теоремы Котельникова может
служить
звукозаписывающие
и
звуковоспроизводящие
приборы
и
устройства,
работающие в цифровом формате, в частности, оптические диски для хранения
информации. Из теоремы следует, что увеличение частоты дискретизации ( f д ) позволяет
повысить качество воспроизводимых произведений и в тоже время к уменьшению их
числа размещённых на одном диске.
Человек способен различать звуки с частотой до 20 кГц, поэтому записывать звуки с
большей частотой нет смысла. Поэтому, согласно теоремы Котельникова, частота
дискретизации должна быть не менее 40 кГц. В промышленных стандартах на компактдиски используется частота 44.1 кГц.
1.9. Энтропия непрерывных сообщений.
36
В приведенных выше рассуждениях предполагалось, что все возможные значения
(символы) непрерывного сообщения равновероятны, однако это не всегда справедливо.
Как правило, символы непрерывного сообщения х(t) обладают некоей плотностью
распределения вероятности р(х), которая характеризует вероятность попадания символов
непрерывного сообщения х(t) в интервал ∆х, примыкающий к точке х. И, если плотностью
распределения вероятности значений непрерывного сообщения р(х), не постоянна, то и
вероятность появления отдельных символов непрерывного сообщения различна.
Следовательно, в соответствии с формулой (1.4), количество информации, которое может
нести отдельный символ непрерывного сообщения, так же не постоянно и будет зависеть
от значений непрерывного сообщения х(t) Поэтому важно выяснить, как зависят
информационные характеристики непрерывного сообщения от присущего ему закона
распределения его символов. С этой целью определим энтропию непрерывного
сообщения. Для этого последовательно выполним следующие действия:
- преобразование непрерывного сообщения в дискретное;
- нахождение энтропии полученного дискретного сообщения;
- выполнение предельного перехода для преобразования дискретного сообщения в
непрерывное.
Положим, что непрерывное сообщение обладает известной функцией плотности
распределения вероятности его символов р(х) (Рис. 1.5).
p(x)
xk
x(t)
xk
Рис. 1.5. Функция плотности распределения вероятности p(x) сообщения х(t).
Выберем интервал Δxk. и обозначим середину этого интервала через xk. Будем
рассматривать все символы непрерывного сообщения, попадающие в интервал Δxk , как kтый символ дискретного сообщения. Таким образом весь интервал изменения
непрерывного
сообщения
непересекающихся отрезков
х(t)
Δxk
можно
разбить
на
конечное
число
равных
и заменить их соответствующими символами
дискретного сообщения.
37
Вероятность
появления этого символа
дискретного сообщения (Pk) будет
определяться выражением:
x
x
Pk P x k k x x k k
2
2
xk
x k
2
p( x)dx
xk
x k
2
Энтропию полученного таким образом дискретного сообщения (HД), на основании
формулы Шеннона (1.8), можно записать в виде:
H Д Pk log 2 Pk
k
k
xk
x k
2
xk
x k
2
p( x)dx log p( x)dx
(1.38)
2
x
xk k
2
x
xk k
2
Предполагая, что функция p(x) вместе со своей производной непрерывная, имеем:
xk
x k
2
p( x)dx p( x ) x .
xk
Исходное
непрерывное
k
x k
2
сообщение
можно
k
рассматривать
как
предел
сформированного дискретного сообщения при Δxk→0 (т.е. при стремлении объёма
алфавита
сформированного
дискретного сообщения
к
бесконечности).
Поэтому,
подставив приведенное выше выражения в (1.38) и перейдя к пределу, получим
выражение для энтропии непрерывного сообщения:
H н ( x) lim H Д lim p( xk ) xk log 2 p( xk ) xk .
x k 0
x k 0
k
Заменяя
в
этом
выражении
логарифм
произведения
суммой
логарифмов
сомножителей, преобразуем это выражение к виду
H н ( x) lim p( x k ) log 2 p( x k ) x k lim p( xk ) xk log 2 xk
xk 0
k
xk 0 k
p( x) log 2 p( x)dx lim p( xk ) xk log 2 xk
x k 0
(1.39)
k
Обозначим первое слагаемое в этом выражении как Hx, а второе - как HΔ.
Первое слагаемое в правой части соотношения (1.39) имеет конечное значение,
которое зависит только от закона распределения непрерывной случайной величины x и
имеет точно такую же структуру, как энтропия дискретного источника сообщений (1.8).
38
Это слагаемое целиком определяет информативность сообщений, обусловленных
статистическими характеристиками состояний их символов.
Поскольку для определения значения этого слагаемого используется только функция
плотности распределения вероятности, т. е. дифференциальный закон распределения, она
получила
название
относительной
дифференциальной
энтропии
или
просто
дифференциальной энтропии непрерывного источника сообщений.
Энтропия непрерывного источника сообщений и количество информации им
генерируемое напрямую зависят от присущей ему функции плотности распределения
вероятностей его символов р(х).
Легко показать, что второе слагаемое HΔ обращается в бесконечность при Δxk→0
независимо
от
вида
функции
плотности
распределения
вероятности
символов
непрерывного сообщения (р(х)).
Действительно, если принять, что интервалы Δxk одинаковы, т.е. Δxk = Δx для всех
значений k, то для второго слагаемого в выражении (1.39) имеем:
H lim p( xk ) xk log 2 x lim log 2 x p( xk ) x
x0
x0
k
k
lim log 2 x lim p( xk ) x lim log 2 x p( x)dx
x0
x0
x0
k
С учетом того, что p( x )dx 1 , получаем
H lim(log 2 x)
x 0
На основании выше изложенного можно сделать следующие выводы:
1.
Непрерывные сообщения не имеют абсолютной меры энтропии. Их полная
энтропия равна бесконечности.
2.
Второе слагаемое в выражении (1.39) стремится к бесконечности
одинаковым образом для любых непрерывных сообщений независимо от присущего им
закона распределения.
На
практике
при
определении
различных
информационных
характеристик
непрерывных сообщений, которое в реальных условиях всегда действует на фоне шума,
приходится вычислять разность энтропий сообщения и шума. При этом бесконечно
большие слагаемые HΔ в энтропии сообщения и энтропии шума взаимно уничтожаются,
так как они не зависят от законов распределения символов сообщения и шума. И основное
значение приобретает первое слагаемое Hx в выражении (1.39).
39
Таким образом, за меру энтропии непрерывного сообщения можно принять
выражение
H x p( x ) log 2 p( x )dx .
(1.40)
Вычисленную
таким
образом
энтропию
называют
относительной
или
дифференциальной, так как она определяет не полную энтропию непрерывного
сообщения, равную, как было показано, бесконечности, а только ту ее часть (Hx), которая
зависит от закона распределения символов непрерывного сообщения. И под энтропией
непрерывного сообщения, как правило, понимают именно дифференциальную энтропию
Hx.
Из определения дифференциальной энтропии (1.39) вытекают некоторые её
интересные свойства.
1. Дифференциальная энтропия в отличие от энтропии дискретного источника
сообщений
является
относительной
мерой.
Ее
значение
зависит
от
масштаба
непрерывного сообщения, а, следовательно, и от выбора единицы ее измерения.
В качестве примера можно рассмотреть дифференциальную энтропию непрерывного
сообщения x(t) и дифференциальную энтропию непрерывного сообщения xk (t )
,
полученного при изменении масштаба сообщения x(t) в k раз, оставив неизменным
масштаб параметра t. Если xk (t ) k x(t ) , то очевидно, что функции плотности
распределения вероятностей этих сообщений связаны соотношением: p( xk ) p( x) / k .
Тогда
p ( x)
p ( x)
log 2 (
) kd ( x)
k
k
Н ( xk ) p( xk ) log 2 p( xk )d ( xk )
p( x) log 2 p( x)d ( x) log 2 (k ) d ( x) Н ( x) log 2 k ,
где Н (x) - дифференциальная энтропия непрерывного сообщения x(t);
Н ( xk ) - дифференциальная энтропия непрерывного сообщения xk (t ) .
2. Значение дифференциальной энтропии непрерывного сообщения x(t) не
изменится, если значения всех его символов «сдвинуть» по оси t, т. е. увеличить или
уменьшить значение аргумента t на одно и то же постоянное число. Действительно, если
xk (t ) x(t k ) , то очевидно, что функции плотности распределения вероятностей этих
сообщений связаны соотношением: p ( xk ) p ( x k ) p ( x) и, если масштаб сообщения
40
x(t) при этом не меняется, то справедливо равенство:
Н ( xk ) p( xk ) log 2 p( xk )d ( xk ) p( x k ) log 2 p( x k ) d ( x k )
p( x) log 2 p( x)d ( x) Н ( x),
где Н (x) - дифференциальная энтропия непрерывного сообщения x(t);
Н ( xk ) - дифференциальная энтропия непрерывного сообщения xk (t ) .
1.10. Экстремальные свойства энтропии непрерывных сообщений.
Представляет интерес определение вида функции плотности распределения
вероятности символов (p(x)) непрерывного сообщения х(t), с заданными пределами
изменения
символов,
которая
обеспечивает
максимальное
значение
энтропии
непрерывного сообщения т. е.обращает энтропию этого непрерывного сообщения (Hx) в
максимум.
Пусть непрерывное сообщение х(t) представляет собой ограниченную непрерывную
функцию с областью значений из интервала [а;b] (Рис. 1.6) и с неизвестной плотностью
распределения вероятностей символов p(x), которая удовлетворяет условию
b
p( x)dx 1 .
(1.41)
a
Рис. 1.6..График непрерывного сообщения х(t).
Поставим задачу найти распределение pmax(x), при котором дифференциальная
энтропия этого сообщения
41
H x p( x) log 2 p( x)dx
принимает максимальное значение.
Для решения этой задачи воспользуемся методом неопределенных множителей
Лагранжа, который используется для нахождения локальных экстремумов функций
нескольких переменных. Суть этого метода заключается в следующем. Если задана
функция
нескольких
удовлетворяют
переменных,
например
H H ( x, p ) ,
аргументы
которой
некоему уравнению связи ( x, p) 0 , то можно составить функцию
Лагранжа F ( x, p, )
F ( x, p, ) H ( x, p) ( x, p),
а локальные экстремумы функции p(x) определить из решения системы уравнений:
F ( x, p, )
0.
p
( x, p ) 0
(1.42)
В данном случае функция H имеет вид:
H H x p( x) log 2 p( x)dx ,
а уравнение связи получим из выражения (1.41).
Составив функцию Лагранжа
b
b
F ( x , p, ) H p( x )dx 1 p( x ) log 2 p( x ) p( x ) dx ,
a
a
и продифференцировав ее по p (p не зависит от x, поэтому достаточно
продифференцировать подинтегральное выражение), на основании необходимого условия
существования экстремума получим:
F ( x, p, )
1
log 2 p ( x)
0.
p
ln 2
Откуда после несложных преобразований
log 2 p( x)
log 2 e
1
2
log 2 2
log 2
ln 2
log 2 2
e
имеем:
2
p max ( x )
, при x a; b .
e
(1.43)
Подставив это выражение в (1.41) получим:
42
2
2
dx
(b a) 1 ,
a e
e
b
и используя предыдущее равенство находим:
pm ax( x)
2
1
, при x a; b .
e ba
Следовательно, искомая функция плотности распределения вероятности (pmax(x))
запишется в виде:
0, при x a,
1
pmaxx
при a x b,
b a, при x b.
0,
Таким образом, энтропия непрерывного сообщения с заданными пределами
изменения символов, принимает свое максимальное значение при равновероятном
появлении всех символов, принадлежащих интервалу [а;b]. При этом максимально
возможное значение энтропии будет определяться по формуле
1
1
log 2
dx log 2 (b a) .
b
a
b
a
a
b
H max
(1.44)
Если же ограничения на пределы изменения символов, непрерывного сообщения
х(t),
отсутствуют,
но
дисперсия
их
ограничена,
то
максимальное
значение
дифференциальной энтропией будет при функции плотности распределения вероятностей
значений
непрерывного
сообщения
в
p(x)
виде
нормального
распределения
(распределения Гаусса).
Для доказательства этого утверждения можно также воспользоваться методом
неопределенных множителей Лагранжа,
При этом искомое распределение pmax(x), при котором дифференциальная энтропия
сообщения ( H ) принимает максимальное значение, находят из решения соответствующей
системы уравнений (1.42) при
H H x p( x) log 2 p( x)dx
и уравнениях связи:
p( x)dx 1 и ( x m) p( x)dx ,
2
где m — математическое ожидание непрерывного сообщения х(t);
σ — среднеквадратическое отклонение от математического ожидания
43
непрерывного сообщения х(t).
В результате искомая функция плотности распределения вероятностей значений
непрерывного сообщения х(t) будет иметь вид:
( x m) 2
1
2
pmax( x)
e 2 ,
2
Что соответствует нормальному (гауссовскому) закону распределения символов
непрерывного сообщения х(t);
При
таком
распределении,
дифференциальная
энтропия
принимает
своё
максимальное значение H m ax ( x ) :
H max( x) log 2 2 e .
(1.45)
В информационных системах непрерывные сообщения в виде сигналов представляет
собой значения электрического напряжения (или тока), при этом дисперсия таких
сигналов пропорциональна средней мощности сигнала. Поэтому можно утверждать, что
при заданной мощности наибольшей средней неопределенностью выбора (наибольшей
энтропией) будет обладать источник, генерирующий сигналы, амплитуды которых
распределены по нормальному закону.
В то же время, выбирая нормальный закон плотности распределения вероятности
символов помехи, обеспечивают также ее наибольшую энтропию и, следовательно, её
наибольшее отрицательное искажающее воздействие на передаваемый сигнал.
Сравнивая между собой сообщения с равномерным и нормальным законом
плотности распределения вероятностей появления символов, при условии равенства
максимальных значений их энтропий (1.44) и (1.45), получаем, что при одинаковой
информативности сообщений (энтропии) средняя мощность сигналов при равномерном
законе распределения амплитуд должна быть на 42% больше, чем при нормальном законе
распределении амплитуд.
1.11. Информация в непрерывных сообщениях при наличии шумов.
Идеализированная модель источника непрерывных сообщений при наличии шумов
представлена на рис. 1.7,
где: 1 — источник непрерывных зашумленных сообщений;
2 — идеальный источник непрерывных сообщений;
3 — сумматор.
44
Выходное сообщение такого устройства (у) представляет
собой смесь идеального (без шумов) непрерывного
сообщения (х) и шума (n). На практике чаще всего
реализуется случай, когда шумы и помехи носят
аддитивный характер, то есть когда выходное сообщение
(у) есть сумма идеального сообщения (х) и шума (n) т.е.
y=x+n
Рис. 1.7 Модель источника
непрерывных сообщений.
Нахождение информационных характеристик такого источника непрерывных
сообщений можно выполнить следующим образом: сначала определить количество
информации (I), содержащегося в каком-либо одном конкретном символе, а затем
усреднить её по всем символам непрерывного сообщения.
Для определения количества информации (I), содержащегося в каком-либо одном
конкретном символе непрерывного сообщения, можно воспользоваться основным
соотношением теории информации:
I log 2
P2
,
P1
(1.46)
где Р1 — априорная вероятность появления символа сообщения;
Р 2 — апостериорная вероятность появления того же символа сообщения.
В случае непрерывного сообщения х(t) под априорной вероятностью Р1 какого-либо
конкретного символа следует подразумевать вероятность того, что символ сообщения х(t)
заключен в интервале значений между х и x x , примыкающего к точке х. Если известна
функция плотности распределения вероятности символов исходного сообщения (р(х)), то
априорная вероятность Р1 имеет вид:
P1 px x ,
а апостериорную вероятность сообщения Р 2 можно представить в виде:
P2 py x x,
где p y x — условная плотность распределения вероятностей символов сообщения
х(t), когда известен (зафиксирован) конкретный символ у.
Подставляя в формулу (1.46) значения вероятностей Р1 и Р 2 и переходя к пределу
при x 0 , получим следующие соотношения:
p ( x)
p ( x) x
p ( x) dx
I lim log 2 y
log 2 y
log 2 y
x 0
p( x)
p( x) x
p( x) dx
(1.47)
45
Предельный переход в этой формуле необходим, т.к. непрерывные сообщения
обладают бесконечным алфавитом.
Следует отметить, что условная плотность распределения вероятности p y x
представляет собой не что иное, как плотность распределения вероятностей шума pn .
Действительно, если на выходе зашумлённого источника непрерывных сообщений
зафиксирован какой-либо определённый символ, например y0, то в сообщении х(t) ему
соответствует символ x = y0 – n, который имеет плотность распределения тождественную
плотности распределения шума n. Поэтому справедливо равенство:
py x pn
и соответственно выражение (1.47) преобразуется к виду:
I log 2
p ( n)
.
p( x)
Определяемое формулой(1.47) количество информации (I) соответствует только
одной паре возможных значений непрерывного сообщения х и шума n. Так как и
сообщение и помеха могут принимать бесконечное число различных, не связанных между
собой, значений, то для оценки среднего количества информации, получаемой при приеме
сообщения на фоне аддитивного шума, необходимо усреднить выражение (1.47) по всем
возможным значениям х и n. Однако, использование для этой цели выражения (1.47)
представляется невыполнимым т.к., в соответствии с принятой моделью, наблюдение и
измерение параметров сообщения х невозможно, а, следовательно, нельзя определить и
плотность распределения вероятностей символов этого сообщения ( px ) .
Это вызывает необходимость преобразования выражения (1.47) с использованием
известных соотношений теории вероятностей. Так известно, что двумерная (совместная)
плотность распределения вероятностей зависимых событий x и y (p(x,y)) может быть
представлена в виде:
p(x,y)=py(x)·p(y)= px(y)·p(x),
откуда следует:
p y ( x)
p( x)
px ( y)
,
p( y)
(1.48)
где px(y) – одномерная функция плотности распределения вероятности (условная
плотность распределения) случайной величины y, при условии, что значение
случайной величины x – зафиксировано, т.е. плотность распределения символов
в сообщении y = x + n при зафиксированном переданном символе x;
46
p(y) – одномерная функция плотности распределения вероятности случайной
величины y;
py(x) - одномерная функция плотности распределения вероятности (условная
плотность распределения) случайной величины x, при условии что значение
случайной величины y – зафиксировано, т.е. плотность распределения символов
в сообщении x при зафиксированном полученном символе y (y = x + n)/
p(x) – одномерная функция плотности распределения вероятности случайной
величины x.
Подставляя отношение (1.48) в формулу (1.47) и умножая числитель и знаменатель
на dy получаем:
p ( y)
p ( y) dy
I log 2 x log 2 x
,
p( y )
p( y) dy
(1.49)
С учетом того, что:
px(y)·dy = Px(y) – условная вероятность появления символов сообщения y в интервале
y; y dy , когда зафиксирован передаваемый символ сообщения x;
p(y)·dy = P(y) - вероятность того, что сообщение y содержится в интервале y; y dy
при произвольных значениях x,
предыдущее выражение преобразуется к виду
I log 2
Px ( y )
P( y )
Это соотношение определяет количество информации, получаемое при передаче
символа сообщения x, когда при приеме наблюдателю известен символ в виде суммы y =
x + n.
Необходимо отметить, что px(y)·по существу есть не что иное, как плотность
распределения вероятностей шума n. Действительно, если задан конкретный символ
сообщения x0, то сумма y=x0+n распределена по закону распределения шума n, который
наложен на символ сообщения x0, а, следовательно,
px(y)·= p(n).
(1.50)
Учитывая (1.50), выражение(1.49) примет вид:
I log 2
p( n)
.
p( y )
(1.51)
Для оценки среднего количества информации при приеме сообщения на фоне шума (
~
I ) необходимо путем интегрирования по всем значениям x и y усреднить количество
47
информации (I), приходящееся на каждое конкретное значение плотности распределения
вероятностей p(x,y):
p ( n)
log
2
p( y ) p( x, y )dxdy
~
I
I p( x, y)dxdy
.
(1.52)
p( x, y) log p(n)dxdy log p( y) p( x, y)dxdy
2
2
Очевидно, что плотность распределения вероятностей шума (n) не зависит от x и y
по отдельности, а определяется только их разностью, т.к. n= y - x. Кроме того, учитывая
(1.50), выражение (1.48) можно преобразовать к виду
p(x,y)= px(y)·p(x)=p(n)·p(x),
тогда первое слагаемое в (1.52) можно записать в следующем виде:
p
(
x
,
y
)
log
p
(
n
)
dxdy
p
(
n
)
log
p
(
n
)
dn
p( x )dx.
2
2
Во внутреннем интеграле dy заменено на dn , т.к. y = x + n, а при интегрировании по
y величина x рассматривается как постоянная.
В такой записи внутренний интеграл, в соответствии с формулой Шеннона (1.40),
представляет собой взятую со знаком минус дифференциальную энтропию шума (H(n)).
При стационарном шуме энтропия шума является величиной постоянной и может
быть вынесена за знак интеграла, тогда первое слагаемое в выражении (1.52)
преобразуется к виду:
p(n) log 2 p(n)dn p( x)dx H (n) p( x)dx H (n),
т.к.
p( x)dx 1 .
Используя известное равенство теории вероятности,
p( x, y)dx p( y),
второе слагаемое в выражении (1.51) легко привести к виду:
log 2 p( y) p( x, y)dxdy log 2 p( y) p( x, y)dx dy log 2 p( y) p( y) dy H ( y).
Окончательно получаем:
I~ H ( y ) H ( n ) .
(1.53)
48
Таким образом, среднее количество информации в символе непрерывного
сообщения x, которую можно извлечь из зашумлённого символа сообщения y (y= x+ n)
равно разности энтропии принятого сообщения y ( H ( y )) и энтропии шума n ( H (n)) .
1.12 Информационные системы
В современной науке и технике широко используются системы, служащие для сбора,
обработки или передачи информации. Отличительная особенность таких систем состоит в
том,
что
результатом
их
функционирования
являются
не
материальные
или
энергетические объекты реального мира, а лишь сведения или знания о них (информация)
и поэтому основными характеристиками этих систем являются информационные
характеристики. Такого рода системы носят название информационных систем (ИС).
Чаще всего информационные системы создаются для своевременной и достоверной
обработки поступающей информации в различных сферах деятельности. В широком
понимании под ИС понимают любую систему обработки информации. Более узкая
трактовка подразумевает понятие ИС как совокупности аппаратно-программных средств,
задействованных
для
решения
некоторой
прикладной
задачи.
Большинство
существующих ИС основано на применении технических средств, в частности, ЭВМ,
поэтому их называют автоматизированными, хотя для краткости их просто называют ИС.
В
теории информации исследуются информационные системы при четко
сформулированных условиях их функционирования (постулатах):
1. Информация поступает в информационную систему в форме сообщений, в
которых она содержится. Сообщение представляет собой некоторую конечную
последовательность символов или сигналов. Источник сообщения осуществляет выбор
конкретного сообщения из некоторого их множества с определенной вероятностью.
2. Сообщения могут передаваться по каналу связи в закодированном виде.
Кодированные сообщения образуют множество, являющееся взаимно однозначным
отображением множества исходных сообщений. Правило декодирования известно декодеру
(записано в его программе).
3. Сообщения следуют друг за другом, причем число сообщений может быть сколь
угодно большим.
4. Сообщение считается принятым верно, если в результате декодирования оно
может быть в точности восстановлено. При этом не учитывается, сколько времени прошло
с момента передачи сообщения до момента окончания декодирования, и какова сложность
операций кодирования и декодирования.
49
5. Количество информации не зависит от смыслового содержания сообщения, от его
эмоционального воздействия, полезности и даже от его отношения к реальной
действительности.
Исходя из области применения, из общей массы ИС можно выделить системы,
используемые в производстве, образовании, здравоохранении, науке, военном деле,
социальной сфере, торговле и других отраслях.
По целевой функции ИС можно условно разделить на следующие основные
категории: управляющие, информационно-справочные, поддержки принятия решений.
Эффективность функционирования информационной системы (ИС) во многом
определяется ее архитектурой. В настоящее время перспективной является архитектура
клиент-сервер. В распространенном варианте она предполагает наличие компьютерной
сети и распределенной базы данных, включающей корпоративную базу данных (КБД) и
персональные базы данных (ПБД). КБД размещается на компьютере-сервере, ПБД
размещаются на компьютерах
сотрудников подразделений, являющихся клиентами
корпоративной БД.
Сервером определенного ресурса в
компьютерной сети называется компьютер
(программа), управляющий этим ресурсом, а клиентом — компьютер (программа),
использующий этот ресурс. В качестве ресурса компьютерной сети могут выступать, к
примеру, базы данных, файловые системы, службы печати, почтовые службы. Тип
сервера
определяется
видом
ресурса,
которым
он
управляет.
Например,
если
управляемым ресурсом является база данных, то соответствующий сервер называется
сервером базы данных Достоинством организации информационной системы по
архитектуре клиент-сервер является удачное сочетание централизованного хранения,
обслуживания и коллективного доступа к общей корпоративной информации с
индивидуальной работой пользователей над персональной информацией. Архитектура
клиент-сервер допускает различные варианты реализации.
50
Глава 2. Передача информации по каналам связи.
2.1 Система передачи информации. Общие понятия.
В современном мире широкое распространение находят системы сбора, обработки и
передачи информации. Отличительной особенностью таких систем является то, что
результатом их функционирования являются не материальные или энергетические
объекты реального мира, а лишь сведения или знания о них. Такие системы называют
информационными. К информационным системам относят и системы передачи
информации (системы передачи сообщений). Информационные системы и составляющие,
входящие в них, отличаются большим разнообразием по своей структуре и физической
природе: механические, акустические, оптические, электрические и электромагнитные.
Для
выяснения
абстрагироваться
общих
закономерностей
от
конкретного
их
их
функционирования
физического
воплощения
и
необходимо
оперировать
абстрактными, формализованными понятиями. Такая абстрактная общая информационная
модель любой информационной системы была в своё время предложена К. Шенноном.
Она может быть представлена в виде, изображенном на рис. 2.1, из которой видно, что
представленная модель содержит следующие элементы: источник сообщений, датчик
сообщений, канал, приемник сообщений, получатель сообщений и источник помех.
Источник помех
Источник
сообщений
Датчик
сообщений
Канал
Приемник
сообщений
Получатель
сообщений
Рис. 2.1. Общая информационная модель системы.
Отдельные блоки, входящие в общую информационную модель, определяются
следующим образом.
Источник сообщений. В общем случае это исследуемый или наблюдаемый объект,
способный генерировать символы сообщения, т.е. изменять своё состояние во времени или
в пространстве. Под сообщением понимают некую конечную последовательность (или
комбинацию) символов, в которой содержится информация. Информация поступает в
информационную систему в форме первичных сообщений, генерируемых источником
сообщений.
Датчик сообщений – техническое устройство, воспринимающее конкретные
51
сообщения о состоянии источника сообщений и преобразующее генерируемые источником
сообщения в вид удобный для дальнейшей передачи или обработки.
Каналом или каналом связи называют совокупность технических средств и
физических сред, обеспечивающих передачу сообщений из одной точки пространства в
другую, от передающего устройства к приемному устройству или их обработку.
Приемник сообщений - техническое устройство, с помощью которого переданное
или обработанное сообщение преобразуется в форму, удобную для получателя.
Получатель - некий объект, способный принимать решения на основе полученной
или обработанной соответствующим образом информации. Так, в качестве получателя
сообщения может быть или человек, или логическое устройство, или регистрирующий
прибор.
Источник помех - совокупность помех и шумов, действующих на отдельные блоки
информационной модели, приведенных к каналу.
Следует отметить, что в конкретных информационных моделях могут отсутствовать
один или даже несколько блоков, приведенных в общей информационной модели, а так
же некоторые блоки могут быть детализированы и конкретизированы.
Информационные модели системы передачи информации, как разновидность
информационных систем, так же могут быть расширены и конкретизированы.
Расширенная информационная модель системы передачи информации, в виде общей
структурной схемы, представлена на рис. 2.2.
Источник
сообщений
Первичный
преобразователь
сообщений
Кодирующее
устройство
Устройство
модуляции.
Датчик сообщений
Приемник сообщения
Получатель
Приёмное
устройство
Декодирующе
е устройство
Канал
КтПИ
Устройство
демодуляци
Устройство
согласования.
Канал связи
Устройство
согласования.
Рис. 2.2. Общая структурная схема системы передачи информации.
Датчик сообщений в этом случае можно представить как совокупность первичного
преобразователя сообщений (ППС), непосредственно воспринимающего информацию от
52
источника сообщений, и кодирующего устройства (КУ), преобразующего первичное
сообщение в форму, удобную для передачи по заданному каналу. Преобразование
сообщения в вид, удобный для передачи его по данному каналу связи и выполняемое в
кодирующем устройстве, называют кодированием. В качестве примера преобразований
такого вида, выполняемых в кодирующем устройстве, могут быть преобразование
непрерывных сообщений в цифровой вид или операции представления символов
исходных сообщений в другом алфавите с меньшим объёмом.
Из датчика сообщений сообщение поступает в канал, который, в общем случае,
включает в себя последовательно соединённые устройство модуляции, устройства
согласования, канал связи и устройство демодуляции, хотя в конкретных устройствах
некоторые из них могут и отсутствовать. В канале сообщению однозначно ставят в
соответствие некоторые параметры сигнала. Под сигналом понимают некий физический
процесс, однозначно отображающий (несущий) сообщение. При этом один или несколько
параметров избранного сигнала-носителя изменяют в соответствии с передаваемым
сообщением и преобразуют в вид удобный для прохождения по каналу связи.
Такой процесс называют модуляцией, и выполнение его осуществляет устройство
модуляции (модулятор), входящее в состав канала.
Использование модулятора позволяет перейти от исходного сообщения, как правило,
к более высокочастотному сигналу. Использование высокочастотных сигналов при
передаче
сообщений
обусловлено
следующими
основными
причинами:
в
высокочастотных диапазонах меньшее влияние на передачу оказывают внешние помехи,
например атмосфера, электромагнитные естественные и искусственные наводки; чем
выше несущая частота, тем выше скорость передачи и большее число каналов можно
организовать при передаче сообщения по линии связи.
Обратное преобразование модулированных сигналов в исходное сообщение
производится устройством демодуляции (демодулятором).
Под каналом связи понимают совокупность технических средств и физических сред,
в которой происходит передача сообщения c помощью материальных сигналов, но
которая ограничивает возможность их передачи по скорости, объёму и спектру.
Для согласования канала связи с устройствами модуляции и устройствами
демодуляции служат устройства согласования.
Приёмник сообщений включает в себя декодирующее устройство (декодер),
осуществляющее операцию восстановления исходного сообщения в первоначальном виде
по принятому сигналу. Эту операцию называют декодированием. Кроме декодера в состав
приёмника сообщений входит приёмное устройство, преобразующее полученное исходное
53
сообщение в вид удобный для получателя. В этом виде принятое сообщение поступает
получателю, которому была адресовано исходное сообщение. В качества получателя
используется либо субъект (человек) либо некое решающее устройство, способное
принимать решения на основе полученного сообщения.
В реальных системах передачи информации на сигналы, передаваемые по каналу,
воздействуют различные возмущения, поэтому сигнал, прошедший по каналу, как
правило, искажён вследствие воздействия затухания, искажения и воздействия помех.
Помехами называют любые возмущения, как внешние, так и внутренние, вызывающие
отклонение принятых сигналов от переданных сигналов. И хотя помехи воздействуют на
все устройства, входящие в систему, влияние помех, обычно, приводят к каналу. События,
заключающиеся в искажении переданных сигналов, называют ошибкой. Из-за ошибок
сигналы на выходе канала могут отличаться от сигналов на его входе (переданных) и
переданное сообщение, в общем случае, может отличаться от посланного. Меру
соответствия принятого сообщения посланному исходному сообщению называют
достоверностью передачи или помехозащищенностью.
Различают дискретные и
непрерывные как источники сообщений, так и
генерируемые ими сообщения. Дискретные источники сообщений генерируют конечное
число различных символов, их алфавит ограничен. Непрерывные источники сообщений
обладают бесконечным алфавитом, поэтому непрерывные сообщения описываются
непрерывными функциями, принимающими непрерывное множество значений из
некоторого промежутка (речь, телевизионное изображение). В зависимости от того, для
передачи какого вида сообщений (дискретных или непрерывных) используется канал, он
называется дискретным или непрерывным соответственно, иногда используют и
дискретно – непрерывные каналы.
Анализ процессов передачи сообщений по каналам во многом определяется
влиянием шумов или помех. Если вредным воздействием помех в канале можно
пренебречь, то при его анализе используют модель канала в виде идеализированного
канала, называемого каналом без помех. Такому каналу присуща тождественность
сообщений на входе и выходе канала.
Если же влияние помех значительно и пренебрежение несоответствия входного и
выходного сообщения недопустимо, то используется более сложная модель канала – канал
с помехами.
Теоретически, в идеальном случае, при передаче сообщений по каналам без помех
никаких проблем передачи сообщений не возникает. Однако на практике, техническая
54
реализация таких каналов трудноосуществима, да и сам процесс передачи сообщений по
таким каналам проблематичен. Действительно, в этом случае любой непрерывный сигнал
(импульс) конечной длительности, значение информационного параметра которого на
выходе канала может быть измерено с неограниченной точностью, обладает бесконечным
алфавитом, а, следовательно, с его помощью может быть передано бесконечно большое
количество информации, что противоречит здравому смыслу.
Поэтому рассмотрение процесса передачи сообщений по каналу без помех
нецелесообразно, и в практической деятельности имеет смысл рассматривать только
процессы передачи сообщений по каналам с шумами. Такому виду каналов присущи
ошибки, вызванные тем, что шумы и помехи искажают передаваемое сообщение так, что
передаваемый дискретный символ 𝑥𝑖 может быть опознан как 𝑦𝑖 или непрерывное
сообщение 𝑥(𝑡) может быть принято как 𝑦(𝑡), причём
𝑦(𝑡) ≠ 𝑎 ∙ 𝑥(𝑡 + 𝜏),
где α – постоянный коэффициент;
τ - задержка сигнала во времени - интервал времени от отправки сигнала
передатчиком до его приема приемником.
Канал считается заданным, если известны статистические данные о сообщениях на
его входе и выходе и ограничения, накладываемые на входные сообщения физическими
характеристиками канала.
Технические характеристики канала определяются принципом действия входящих в
него устройств, видом сигнала, свойствами и составом физической среды, в которой
распространяются сигналы, свойствами применяемого кода.
Оценка качества канала (т.е. эффективность канала), как правило, осуществляется по
трём основным показателям: достоверности, средней скорости передачи и сложности
технической реализации. Хотя с практической точки зрения сложность технической
реализации
может
иметь
решающее
значение,
при
определении
предельных
(потенциальных) информационных возможностей системы целесообразно оценивать
качество канала достоверностью и средней скоростью передачи.
Средняя скорость передачи (скорость передачи) характеризует среднее количество
информации, передаваемое по каналу в единицу времени. Эта характеристика напрямую
зависит от наличия шумов и помех. Так как в любом реальном канале связи всегда имеют
место помехи и искажения как детерминированного, так и случайного характера, то это
ведет к потере информации в канале. Действительно, если на передающем конце канала
количество информации, приходящейся на один символ сообщения равно I1, то
55
вследствие воздействия шума после прохождения канала на один символ принятого
сообщения будет приходиться количество информации равное I2, причем
I2 = I1 – ΔI ,
где ΔI представляет собой количественную меру потери информации при передаче
одного символа. Так как среднее количество информации, переносимое одним символом
по каналу с шумом, уменьшается, то, очевидно, что снижается и пропускная способность
(т.е. предельное максимальное количество информации, которое может быть передано за
единицу времени) канала с шумом по сравнению с каналом без шумов.
Достоверность
или
помехозащищенность
канала
–
одна
из
важнейших
характеристик канала. Эта характеристика канала определяет меру соответствия
принятого сообщения посланному исходному сообщению.
Достоверность дискретного канала (П) обычно оценивается через вероятность
ошибочного приема одного символа (P0):
П log 2 (1 / P0 ) ,
а о достоверности непрерывного канала судят по значению среднеквадратической
ошибки ( M ( )) при передаче сообщения.
2
T
1
M ( ) M ( x(t ) u (t )) ( x(t ) u (t ))2 dt ,
T 0
2
2
где x (t ) – сообщение на входе канала;
u(t ) – сообщение на выходе канала;
Т – длительность сигнала;
M – оператор нахождения математического ожидания.
Повысить
достоверность
или
помехозащищенность
канала
и
тем
самым
застраховаться от ошибок при передаче сообщений по каналу связи с шумами можно
путем многократных повторных передач. Очевидно, чем большее число раз будет
повторена передача одного и того же сообщения, тем больше достоверность принятого
сообщения. Помехозащищенность канала при многократных повторных передачах ( П n )
определяется выражением:
n
1
П n log 2 n П ,
P0
где n – число повторений;
P0– вероятность ошибочного приема одного символа;
П – помехоустойчивость канала без повторения передач.
56
Очевидно,
что
многократное
повторение
сообщений
ведет
к
росту
помехозащищенности, но, в тоже время, значительно возрастает избыточность и,
следовательно, падает пропускная способность канала. Для полной достоверности
передачи сообщений необходимо бесконечно увеличивать число повторных передач, при
этом бесконечно возрастает избыточность и, следовательно, пропускная способность
канала будет стремиться к нулю, что неприемлемо с практической точки зрения.
Другим путем обеспечения достоверной передачи сообщений по каналу с шумами
является рациональное помехоустойчивое кодирование, теоретическим обоснованием
которого служит теорема Шеннона, которая устанавливает предельные соотношения
между пропускной способностью канала и скоростью передачи информации. Эта теорема,
применительно
к
дискретным
каналам
передачи
информации,
может
быть
сформулирована следующим образом.
Пусть дискретный канал обладает пропускной способностью С(бит/сек), а
дискретный источник сообщения имеет производительность Н(бит/сек), т. е. источник
сообщения создает Н единиц информации в секунду, а канал может пропустить С единиц
информации в секунду. Если H C , то существует правило кодирования (возможно
неизвестное), при котором вероятность ошибок может быть сколь угодно малой, а
скорость передачи информации может сколь угодно приближаться к пропускной
способности канала. Однако, если
H > C , то наименьшая вероятность ошибок, которая
может быть достигнута применением того или иного способа кодирования, ограничена
пределом разности (H - C ).
Из теоремы следует, что для того, чтобы осуществить передачу с наперед заданной
малой вероятностью ошибок, нужно уменьшить скорость передачи сообщений так, чтобы
она стала равной или меньшей пропускной способности канала.
2.2. Передача дискретных сообщений по каналам связи.
Канал связи представляет собой совокупность технических средств и физических
сред, предназначенную для передачи сообщений из одной точки пространства в другую.
Эта передача чаще всего осуществляется в условиях неизбежных помех. В результате
воздействия помех каждый отправленный символ 𝑥𝑖 , принадлежащий алфавиту
передаваемых символов {X} объёмом m, может быть опознан получателем как символ yk ,
принадлежащий алфавиту получаемых передаваемых символов {Y} c таким же объёмом
m, причем
yk 𝑥𝑖 . Такое событие называют ошибкой. 𝑥𝑖
57
Передачу символов сообщения можно рассматривать как составной эксперимент,
состоящий в отправлении символов сообщения xi и получения символов yk . При этом
предполагается, что новые символы (сверх заданного объема алфавита m) не могут быть
созданы под влиянием помех.
С точки зрения теории информации физическое устройство канала несущественно и,
в общем случае, канал считается заданным, если известны статистические данные о
соответствии символов на его входе 𝑥𝑖 и выходе yk и ограничения, накладываемые на
входные сообщения физическими характеристиками канала. Свойства канала при этом
полностью описываются матрицами переходных вероятностей P X , Y или PY , X :
P( x1 , y1 )
P( x , y )
2
1
P( X , Y )
...
P( xm , y1 )
P( x1 , y2 )
P( x2 , y2 )
...
P( xm , y2 )
...
...
...
...
P( x1 , ym )
P( y1 , x1 )
P( y , x )
P( x2 , ym )
2 1
, P(Y , X )
...
...
P( xm , ym )
P( ym , x1 )
P( y1 , x2 )
P( y2 , x2 )
...
P( ym , x2 )
...
...
...
...
P( y1 , xm )
P( y2 , xm )
(2.1)
...
P( ym , xm )
Обе матрицы P X , Y и PY , X равнозначны, поэтому достаточно проанализировать
одну из них, например P X , Y . Элементами матрицы P X , Y служат соответствующие
вероятности Pxi , yk , выражающие вероятность одновременного появления пары символов
𝑥𝑖 ( xi X ) на входе канала и yk ( yk Y ) на его выходе. Так как всё множество таких
событий составляет полную группу событий, то очевидно, что
m
m
P( x , y ) 1.
i 1 k 1
i
k
В соответствии с теоремой вероятности произведения двух случайных событий,
вероятность совместного появления символов может быть выражена через условные
вероятности:
P xi , yk P xi P yk / xi P yk P xi / yk ,
(2.2)
где: Pxi , yk - вероятность появления символа 𝑥𝑖 ;
Pxi , yk - вероятность появления символа 𝑦𝑘 ;
P xi / yk - условная вероятность появления символа 𝑥𝑖 при условии, что символ yk
уже появился;
P yk / xi - условная вероятность появления символа yk при условии, что символ 𝑥𝑖
уже появился.
58
Подставив соответствующее значение Pxi , yk из (2.2) в матрицу P X , Y и разделив
элементы i-ой строки на соответствующее значение P xi , получим матрицу условных
вероятностей PY / X , элементы которой P yk / xi выражают условную вероятность
появления символа yk при зафиксированном символе 𝑥𝑖 , т. е. – вероятность получения
символа yk , если зафиксирован (передается) символ xi .
P( y1 / x1 )
P( y / x )
2
1
P(Y / X )
...
P( ym / x1 )
P( y1 / x2 )
P( y2 / x2 )
...
P( ym / x2 )
...
...
...
...
P( y1 / xm )
P( y2 / xm )
.
...
P( ym / xm )
(2.3)
Анализ матрицы PY / X , показывает, что каждая i-ая строка этой матрицы
представляет
собой
условное
распределение
передаваемых
зафиксированном конкретном выходном символе
символов
xi
при
yk , а каждый k-ый столбец
представляет собой условное распределение выходных символов yk при условии, что
зафиксирован конкретный входной (передаваемый) символ xi . Очевидно, что сумма
вероятностей условного распределения P y k / xi , при любом фиксированном xi , как сумма
вероятностей полной группы событий, равна единице, т. е.
P y / x 1.
k
i
k
Аналогично, сумма вероятностей условного распределения Pxi / y k , при любом
фиксированном
yk , как сумма вероятностей полной группы событий, также равна
единице,
Px / y 1.
i
k
i
Как следует из теории вероятности, суммируя строки матрицы P X / Y , можно
получить закон распределения P(yk) выходных символов, принадлежащих алфавиту
выходных символов {Y}, а суммируя столбцы – распределение P(xi) передаваемых
символов в алфавите передаваемых символов {X}. Эти законы распределения могут быть
представлены в виде ряда распределения:
59
P( X )
x1
x2
... xm
Px1 Px2 ... Pxm
P(Y )
и
y1
y2
...
ym
.
P y1 P y2 ... P ym
(2.4)
Если помехи отсутствуют, то все диагональные элементы матрицы PY / X равны
единице, а остальные – нулю. При очень больших помехах все элементы матриц могут
быть приблизительно одинаковыми.
При наличии помех, передача конкретного символа
неопределенность относительно полученного символа
распределения
можно
получить
основные
xi не снимает полностью
yk , однако зная законы
информационные
характеристики
описывающие передачу дискретных символов по каналу.
Неопределенность
(энтропия)
передаваемых
символов
при
условии
их
независимости ( H ( x )) :
m
H ( x) P( xi ) log 2 P( xi ) .
(2.5)
i 1
Неопределенность (энтропия) полученных символов ( H ( y )) :
m
H ( y) P( yk ) log 2 P( yk ) .
(2.6)
k 1
Неопределенность (энтропия) получения символов при зафиксированном символе xi:
m
H y / xi P yk / xi log 2 P yk / xi . .
(2.7)
k 1
Эта величина называется частной энтропией принятых символов.
Полная энтропия принятых символов вычисляется усреднением H y / xi по
вероятностям передаваемых символов xi :
m
H y / x H y / xi Pxi
(2.8)
i 1
Величину H y / x называют средней условной энтропией или просто условной
энтропией принимаемых символов.
Неопределенность (энтропия) передаваемых символов H x / yk при
зафиксированном принятом символе y k :
M
H x / yk Pxi / yk log 2 Pxi / yk .
(2.9)
i 1
Эта величина является частной энтропией передаваемых символов.
60
Полную энтропию передаваемых символов находят усреднением энтропии
H x / yk по вероятностям принимаемых символов yk :
m
H x / y H x / yk P yk .
(2.10)
k 1
Наличие помех ведёт к уменьшению количества информации содержащейся в
полученном символе по сравнению с количеством информации содержащейся в
передаваемом символе. Действительно, в соответствии с основным соотношением теории
информации (1.3), прирост количества информации (I ), связанный с приемом одного
символа сообщения, определяется выражением:
I = log 2
P2
= log 2 P2 - log 2 P1 = H ( x) - H x
y
P1
( )
где P1 – априорная вероятность появления символа;
P2 – апостериорная вероятность появления этого же символа.
Справедливо также соотношение:
( x)
I = H ( y) - H y
.
Из этих выражений видно, что, по мере уменьшения помех, величина I будет
стремиться к H ( x) , а при увеличении помех будет стремиться к нулю.
2.3. Передача непрерывных сообщений по каналам связи.
При отсутствии помех непрерывное сообщение x(t ) после прохождения канала
принимается как сообщение y (t ) :
y t a xt ,
(2.11)
где a и τ - константы, характеризующие соответственно ослабление и запаздывание
сигнала, которые обычно несущественны с точки зрения определения количества
информации, содержащегося в сообщении.
Если же непрерывное сообщение x(t ) при прохождению по каналу подвергается
влиянию помех, то равенство (2.11) может быть нарушено для всех или некоторых
моментов времени. Такое событие называют ошибкой.
Источник непрерывных сообщений удобно представить в виде непрерывной
случайной величины X , которая после прохождения канала преобразуется в непрерывную
61
случайную величину Y . Как известно, полная энтропия непрерывных величин X и Y
стремится к бесконечности, а их дифференциальные энтропии конечны.
Количество информации в непрерывных случайных величинах X и Y , при наличии
шумов, можно определить предварительно проведя их дискретизацию по уровню т.е.
преобразовав их в дискретные случайные величины. А после определения содержащегося
в них количества информации, выполнить предельный переход, когда число уровней
дискретизации стремится к бесконечности. Эта операция подробно рассмотрена в основах
теории информации (§1.9).
Таким образом можно определить количество информации ( I ) случайной
непрерывной величины X , содержащейся в непрерывной случайной величине Y:
I pXY ( x, y ) log 2
где
p XY ( x, y )
dxdy
pX ( x) pY ( y )
p XY ( x, y) p X ( x) pY y pY ( y) p X x
x
y
(2.12)
–
совместная
плотность
распределения вероятности величин X и Y;
p X ( x), pY y – плотность распределения случайных величин X и Y соответственно.
Из анализа формулы (2.12) можно сделать следующие выводы.
1. Если помехи столь велики, что случайная величина Y практически не зависит от
случайной величины X , т.е. pY x pY y то
y
p XY x, y p X ( x) pY y
и, следовательно, количество получаемой информации ( I ), вычисленное по
формуле (2.12), равно нулю.
2. Если помеха ( n ), представленная в виде непрерывной случайной величины, носит
аддитивный характер, то есть
Y = X + n,
причем, случайная величина X и помеха n независимы (что обычно выполняется), то
pY y pn ( y x) pn (n)
x
где pn(y - x) = pn(n) – плотность распределения вероятности помехи n.
В этом случае, как показано в (§1.11).
𝐼 = 𝐻(𝑦) − 𝐻(𝑛),
62
где I – среднее количество информации в символе передаваемого непрерывного
сообщения x, которое можно извлечь из зашумлённого символа принятого
сообщения y ( y x n );
Н ( у) pY ( y) log 2 pY ( y )d ( y ) - дифференциальная энтропия сигнала Y;
Н (n) pn (n) log 2 pn (n)d (n) - дифференциальная энтропия шума n.
2.4. Согласование каналов с сигналами.
Любые сигналы, как в виде дискретных сигналов, так и в непрерывной или
аналоговой форме, можно характеризовать следующими параметрами: мощностью (или
интенсивностью), частотным диапазоном и длительностью.
Среди них важнейшее значение имеет мощность сигнала, однако практически, из-за
наличия шумов, свойства сигнала как переносчика информации определяются не
абсолютной его величиной, а превышением уровня сигнала над уровнем помех. За
количественную меру интенсивности сигнала принимают отношение
Hc
Pc
,
Pп
или же логарифм этого отношения в виде:
H c 10 lg
Pc
,
Pп
единица измерения которого носит название децибел (дБ).
Следующим важнейшим параметром любого сигнала является ширина его полосы
частот или частотный диапазон Fc , представляющий собой разность между максимальной
fmax и минимальной fmin частотами, которые содержатся в спектре сигнала:
Fc = fmax - fmin .
Сигнал характеризуется также длительностью Tc равной разности между временем
окончания сигнала tk и временем его начала tн:
Tc t k t н
Произведение Vc = Hc FcTc называется объемом сигнала.
63
Аналогичными параметрами можно характеризовать и канал (канал передачи
сообщений): Hk – допустимый диапазон изменения мощности в канале, Fk– ширина
спектра частот, пропускаемых каналом, Tk – время, в течении которого канал занят.
Тогда свойства канала можно характеризовать произведением
Vk H k Fk Tk ,
которое называют емкостью канала.
Очевидно, что передача сигнала по каналу связи возможна лишь при соблюдении
условий:
Hk Hc ,
Fk Fc ,
(
2.13)
Tk Tc .
Из этих ограничений следует, что и H k Fk Tk H c Fc Tc и, следовательно,
Vk Vk . Таким образом, сигнал можно передать по каналу связи без искажений только в
том случае, если емкость канала больше или равна объему сигнала. Ограничения (2.13),
касающиеся отдельных параметров сигнала: мощности, частоты и времени, являются
относительными и при определенных условиях, за счет некоторых преобразований
исходного сигнала, могут быть преодолены.
Когда канал имеет меньшую полосу пропускания, чем практическая ширина
спектра, подлежащего передаче сигнала, последнюю можно уменьшить за счет
увеличения длительности сигнала. Объем сигнала при этом сохраняется неизменным.
Практически такое преобразование можно осуществить, например, посредством записи
сигнала на магнитную ленту с высокой скоростью и последующего воспроизведения со
скоростью, при которой ширина его спектра равна полосе пропускания канала.
Если, наоборот, широкополосный канал предоставляется на время меньшее
длительности сигнала, то согласование осуществляется за счет расширения спектра
сигнала. Для реализации также может использоваться накопитель на магнитной ленте,
однако в данном случае скорость воспроизведения должна быть выше скорости записи.
При низком превышении уровня сигнала над уровнем помех. в канале
преобразование может заключаться в уменьшении уровня превышения передаваемого
сигнала с одновременным увеличением его длительности путем многократного
повторения передачи. Возможны и другие виды преобразований.
64
Представляет интерес связь между ёмкостью канала (Vk H k FkTk ) и максимальным
количеством информации I m ax (Vk ) , которое может содержать передаваемый по этому
каналу сигнал.
В соответствии с формулой Хартли, предельное количество информации, которое
может быть передано по каналу связи за время Тк,
I max (Vk ) Tk Fk log 2 (1
Pc
),
Pп
где: Tk – время занятия канала;
Fk– ширина спектра частот, пропускаемых каналом;
(Pc) - мощность сигнала;
(Pп) - мощность помехи.
Если
Pc
Pп
>>1,
то
при
условии
обеспечения
посредством
необходимых
преобразований сигнала полного использования физических возможностей канала,
максимальное количество информации, которое может содержать передаваемый по этому
каналу сигнал, будет определяться выражением:
I max(Vk ) Tk Fk log 2 (1
Pc. max
),
Pп
где (Pc.max) – максимальная мощность сигнала.
Основным назначением любой информационной системы, а, следовательно, и канала
связи, является передача сообщений, содержащих какую-либо информацию, с заданным
качеством.
По аналогии с информационными характеристиками источников сообщений (§ 1.6),
для каналов передачи сообщений так же можно использовать информационные
параметрами, характеризующие их качество. Одной из важнейших характеристик,
определяющих качество канала, является скорость передачи информации (Q), под
которой понимают среднее количество информации передаваемое по каналу в единицу
времени. Для вычисления значения Q можно использовать соотношение:
Q W H ,
где W - техническая скорость передачи символов сообщений, под которой
подразумевают число элементарных сигналов (символов), передаваемых по каналу в
единицу времени (символ / сек.).
65
H – среднее количество информации, приходящиеся на один символ сообщения (бит
/ символ).
Техническая скорость передачи символов сообщений (W) зависит от свойств и
технических средств канала. С учетом возможных различий в длительностях символов,
можно считать, что
W
1
cp
,
где cp - среднее значение длительности символа.
За единицу измерения скорости передачи информации (Q) принимается бот = бит
сек.
Для теории и практики важно знать, до какого предела и каким путем можно
повысить скорость передачи информации по конкретному каналу, поэтому другой важной
характеристикой канала является предельное (максимальное) количество информации,
которое может быть передано по нему за единицу времени. Данная характеристика
получила название пропускной способности канала (С):
C max Q max( W H ) W max H W log 2 m,
где m – объём алфавита передаваемого сообщения.
Пропуская способность канала измеряется также как и скорость передачи
информации в ботах.
Пропускная способность канала имеет ограниченное значение, как при передаче
дискретных сообщений, так и непрерывных сигналов. Это объясняется тем, что при
увеличении числа возможных значений сигнала (xk) увеличение количества передаваемой
информации возможно лишь до тех пор, пока возможно уверенное распознавание этих
значений. Если же отличия между соседними значениями сигнала (Δx) становится меньше
среднего уровня шума, то увеличение числа возможных значений сигнала не увеличивает
количества передаваемой информации. Поэтому пропускная способность канала растет с
увеличением
отношения
полезного
сигнала
к
шуму
(отношение
сигнал/шум).
Количественное соотношение между пропускной способностью канала связи ( C ) при
передаче непрерывных сообщений, его частотными характеристиками и средними
мощностями сигнала и шума ( Pc и Pш) определяется соотношением:
P
C f B log 2 1 c (бит/сек)
Pш
(2.14)
66
где f B – верхняя граничная частота в спектре частот канала.
67
Глава 3. Использование информационных моделей при анализе систем
автоматической обработки изображений.
3.1. Системы. Моделирование систем. Общие понятия.
Понятие системы является одним из важнейших во многих отраслях науки и
техники. Единого общепринятого определения системы не существует, но в самом
широком смысле под системой понимают некое множество, элементы которого
закономерно связаны между собой. Иными словами, если событие X в элементе mi
множества M определенным, закономерным образом приводит к событиям в других
элементах m j , mk , и т.д. этого множества, то можно утверждать, что между элементами
mi и m j , mi и mk и т.д. существует определенная связь. Вот такие множества, в которых
наблюдаются определенные взаимосвязи между элементами и носят название систем.
При этом, элементами множеств (а, следовательно, и систем) могут быть те или
иные предметы, явления, процессы, знания и многое другое. Соответственно можно
говорить о системе уравнений, об оптической системе, о системе передачи данных и т.п.
Существует разновидность систем, у которых событие X в каком-либо элементе
однозначно определяет события в других элементах. В таких системах связи между
элементами и событиями в них строго и однозначно определены, детерминированы,
поэтому
подобные
системы
называют
детерминированными.
Примером
детерминированных систем могут служить ЭВМ, телевизор, автомобиль и т.п.
В отличии от детерминированных систем существуют системы иного вида, у
которых связи между элементами и событиями в них носят вероятностный характер, такие
системы называют вероятностными или стохастическими.
Важнейшим свойством системы, являющимся убедительным проявлением закона
диалектики о переходе количества в качество, является неаддитивность свойств
совокупности элементов, образующих систему, свойство ее нелинейности, выражающиеся
в приобретении
системой
свойств
не вытекающих из
свойств
её элементов.
Действительно, свойства автомобиля как системы, способной к самостоятельному
движению, никак не могут быть получены путем суммирования отдельно взятых свойств
ее элементов: колес, топлива, педалей и т.д.
Этот принцип появления в системе свойств, не выводимых из наблюдаемых свойств
элементов и связей между ними, называют принципом эмерджентности (англ. emergent
[ɪˈmɜːʤənt] - неожиданно появляющийся).
68
Обязательными компонентами любой системы всегда являются элементы и связи
между этими элементами, что в совокупности определяет структуру системы. Структура это определенная взаимосвязь, взаиморасположение составных частей, характеризующее
строение системы.
В общем случае, любой элемент системы может быть расчленен на более мелкие
составляющие (вплоть до молекул). Однако, на практике условились называть элементом
системы такую ее часть, которая выполняет определенную специфическую функцию.
При исследовании, анализе и моделировании различных систем пользуются
идеализированными моделями элементов и систем.
Идеализированный элемент представляет некий абстрактный элемент, у которого
отсутствуют любые физические свойства кроме способности к реализации связей с
другими элементами.
Совокупность идеализированных элементов, объединенных необходимыми связями,
образует идеализированную модель системы и важнейшей характеристикой элемента в
системе является его способность к установлению связей, т.е. к порождению (генерации)
или восприятию (поглощению) связей.
Необходимо отметить, что все три вида связей (вещественные, энергетические и
информационные) существуют всегда неотделимо друг от друга, но в зависимости от того,
какой вид связи является определяющим, данную связь и даже всю систему можно
отнести к одному из перечисленных видов. Исходя из этого, можно говорить о
материальных, энергетических и информационных системах.
Анализ процессов, протекающих в различного рода системах часто сопряжен со
значительными трудностями. В то же время нередко бывает так, что те или иные свойства
и характеристики, трудно обнаруживаемые в какой-либо системе, сравнительно заметно
проявляются в другой системе, сходной с первой системой по определенным признакам.
Это дает возможность использовать в процессе познания методы аналогии и
моделирования, то есть объяснять неизвестное через известное и понятное.
Аналогию определяют как сходство или подобие в определенном отношении между
различными предметами или явлениями, а моделирование - это создание аналогий.
Однако при использовании метода аналогий нужно отчетливо представлять, что эти
выводы не являются абсолютно достоверными, а носят лишь вероятностный характер.
Процесс разработки аналогий называют моделированием, а модель – это результат
моделирования. В общем случае, модель представляет собой искусственный, созданный
человеком объект любой природы, который замещает или воспроизводит исследуемый
объект так, что ее изучение способно давать новую информацию об этом объекте, при
69
этом модель является неким отображением объекта (системы или явления) в некоторой
форме, которая может отличаться от формы существования реального объекта. При этом
следует помнить, что модель несовершенна, она ни в коем случае не замещает реальный
объект, а является только его некоторым отображением.
Модели принято делить по следующим видам.
-
Геометрические модели, которые представляют собой некоторый объект
геометрически подобный своему оригиналу. Поэтому при построении геометрических
моделей
основную
роль
играет
их
геометрическое
подобие,
а
не
процессы
функционирования.
- Физические модели отражают подобие между оригиналом и моделью не только с
точки зрения их формы и геометрических соотношений, но и с точки зрения
происходящих в них основных физических процессов. При физическом моделировании
модель и оригинал, как правило, имеют одну природу.
-
Предметно-математические
модели
предполагают
лишь
тождественность
математического описания процессов в оригинале и модели, хотя эти процессы и могут
развиваться на совершенно отличной материальной основе. Это материальная система в
которой проходят иные физические процессы, чем в оригинале, но те и другие
описываются одинаковыми математическими выражениями. Например, колебания
маятника, струны, тока в колебательном контуре.
- Математические модели - это абстрактные воображаемые модели, которые не
требуют материального воплощения и представляют собой аналитическое описание
идеализированных объектов и систем, адекватных реальным, с помощью символов,
знаков и операций над ними.
Математические модели относятся к идеальным моделям, которые в отличие от
физических или геометрических (масштабных) моделей рассматривают изучаемый объект
только с интересующих исследователя сторон, потому что полное описание даже самого
простого объекта, как правило, бывает очень сложным.
Математическое моделирование отличается универсальностью и экономической
эффективностью, причём практика показывает, что исследования, выполненные на
абстрактных (математических) моделях дают результаты, близкие к реальности.
Сравнивая математические модели и физические следует отметить, что физическая
модель, как всякий реальный процесс, в значительной мере подвержена воздействию
случайных помех, однако, в математической модели случайные помехи принципиально
отсутствуют, хотя и здесь могут присутствовать некие специфические помехи, например,
неточности расчётов и округления, но их можно сделать пренебрежительно малыми или
70
даже пренебречь ими. Поэтому, с точки зрения погрешности математическая модель
предпочтительней физической.
Математические модели можно разделить на два класса: аналитические и
имитационные.
При аналитическом моделировании устанавливаются аналитические (формульные)
зависимости между параметрами объекта моделирования, его входами, состояниями и
выходами в виде различного рода уравнений или неравенств, что позволяет с достаточной
точностью моделировать лишь относительно простые объекты.
Если система сложна, то приходится накладывать на модель жесткие ограничения и
прибегать к ряду упрощений. Однако и в этом случае стремятся к построению
аналитической модели, так как она обеспечивает получение хотя бы и приближенного, но
достаточно простого и легко обозримого решения.
При построении и решении задач моделирования сложных детерминированных
систем удобно пользоваться понятием «черного ящика», введенным У.Р.Эшби. «Черным
ящиком» (рис.3.1) называют систему, внутреннее строение которой неизвестно, а
доступными являются только входы и выходы системы.
Xk
xk1
xk2
...
xkm
yk1
yk2
...
ykn
Yk
Рис. 3.1
При подаче на m входов системы «черного ящика» множества (P) воздействий
X X1 , X 2 ,..., X p ,
(3.1)
где
X 1 x11 , x12 ,..., x1m
X k xk 1 , xk 2 ,..., xkm
X p x p1 , x p 2 ,..., x pm .
на п выходах системы можно наблюдать соответствующее множество реакций:
Y Y1 , Y2 ,...,Y p ,
(3.2)
где
71
Y1 y11 , y12 ,..., y1n
Y k y k 1 , y k 2 ,..., y kn
Y p y p1 , y p 2 ,..., y pn
Если осуществить достаточно длительный эксперимент, который будет заключаться
в реализации наборов входных воздействий X 1 , X 2 ,..., X p и наблюдений имеющих место
при этом реакций Y1 , Y2 ,..., Yp , и далее сопоставить и проанализировать результаты этого
эксперимента, то, несмотря на незнание внутренней структуры исследуемой системы,
можно составить более или менее правильное представление о ее поведении в различных
условиях. Это дает возможность путем интерполяции осуществлять и относительно
достоверное предсказание поведения системы при любых входных воздействиях.
Методом «черного ящика» удобно пользоваться в том случае, когда ставится задача
моделирования функционирования какой-либо системы при различных условиях, а не
моделирование внутреннего строения системы.
При моделировании сложных систем, функционирование которых зависит от
большого числа факторов, среди которых есть и случайные, основным методом
моделирования становится имитационное моделирование, при котором моделируемая
система или объект моделируется со всеми сопровождающими его случайностями. Для
этого и применяют вероятностные методы, которые не дают точного решения, но
позволяют с достаточной точностью найти в каких пределах будет изменяться искомая
величина или с какой вероятностью можно ожидать то или иное событие.
Суть имитационного моделирования состоит в том, что все, что происходит в
данном объекте или явлении моделируется с учетом всех особенностей данного объекта и
обстоятельств ему сопутствующих, при этом влияние случайных факторов имитируется с
помощью случайных величин или функций, статистические характеристики которых
аналогичны статистическим характеристикам моделируемых объектов.
Одним
из
методов
построения
имитационных
моделей
является
метод
статистических испытаний или метод Монте-Карло, идея которого основана на
организации
случайного
процесса
преобразования
информации,
аналогичного
моделируемому, причем вероятностные характеристики обоих процессов должны быть
максимально близки. В связи с этим метод Монте-Карло часто называют методом
статистического (вероятностного) моделирования.
Особую роль играет имитационное моделирование в решении экологических
проблем.
72
Математическое моделирование, выполняемое с использованием электронных
цифровых вычислительных машин (ЭВМ), часто называют цифровым моделированием.
Цифровое моделирование представляет собой вид математического моделирования,
представляющего собой способ описания реального мира с помощью математических
соотношений и зависимостей, причем при цифровом моделировании эти зависимости
представляются в дискретной цифровой форме.
В настоящее время наиболее широкое распространение получило математическое
моделирование с применением вычислительной техники.
3.2. Информационные модели систем автоматической обработки изображений
В современной науке и технике широко используются системы, служащие для сбора,
обработки или передачи информации. Основное отличие таких систем состоит в том, что
результатом их функционирования являются не материальные или энергетические
объекты реального мира, а лишь сведения или знания о них (информация) и поэтому
основными характеристиками этих систем являются их информационные характеристики.
Такого рода системы носят название информационных систем.
К информационным системам следует отнести и системы автоматической обработки
изображений или результатов дистанционного зондирования. Исходным источником
информации в таких системах чаще всего служат оптические изображения, полученные в
результате регистрации распределения отраженных или излученных электромагнитных
волн оптического диапазона, а цель обработки заключается в получении каких-либо
параметров изображения, его передачи или преобразовании. Поэтому такие системы
принято называть системами автоматической обработки изображений.
Сложность проектирования и исследования информационных систем требует их
моделирования с целью оценки их информационных свойств, причем, учитывая
специфику этих систем, основным видом их моделирования является информационное
моделирование, являющееся видом математического моделирования.
Информационные модели - это вид математических моделей, которые позволяют
моделировать информационные процессы в различных системах.
Общая информационная модель любой системы может быть представлена в виде,
изображенном на рис.3.2.
73
Источник помех
n
Источник
сообщений
x
Датчик
сообщений
y
Канал
Приемник
сообщений
Получатель
сообщений
Рис. 3.2
Отдельные блоки, входящие в общую информационную модель, определяются
следующим образом.
Источник
сообщений
-
физический
объект,
обладающий
возможностью
генерировать сообщение.
Датчик сообщений - техническое устройство, преобразующее исходное сообщение в
изоморфную (аналогичную) форму, удобную для дальнейшей передачи или обработки.
Канал – совокупность технических средств и физических сред, представляющих
собой последовательность преобразователей, которые передают или обрабатывают
исходное сообщение по заданному алгоритму.
Приемник сообщений - техническое устройство, с помощью которого переданное
или обработанное сообщение преобразуется в форму, удобную для получателя.
Получатель - некий объект, способный принимать решения на основе полученной
или обработанной соответствующим образом информации. Так, в качестве получателя
сообщения может быть или человек, или логическое устройство, или регистрирующий
прибор.
Источник помех - совокупность помех и шумов, действующих на отдельные блоки
информационной модели, приведенных к каналу.
Следует отметить, что в конкретных информационных моделях могут отсутствовать
один или даже несколько блоков, приведенных в общей информационной модели.
Информационная модель в общем виде может быть применена при моделировании
самых различных устройств и процессов, связанных с передачей и обработкой
информации. Однако при моделировании конкретного устройства или процесса гораздо
удобнее пользоваться такими информационными моделями, в которых указаны
конкретные функциональные блоки, входящие непосредственно в эти устройства. На
рис.3.3,
в
качестве
примера,
представлена
информационная
модель
системы
автоматической обработки фотоизображений на основе ЭВМ. При этом наряду с
74
функциональными
блоками
системы
показано
и
их
обозначение
в
терминах
информационной модели общего вида.
Фотоизо
бражение
Сканер
Источник
сообщен.
Датчик
сообщен.
АЦП
ЭВМ
Электрооптич.пре
-образ.
ЦАП
Получатель
Изображение
Воспроизводящее
устройство
Канал
Получат
ель
Рис. 3.3
Современные информационные системы, в частности, системы, используемые для
исследования природных ресурсов, представляют собой довольно сложные структуры.
Поэтому
построение
их
информационных
моделей,
как
правило,
требует
их
предварительного разбиения на несколько подсистем, после чего можно переходить к
информационному моделированию каждой отдельной подсистемы с учетом их
информационной согласованности.
Широкое
применение
систем
автоматической
обработки
изображений
и
необходимость при их разработке и эксплуатации учета информационных характеристик
требует более подробного рассмотрения присущих этим системам специфических
составляющих и процессов в них происходящих с точки зрения информационного
моделирования.
3.3. Источники визуальных сообщений
Источники сообщений, входящие в информационные модели систем автоматической
обработки изображений, с целью подчеркивания их специфики, обыкновенно называют
источниками визуальных сообщений. При этом источник визуальных сообщений
определяют как любой физический процесс, происходящий в некоей физической среде и
сопровождающийся излучением или отражением лучистой энергии, при условии, что
мгновенные
состояния
этого
процесса
с
достаточной
полнотой
и
точностью
характеризуются мгновенными пространственными распределениями мощностей и
спектральных составов элементарных потоков лучистой энергии, излучаемых (или
75
отражаемых) различными областями физической среды, в которой протекает данный
процесс.
Приведенное определение требует дополнительных пояснений. Строго говоря,
термин «источник визуальных сообщений» следует применять только к тем источникам,
спектр лучистой энергии которых не выходит за пределы видимой части оптического
спектра, то есть длин волн от 0,450 до 0,700 мкм. Однако, в связи с тем, что основные
физические свойства электромагнитных излучений сохраняются в гораздо более широком
диапазоне длин волн и что аналогичные по принципу действия преобразователи лучистой
энергии, выступающие в качестве датчиков сообщений, также могут быть использованы в
более широком частотном диапазоне, к источникам визуальных сообщений относят
источники
сообщений,
спектр
которых
принадлежит
всей
оптической
области
электромагнитных излучений с длинами волн от 0,01 мкм до 300 мкм. (от ультра
фиолетового излучения до инфракрасного).
За элементарный поток лучистой энергии будем принимать поток, излучаемый (или
отражаемый) элементарной площадкой Q таких размеров, что его мощность и
спектральный состав могут восприниматься только как интегральные величины.
Примером элементарного потока лучистой энергии может служить поток лучистой
энергии, излучаемый звездой или точечным источником света.
По аналогии с терминологией, принятой в теории информации, символом
визуального сообщения называют любое мгновенное состояние источника визуальных
сообщений, то есть отдельное (мгновенное) пространственное распределение мощностей
и спектральных составов потоков лучистой энергии, излучаемых элементарными
площадками источника визуальных сообщений. В этом случае все множество возможных
различных (неповторяющихся) символов визуального сообщения называют алфавитом
источника визуальных сообщений, а любую последовательность символов визуального
сообщения, имеющую для получателя сообщения законченное смысловое (семантическое)
значение - визуальным сообщением.
Если взять в качестве примера аэрофотосъемку земной поверхности, то в терминах
информационных моделей можно считать земную поверхность источником визуальных
сообщений, последовательность аэрофотоснимков, относящихся к одному маршруту, визуальным сообщением, а каждый отдельный аэрофотоснимок - символом визуального
сообщения. Однако отметим, что при информационном моделировании других процессов
аэрофотоснимок уже можно рассматривать как источник визуальных сообщений.
3.4. Моделирование и классификация источников визуальных сообщений
76
Поверхность любого источника визуальных сообщений Q (рис.3.4) можно разбить на
элементарные площадки Qi , излучающие элементарные потоки лучистой энергии, таким
образом, что вся площадь поверхности источника визуальных сообщений будет равна
сумме площадей всех элементарных площадок, то есть Q Qi .
i
Каждый символ визуального сообщения ( Ek ), генерируемый таким источником в
Q
Qi
Рис.3.4
момент
времени
t tk ,
в
общем
случае,
пространственным распределением мощностей
будет
описываться
мгновенным
W x, y, z и спектральных составов
x, y, z элементарных потоков лучистой энергии, излучаемой элементарными
площадками:
Ek Et k W x, y, z ; x, y, z t tk ,
(3.3)
где x, y, z - декартовы координаты центров тяжести элементарных площадок (в
случае разбиения регулярной сеткой – их центры).
Следовательно,
математической
моделью
визуального
сообщения
будет
последовательность во времени дискретных распределений E tk при k = 0, 1, 2,….
Такая модель позволяет охватить все множество источников визуальных сообщений
(ИВС), различных по физической природе и информационным свойствам. На практике
представляет интерес разбиение всего множества ИВС на классы, в которые входят ИВС
однородные по своей структуре, физической природе и информационным свойствам.
Представляется рациональным положить в основу классификации ИВС выражение
(3.3) и классифицировать их по размерности дискретных функций W x, y, z и x, y, z и
по размерности дискретных распределений Ek , описывающих символы визуальных
сообщений.
77
Очевидно, что ИВС могут быть одномерными - Ek W , Ek и двумерными Ek W , , а размерность функций W x, y, z и x, y, z может принимать значения от 0 до
3.
В особый класс можно выделить источники визуальных сообщений, для которых
W
0
Q
то есть
0,
Q
и
(3.4)
распределения W и не зависят от пространственных координат
изображения. По своим физическим свойствам они аналогичны точечным источникам и
полностью характеризуются значением величин W и . Поэтому их называют
интегральными источниками визуальных сообщений.
Все остальные источники, для которых хотя бы одно условие (3.4) не выполняется,
относятся к классу дифференциальных источников визуальных сообщений.
Если для дифференциальных ИВС справедливо, что
dx
dy
dz
x
y
z
W
W
W
и dWi
dx
dy
dz ,
x
y
z
d i
(3.5)
то такие ИВС называют дифференциальными объемными.
Соответственно, ИВС, для которых
0
z
и
W
0
z
(3.6)
называют дифференциальными плоскими (площадными) источниками.
Дифференциальные ИВС, для которых
0;
z
0
y
и
W
0;
z
W
0
y
(3.7)
называют дифференциальными линейными источниками.
Исходя из этого на рис.3.5 представлена классификация источников визуальных
сообщений.
78
ИВС
Интегральные
Одномерные
E{W}
Дифференциальные
Двумерные
Одномерные
Лин.
E{}
E{W}
Плос.
Объем.
кие
ные
E{W}
E{}
E{W}
Двумерные
E{}
Лин.
Плос.
ные
кие
Объем.
E{}
Рис. 3.5
Примерами различных классов источников визуальных сообщений (ИВС) могут
служить:
интегральные одномерные: оптический телеграф ( EW ), светофор ( E );
интегральный двумерный: излучение звезд;
дифференциальный одномерный линейный: оптический плоскостной клин ( EW
), цветовой клин ( E );
дифференциальный одномерный плоский: черно-белое фотоизображение ( EW ),
цветовое поле ( E );
дифференциальный одномерный объемный: черно-белое стереоизображение (
EW ), цветовое тело ( E );
дифференциальный двумерный линейный: спектрограф;
дифференциальный двумерный плоский: цветное фотоизображение;
дифференциальный двумерный объемный: цветное стереоизображение.
При дистанционных методах зондирования в качестве источников сообщения
используют дифференциальные плоские и объемные (как одномерные, так и двумерные)
ИВС. При технической же реализации систем автоматической обработки результатов
дистанционного
зондирования
объемные
ИВС,
как
правило,
приводят
путем
соответствующих проективных преобразований к совокупности нескольких плоских ИВС,
например, объемный ИВС заменяют стереопарой плоских ИВС. А различные участки
оптической области электромагнитных излучений ( 0,01 300мкм ), которым
принадлежат спектры исследуемых ИВС, однозначно преобразуются в видимую часть
79
оптического диапазона с помощью соответствующих датчиков и регистрирующих
устройств, например, инфракрасные ИВС визуализируют в видимой области. Указанные
преобразования выполняют с целью получения ИВС приемлемых для субъективного
визуального контроля и использования, а также для сокращения номенклатуры видов
ИВС
и,
следовательно,
числа
различных
датчиков,
используемых
в
системах
автоматической обработки результатов дистанционного зондирования.
Таким образом, в системах автоматической обработки изображений в качестве
источников сообщений в подавляющем числе случаев используются (или приводятся к
ним) дифференциальные плоские одномерные и двумерные ИВС со спектром
электромагнитных излучений, лежащем в видимой части диапазона оптического
излучения, а символы таких ИВС традиционно называют оптическими изображениями
или просто изображениями (черно-белыми или цветными соответственно). В дальнейшем
при рассмотрении информационных аспектов систем автоматической обработки
изображений именно такие ИВС и генерируемые ими символы (изображения)
используются в них в качестве источников сообщения, при этом полученные результаты
могут быть распространены и на другие виды ИВС.
3.5. Информационный подход к оценке качества оптических изображений
При
проектировании
автоматизированных
систем
обработки
и
передачи
изображений различного назначения одним из основных требований, предъявляемых к
ним,
является
обеспечение
заданного
качества
получения
и
воспроизведения
изображений, что требует выбора количественного критерия для его объективной оценки.
По общепринятой методологии количественная оценка (измерение) характеристик любого
физического объекта или явления подразумевает определение некоей количественной
меры их оценки и выбор единиц измерения этой меры. (Под мерой количественной
оценки понимают некоторое явление или объект, которые однозначно связаны с
измеряемым понятием или явлением). В связи с этим, очевидно, что количественная
оценка качества изображения, как характеристика оптического изображения, требует
выбора меры для оценки качества изображения и единиц ее измерения.
В большинстве применяемых в настоящее время критериев оценки качества
изображений за меру этой оценки принимается разрешающая способность (QR), которая
зависит как от пространственного разрешения изображения, характеризующегося
максимально возможным количеством различимых черных и белых линий на единицу
длины, так и от фотометрического разрешения (контраста), оценивающегося числом
80
различимых уровней (градаций) используемой оптической характеристики изображения,
например,
оптической
плотности.
Числовой
интегрированной
оценкой
качества
изображения при указанном подходе выступает частотно-контрастная характеристика
(ЧКХ), определяющая максимальное число различимых черных и белых линий на
единицу длины при заданном контрасте.
Однако из анализа критериев оценки качества изображений, основанных на
разрешающей способности, следует ряд замечаний.
Во-первых, практическое применение критериев QR часто ведет к завышению
значения разрешающей способности изображений и, как следствие, их качества,
вызванное субъективными особенностями этих методов, которые проявляются в
следующем:
линейные объекты разрешаются глазом значительно лучше, чем точечные;
часто интересующие наблюдателя объекты имеют меньший контраст, чем
контраст черного и белого при сравнении со стандартными мирами;
анализ изображения, как правило, проводится на некотором его фрагменте и в
силу специфики зрения, заключающейся в обобщении и домысливании, получаемое
разрешение оказывается больше, чем разрешение изображения того же качества,
состоящее из двух отдельных точек (семантическая оценка).
Во-вторых, критерии на основе QR не позволяют однозначно учесть влияние
условий получения изображений на их качество. Например, установить, какое из двух
изображений с точки зрения качества лучше: полученное на фотоматериале с высоким
пространственным
разрешением
и
низким
фотометрическим
разрешением
или
изображение, зарегистрированное на фотоматериале с низким пространственным
разрешением и высоким фотометрическим разрешением.
В-третьих, следует отметить, что хотя критерии QR и позволяют оценить качество
конкретного изображения, которое может варьироваться в весьма широких пределах в
зависимости от объекта и условий съемки, тем не менее, они не позволяют установить
граничные значения параметров, характеризующих качество изображения с учетом
заданных условий и целей их получения.
В-четвертых, оценка качества изображения по критерию QR, как правило, не
является корректной, так как оба вида разрешения: пространственное и фотометрическое взаимозависимы.
Перечисленные замечания не позволяют осуществить всесторонне объективную
оценку качества изображения по критерию QR.
81
Другой подход к выбору критерия оценки качества изображения может быть
основан на информационном подходе, т. е. на том факте, что любое изображение
представляет собой заданного вида сообщение, содержащее информацию о каком-либо
объекте или процессе и зависящее от условий формирования этого изображения. При этом
за меру оценки качества изображения предполагается принять наибольшее количество
информации, которое может в нем содержаться, а за единицу измерения этой меры
количество информации, выраженное в битах, отнесенное к единице площади
изображения, то есть энтропию изображения. В дальнейшем введенный таким образом
критерий оценки качества изображения будем определять как информационный и
обозначать его QI.
Критерий QI позволяет, во-первых, для каждого конкретного изображения при
оценке его качества учитывать условия его формирования, и, во-вторых, если данное
изображение подвержено дальнейшей обработке или преобразованию, то повторное
применение этой оценки к изображению, полученному после указанных операций, дает
возможность установить потерю информации или степень ее использования.
С физической точки зрения оптическое изображение можно охарактеризовать как
результат отображения на фиксированный момент времени и заданной ограниченной
поверхности (плоскости) совокупности интегральных источников излучения или
отражения, расположенных вне заданной поверхности. Данное толкование позволяет
перейти к информационному подходу представления изображения, по которому
изображение - это результат преобразования, передачи и воспроизведения информации,
содержащейся в источнике визуального сообщения (излучающей или отражающей
поверхности). При этом предполагается, что источник визуального сообщения (ИВС) в
каждый момент времени соответствует одному из символов алфавита, рассматриваемого
источника
(изображению),
характеризующему
пространственное
распределение
интегральных потоков лучистой энергии, излучаемых (или отражаемых) отдельными
элементарными участками излучающей поверхности.
Информационный подход представления изображения и введенный критерий QI
позволяют отождествить понятие качества оптического изображения с максимально
возможным количеством информации, содержащимся в символе ИВС, где под символом
ИВС (изображением) традиционно понимается любое мгновенное состояние ИВС,
характеризующееся мгновенным распределением энергии и спектрального состава
излучения, генерируемого элементарными участками ИВС.
Для построения информационной модели и получения расчетных формул оценки
качества оптического изображения по критерию QI ограничим область задания
82
изображения прямоугольным участком Q, разбитым регулярной квадратной сеткой на
элементарные участки Qij (пиксели, элементы разложения) такого размера, что в каждом
из
них
значение
рассматриваемого
информационного
параметра
оптического
изображения, например, яркости (U) является постоянным (рис.3.6).
Q
Q11
Qij
Рис. 3.6
Отметим, что такое разбиение всегда можно выполнить, так как любому реальному
процессу или явлению свойственна инерционность (то есть конечное время или
пространство переходного процесса) и поэтому всегда будет существовать достаточно
малая, но конечная часть изображения, которую можно считать интегральным
источником оптического сообщения. Предполагая, что значения U ij равновероятны и
некоррелированы (в этом случае энтропия максимальна), количество информации (I),
содержащееся в любой подобласти Q0 Q , обладающей площадью S0 , можно найти
исходя из определения количества информации по Хартли согласно формуле:
I N log2 m бит ,
где N
(3.8)
Sо
- общее число пикселов, содержащихся в подобласти Q0 ;
S
S0 , S - значения площадей соответственно подобласти Q0 и пиксела (элементарного
участка) Qij ;
m - объем алфавита пикселов, то есть количество различимых дискретных значений
информационного параметра U.
Очевидно,
что
для
любых
реальных
ИВС
число
дискретных
значений
информационного параметра - конечно, так как при их формировании всегда
присутствуют шумы, обусловленные молекулярной структурой физических объектов и
квантовой природой лучистой энергии. Поэтому, если известен интервал допустимых
значений информационного параметра (U) и величина шума ( U ), то значение m может
быть определено из соотношения:
83
m
U
1.
U
В результате соотношение (3.8) преобразуется к виду:
I
Sо
U
log2
1 бит ,
S
U
(3.9)
а максимально возможное количество информации, содержащееся в ИВС площадью
S0 , будет определяться выражением:
I max
U
Sо
log2
1 бит ,
Smin
U max
(3.10)
где: S min – минимально возможное значение площади пиксела;
U
- максимально возможное значение отношения сигнал/шум.
U max
Если выбрать подобласть Q единичной площади (скажем, S0 1 м2), то максимально
возможное количество информации (H), содержащейся в ней
H
U
log 2
1бит м 2 .
Smin
U max
1
(3.11)
может служить численной оценкой качества изображения.
Таким образом, величина H, характеризующая качество изображения по критерию
QI, определяется двумя параметрами: площадью минимально различимого элемента
U
разложения (пиксела) S min и максимальным значением отношения сигнал/шум
.
U max
Нахождение этих параметров на практике затруднено, так как они, во-первых,
коррелированы,
а,
во-вторых,
зависят
от
условий
формирования
изображения.
Действительно, при уменьшении площади элемента разложения ИВС отношение
сигнал/шум падает, а уменьшение освещенности ведет и к падению отношения
сигнал/шум, и к увеличению размеров минимального различимого элемента разложения
площадью Smin .
Определить функциональную связь между площадью элемента разложения ( S ) и
U
отношением сигнал/шум
, а также их зависимость от условий освещенности
U
возможно, исходя из квантовой теории света, согласно которой оптический луч
представляет собой поток фотонов. Таким образом, любой ИВС можно рассматривать как
некую поверхность, каждый элемент разложения которой Qij излучает (или отражает)
фотоны с различной интенсивностью ( Фij ), т.е.
84
Фij Ф xi ;y j ,
(3.12)
где xi ; y j - декартовы координаты элемента разложения Qij .
Несамосветящиеся ИВС могут генерировать символы визуальных сообщений только
в том случае, если они освещены и отражают падающий на них некий равномерный поток
фотонов.
Интенсивность (яркость) ( Фij ) определяется как количество фотонов ( nij ),
излученных элементом разложения Qij площадью S за время t :
Фij
nij
S t
.
(3.13)
Таким образом, любой источник оптических сообщений (F), при заданном t и
одинаковых по площади ( S ) элементов разложения, можно представить в виде
совокупности этих элементов разложения (Qij ) , каждый из которых излучает
определенное число ( nij ) квантов света, то есть
, ,...,m; j=12
, ,...,k;
F= Фij nij nxi ,y j при i=12
i, j
i, j
(3.14)
i, j
Представляет интерес определение минимального числа фотонов в световом потоке,
равномерно падающем на ИВС, которое обеспечит получение ИВС и соответствующего
изображения с заданным качеством по критерию QI.
Очевидно, что минимальное количество равномерно распределенных падающих
фотонов ( n1 ), необходимое для построения любого контурного (содержащего только два
уровня яркости) ИВС, состоящего из N элементов разложения, будет
n1 N .
(3.15)
Но если требуется получить полутоновый ИВС и соответствующее ему полутоновое
изображение с некоторой заданной минимальной различимой разностью яркостей
(минимальным контрастом) элементов разложения (с), или с заданным числом градаций,
задаваемых отношением сигнал/шум
U
1
, то минимальное количество фотонов ( n2 ),
U c
необходимое для построения такого изображения, должно быть равным:
n2
U
1
n1 n1 ,
U
c
(3.16)
85
n n
ij
i 1; j 1
где c min
, при i=1,2,….m; j=1,2,….k – минимальное отношение
nij
разности числа падающих на соседние пикселы фотонов к их числу падающих на один
пиксел.
Излучение фотонов, а, следовательно, и их падение на некоторую площадку
определяется квантовыми законами и носит случайный характер. Число излучённых
фотонов, а, следовательно, и число падающих на некоторую площадку, как известно,
подчиняются, закону распределения Пуассона, из которого следует, что вероятность
излучения количества фотонов P n , испускаемых каким-либо светящимся телом за
время T, описывается выражением:
n0n n0
P n
e ,
n!
(3.17)
где n0 - среднее количество испускаемых фотонов;
n - фактическое количества испускаемых фотонов.
Поэтому в действительности число фотонов, падающих на каждый элемент
изображения за время T, будет подвержено флуктуациям, распределенными вокруг
среднего значения n2 так, что их среднеквадратическое отклонение (в соответствии с
1
среднеквадратическим отклонением закона распределения Пуассона) равно n2 2 .
Флуктуации числа падающих фотонов проявляются в виде шума со значением
1
среднеквадратического отклонения от среднего значения ( n2 ) равным n2 2 .
1
Если при этом отношение среднее значение/шум ( n2 n2 2 ) будет больше 1/с, то
получить изображение с заданным минимальным контрастом (c) невозможно. Поэтому
необходимо повышать минимальное число падающих фотонов, чтобы уровень шума не
превышал заданный минимальный контраст, то есть минимальное число фотонов,
падающих на элемент разложения ИВС, должно быть увеличено до величины n c , такой,
чтобы выполнить условие:
nc
1
nc 2
1
c
(3.18)
и, следовательно,
nc
1
.
c2
В этом случае общее число фотонов, приходящееся на весь ИВС, возрастет до n3 :
86
2
n3
Для
подсчета
минимального
1
U
n1
n1 .
2
c
U
количества
(3.19)
фотонов,
падающих
на
ИВС
и
обеспечивающих получение изображения с заданным минимальным контрастом (или с
заданной погрешностью измерения числа падающих фотонов) необходимо учитывать
особенности присущего этому процессу закона распределения.
Действительно,
при
обработке
изображений,
соответствующих
символам
визуальных сообщений, как правило, считают, что их минимально различимый контраст
соответствует среднеквадратическому значению шумовых флуктуаций. Однако это не
значит, что мгновенное значение шума в этом случае не будет превышать принятого
уровня минимально различимого контраста, так как мгновенное значение шума может
значительно превышать его среднеквадратичное значение.
Поэтому при обработке изображений, состоящих из большого числа элементов
разложения, необходимо, чтобы минимально различимый контраст соответствующих
символов визуального сообщения существенно превышал среднеквадратичный уровень
шума, вызванного флуктуацией потока падающих фотонов.
Величину
распределение
превышения
числа
можно
падающих
оценить,
фотонов
аппроксимируя
нормированным
статистическое
нормальным
законом
распределения, кривая распределения которого ( f n ) представлена на рис.3.7, а ее
аналитическое выражение может быть приведено к виду
1
n (n0 k )
f 0
e 2 ,
f k
2
k2
(3.20)
где - среднеквадратическое отклонение от среднего значения ( n0 );
k =1, 2,... - кратность превышения минимально различимым контрастом
среднеквадратичного значения шума флуктуации числа падающих фотонов.
87
f(k)
0,4
0,3
0,2
0,1
n0-3
n0-2
n0-
n0+
n0
n0+2
n0+3
k
Рис. 3.7
Вероятность того, что число падающих световых фотонов на отдельный пиксел
( n m ) будет отличаться от среднего значения ( n0 ) на величину более чем k
определяется выражением:
P nm n0 k 2 f k dk .
(3.21)
k
В табл.3.1 приведены численные значения этой вероятности при различных k.
Табл. 3.1
k
1
P nm n0 k 0,32
2
0,046
3
4
0,27·10-3
6,3·10-5
5
6
5,7·10-7
2,0·10-9
7
2,5·10-12
Таблица 3.1 позволяет определить необходимую кратность превышения минимально
различимым контрастом среднеквадратичного значения шума флуктуации числа
падающих фотонов при заданной вероятности ложного его измерения (т.е. при заданной
погрешности). Например, для получения изображения с заданным минимальным
контрастом и вероятностью ложного его измерения не более 1%, необходимо, чтобы
значение заданного минимального контраста не менее чем в 3 раза превышало
среднеквадратическое значение флуктуации числа падающих фотонов.
Следовательно, для уменьшения до допустимого значения вероятности ложного
измерения информационного параметра элементов разложения ИВС необходимо еще
88
больше увеличивать среднее число падающих на них фотонов, тем самым увеличивая
отношение среднее значение/шум.
В случае распределения Пуассона при среднем значении числа падающих фотонов
1
n0 среднеквадратичное значение шума равно n0 2 , а отношение сигнал/шум -
n0
1
n0 2
1
n0 2 .
(3.22)
1
Поэтому для увеличения отношения сигнал/шум ( n0 2 ) в k раз среднее число
падающих фотонов необходимо увеличить в k 2 раз. Таким образом, минимальное число
фотонов ( n4 ), которое необходимо для получения изображения, состоящего из N
элементов разложения, с заданным контрастом с и с заданной вероятностью ложного
измерения информационного параметра элементов разложения можно найти из
выражения:
k2
k2
S0 k 2
n4 k n3 2 n1 2 N
,
c
c
S c2
2
(3.23)
а соответственно число фотонов, приходящихся на один элемент разложения ( n 4 ) будет
определяться равенством:
n4 k 2
n4
.
N c2
(3.24)
Для экспериментального подтверждения полученного теоретического соотношения
(3.23) можно привести результаты экспериментальных исследований, которые заключались в
фоторегистрации изображения специального тест-объекта, при различных условиях съемки.
Тест-объект представляет собой белое поле, на котором размещались черные круги,
причем вдоль строк круги имели по сравнению с фоном одинаковый контраст, но различные
диаметры ( d i ): диаметр каждого последующего в два раза меньше предыдущего, а по
столбцам были размещены круги одного диаметра, но контраст ( c j ) каждого последующего
был в два раза меньше предыдущего. В этом случае произведение d i c j остается постоянным
вдоль линий, параллельных диагонали тест-объекта.
На Рис. 3.8 представлены зарегистрированные изображения тест-объекта, полученные
при постоянной освещенности, но различных временах экспозиции, причем каждое
последующее изображение получено при экспозиции в 4 раза большей, чем предыдущее, т. е.
при увеличении числа падающих фотонов в 4 раза.
89
Рис. 3.8. Изображения тест-объекта, полученные при постоянной освещенности, но
различных временах экспозиции.
Из соотношения (3.23) следует, что при постоянных условиях съемки
S c
2
d i2
4
S0 k 2
c
const .
n4
2
А так как число падающих на тест-объект фотонов ( n4 ) соответствует величине экспозиции
(B), то можно считать, что произведение di2 c2j обратно пропорционально величине
экспозиции:
di2 c2j
const
.
B
Следовательно, для того, чтобы граница различимых дисков на зарегистрированном
изображении тест-объекта сдвинулась на один диск вправо ( di 1
di
; c ci 1 const ) или
2 i
чтобы граница различимых дисков сдвинулась на один диск вниз ( di di 1 const ; c j 1
cj
2
)
необходимо увеличить экспозицию в 4 раза.
Анализируя полученные фотоизображения тест-объекта, можно сделать вывод, что
разрешение элементов изображения при заданной экспозиции зависит как от их размера ( d i ),
так и от контраста ( c j ), что хорошо согласуется с полученным теоретическим соотношением
(3.23).
90
Действительно, при увеличении экспозиции в 4 раза граница различимых дисков
смещается на один шаг вправо, в сторону дисков с диаметром в 2 раза меньше, и на один шаг
вниз, в сторону дисков с контрастом в 2 раза меньшим, как и следует из соотношения (3.23).
Для
практического
использования
полученных
соотношений
(3.23,
3.24)
целесообразно привести их к общепринятому виду, то есть к виду с использованием
традиционных энергетических и светотехнических характеристик.
Из квантовой теории света известно, что падение за время t на некоторую
площадку площадью S0 числа фотонов n с частотой соответствует притоку энергии Q:
Q n n h ,
(3.25)
где - энергия одного фотона;
h 6,625 1034 Дж сек - постоянная Планка.
В случае немонохроматического излучения в диапазоне частот от 1 до 2
2
Q h n d ,
(3.26)
1
где n - плотность распределения числа фотонов по частоте .
При неизвестной плотности распределения числа фотонов по частоте
,
приближенно можно считать её постоянной в диапазоне частот от 1 до 2 и тогда
2 1
2
Энергетический и светотехнический поток излучения ( Ф э и Ф c соответственно)
определяют по формулам
Фэ
Фс 680 Ф э лм ,
Q
Вт ;
t
(3.27)
а освещенность энергетическая и светотехническая ( Еэ и Ес ) по формулам
Eэ
Фэ
Q
Вт м -2 ;
S 0 t S 0
Eс
Фс
лк .
S0
(3.28)
Освещенность ИВС легко может быть измерена и тем самым на основании (3.25,
3.27 и 3.28) определено соответствующее число фотонов, падающих на ИВС.
Действительно, для монохроматического излучения
n
E э t S 0
h
(3.29)
и тогда соотношение (3.23) может быть представлено в следующем виде:
E э t
k2
.
h
S c2
(3.30)
91
Полученное соотношение (3.30) позволяют получить жесткую функциональную
зависимость между легко измеряемыми или конструктивно задаваемыми (как в
устройствах считывания) размером элемента разложения ( S ), параметрами получения
символа визуального сообщения ( E э ,t , ) и предельно возможным при заданной
допустимой относительной погрешности (k) минимальным контрастом (c), практическое
измерение которого трудно выполнимо.
Выразив из (3.30) c - предельно возможный минимальный контраст и подставив его
U
и Smin S , получим выражение для максимального
U
в (3.10), с учетом того, что c
предельного количества информации (H), которое может содержаться в символе ИВС
единичной площади
H
или с учетом того, что c=
E t S
1
log 2 э2
1 бит м 2
S
k h
(3.31)
E t S
1
бит м 2 .
log 2 э2
2S
k h
(3.32)
U
1
U
H
А максимальное предельное среднее количество информации, приходящееся на один
элемент разложения, определяется соотношением
E t S бит
1
.
h log 2 э2
элемент
разложения
2
k h
(3.33)
Именно выражения 3.32 и 3.33 могут служить численной мерой качества
изображения, потому что предельная энтропия (H) и предельное среднее количество
информации, приходящейся на один элемент разложения (h) изображения характеризуют
изображения с основополагающей информационной точки зрения, которая во многом
определяет
их
потребительские
свойства.
Достоинством
предложенного
метода
определения качества изображения является и то, что практическое использование
соотношений 3.32 и 3.33 не вызывает трудностей, так как все входящие в них величины
могут быть либо легко измерены, либо заданы конструктивно.
В качестве примера
можно определить предлагаемым способом качество
изображения, которое может быть получено в процессе считывания фотоизображения
размером S 0,2 0,2 м 2 при освещении его равномерным световым потоком Ф
мощностью 1 Вт, генерируемым гелий-неоновым лазером с длиной волны 0,63 мкм (
4,76 1014 сек 1 ). Считывание производится квадратной аппертурой с линейным
92
размером d (мкм) ( S d 2 ) с быстродействием 105 элементов/сек ( t 1 105 сек ) и
допустимой погрешностью измерения различимых уровней контраста не превышающей
0,01% (k=4). В этом случае исходя из выше приведенных соотношений легко найти:
- число различимых уровней контраста (m):
Ф t d 2
1 7,04 10 6 d 1 ;
S0 k h
m d
- среднее количество информации, приходящейся на один элемент разложения h(d):
h d log2 m d бит эл.разложения ;
- предельное количество информации, содержащейся на всем изображении I(d):
I d
S
4 102
h
d
h d бит ;
d2
d2
- предельная энтропия изображения H(d) при S0 1 м 2 :
H d
1
h d бит 2 .
м
d2
В табл.3.2 приведены значения m d , h d , I d и H d при различных значениях d.
Табл.3.2
d(10-6м)
1
5
10
15
25
ΔS(10-12м)
1
25
100
215
625
m
8
36
71
106
177
h(бит/эл.разл.)
3,0
5,2
6,2
6,7
7,5
I(бит)
1,2·1011
8,3·109
2,5·109
1,2·109
4,8·108
H(бит/м2)
3,0·1012
2,1·1011
6,2·1010
3,0·1010
1,2·1010
H(бит/мм2)
3,0·106
2,1·105
6,2·104
3,0·104
1,2·104
В случае регистрации изображений с помощью реальных регистрирующих
устройств важно отметить следующее:
- в регистрирующее устройство попадает лишь часть ( q 1 ) фотонов, отраженных
символом визуального сообщения, но и эти попадающие в регистрирующее устройство
фотоны регистрируются не все, так как квантовый выход фотопреобразующих устройств (
q1 ), как правило, меньше 1 ( q1 1 ), поэтому, в случае использования реальных
технических устройств для регистрации символов визуального сообщения с заданным
93
качеством, необходимо корректировать соответствующие соотношения, еще больше
увеличивая общее число фотонов, падающих на символ визуального сообщения ( n5 ):
n5
n4
;
q q1
(3.34)
- все выкладки, приведенные выше, касались прежде всего излучения в видимой
области спектра (λ = 0,4 - 0,7 мкм), однако, так как исходными предпосылками при
выводе соотношений является исключительно квантовая теория, то очевидно, что все
вышесказанное
справедливо
и
к
системам,
работающим
во
всем
диапазоне
электромагнитного излучения;
- полученные соотношения справедливы только при условии, что линейные размеры
элемента разложения значительно превышают длину волны светового излучения,
падающего на ИВС, так как они не учитывают волновые эффекты света.
Такой способ определения качества изображения является более корректным по
сравнению с использованием для этих целей полос заданного контраста, так как именно с
помощью элементов разложения (а не полос) можно построить любое изображение, и
современные автоматические методы обработки изображений предполагают разбиение
изображения на совокупность элементов, форма которых близка к кругу или квадрату.
Предложенный подход к определению качества изображения хорошо согласуется с
методологией современных физических представлений, которые запрещают обсуждать
явления сами по себе, независимо от способа их наблюдения. При этом различные
явления относятся к объективной реальности (не зависящей от сознания субъекта), а их
наблюдение позволяет получить физическую реальность, то есть ту часть объективной
реальности, которая может быть познана опытным путем и сознанием субъекта, причем
величина этой части зависит от способа наблюдения.
Поэтому очевидно, что качество изображения (его информативность) как
физическая реальность, отражающая некую часть объективной реальности, будет
определяться условиями наблюдения - степенью освещенности изучаемого объекта.
3.6. Информационная оценка качества фотоизображений
Как отмечалось в §3.3, изображение представляет собой символ дифференциального
плоского или объемного (одномерного или двумерного) ИВС, получаемый в результате
отображения на фиксированный момент времени и на заданной ограниченной плоскости и
зарегистрированный на некотором носителе. Очевидно, что процессы отображения и
регистрации изображения с точки зрения их информационных характеристик могут
94
характеризоваться потерями информации, которые будут зависеть как от метода
регистрации, так и от свойств носителя изображения. В настоящее время одним из
наиболее универсальных, быстродействующих и общепринятых методов регистрации
оптических
изображений
регистрируется
является
(фиксируется)
фоторегистрация,
на
при
светочувствительном
котором
изображение
фотоносителе
в
виде
фотоизображения.
Фотоизображения очень часто используются в качестве источников визуальных
сообщений в геодезии, картографии, исследовании природных ресурсов, экологии и
других областях человеческой деятельности. Качество фотоизображений определяют
через их изобразительные и измерительные возможности применительно к решению
какой-либо конкретной задачи. В этом случае, как правило, применяют семантический
(субъективный) подход, так как оценивают качество фотоизображений с точки зрения
возможности решения конкретной задачи при конкретной технологии использования
фотоизображения.
Кроме
того,
фотоизображения
определяются
изобразительные
методами
его
и
измерительные
получения,
поэтому
свойства
судить
об
информационных характеристиках самого фотоизображения не всегда корректно.
С точки зрения теории информации более объективным является оценка качества
фотоизображения по критерию IQ через максимально возможное количество информации,
содержащееся в нём и рассмотрение фотоизображения как источник визуальных
сообщений, входящего в некоторую информационную модель, и оценка его предельных
(потенциальных)
возможностей
с
целью
его
информационного
согласования
с
остальными блоками информационной модели.
Для
нахождения
соотношений,
определяющих
информационные
параметры
фотоизображения, в качестве примера рассмотрим черно-белое фотоизображение,
которое, как известно, представляет собой дифференциальный одномерный плоский
источник визуальных сообщений. В дальнейшем полученные выводы можно будет
расширить
и
применить
и
к
цветным
фотоизображениям,
которые
являются
дифференциальными двумерными плоскими источниками визуальных сообщений (см.
рис.3.5).
Согласно избранной модели (§3.4) источник визуальных сообщений можно разбить
на элементарные площадки (пикселы), причем, если размеры всех площадок одинаковы,
то единица площади фотоизображения содержит N элементарных площадок:
N
1
,
S
(3.35)
где S - площадь элементарной площадки.
95
Положив, что возможные градации почернения (плотности) каждой площадки
независимы, равновероятны и могут принимать одно из m значений, можно найти
количество информации, содержащейся в единице площади фотоизображения (I),
I N log2 m бит .
(3.36)
Применять это выражение для подсчета информационной емкости конкретного
фотоизображения
не
корректно,
так
как
конкретное
фотоизображение
имеет
определенный закон распределения возможных плотностей элементарных площадок.
Однако, при оценке максимально возможной информационной емкости, т.е. максимально
возможного
количества
фотоизображения,
информации,
которая
достигается
содержащегося
при
в
единице
равновероятном
и
площади
независимом
распределении плотностей площадок, вполне допустимо. Затруднения при использовании
этого выражения возникают при выборе m - числа возможных значений оптической
плотности (почернения) элементарных площадок, так как известно, что, из-за своей
природы, фотоизображение немыслимо без наличия шумов, вызванных зернистостью
фотослоя, которая ведет к флуктуациям оптической плотности.
Наличие шумов ограничивает число различимых градаций оптической плотности и
тогда максимальная информационная емкость фотоизображения ( Iф ), при условии
равновероятности градаций плотности и их взаимной независимости, может быть
определена по формуле Хартли:
D
Iф N log 2
1 ,
D
(3.37)
где D Dmax D0 ;
Dmax - максимально возможная плотность фотоизображения;
D0 - плотность вуали;
D - среднеквадратическое значение шумов фотоизображения.
Формула (3.37) справедлива, если допустить, что плотность фотоизображения и его
шум независимы и стационарны. Однако для фотоизображений эти допущения
нарушаются.
Для
фотоизображений
характерна
зависимость
между
оптической
плотностью фотоизображения и сопутствующему ей шуму, который является следствием
флуктуации оптической плотности из-за зернистости фотослоя.
Известно эмпирическое соотношение, устанавливающее связь между средней
оптической плотностью ( D ) участка фотоизображения площадью ( S ) и
среднеквадратическим значением флуктуации оптической плотности ( D ):
96
0,434 D S з
,
S
D
(3.38)
где S з - средняя площадь проекции одного зерна используемого фотоматериала.
Отношение
средней
оптической
плотности
участка
фотоизображения
к
среднеквадратическому значению флуктуации оптической плотности ( ) (т. е. отношение
сигнал/шум) определяется выражением:
D
D D0
D
,
(3.39)
где D0 - плотность вуали.
Экспериментальные графики зависимости D от D и D от D (при S 100мкм 2 )
для различных фотоматериалов (1 – астропластинка; 2- панхром-10; 3 – панхром средней
чувствительности; 4 – диапозитив; 5 – микрат-200; 6 – панхром мелкозернистая; 7 –
кинопозитив МЗ) представлены на рис.3.9 и рис. 3.10 соответственно.
Рис.3.9 Графики зависимости D от
D.
Рис. 3.10 Графики зависимости D от D .
Анализ формул (3.37) и (3.38) показывает, что число различимых градаций
оптической плотности является функцией как средней оптической плотности ( D ), так и
площади элементарной площадки ( S ), при диапазоне изменения плотности от D0 до
Dmax .
Найти в этом случае информационную емкость фотоизображения можно, используя
хорошо известный способ, заключающийся в разбиении всего диапазона изменения
плотности на L равноотстоящих уровней, при этом разность между соседними уровнями
равна D :
97
D
Dmax D0
.
L
(3.40)
Считая характеристическую кривую почернения линейной, среднюю оптическую
плотность элементарных площадок ( Dk ), принадлежащих k-ому уровню, можно
определить из выражения:
Dk D0 k D ,
(3.41)
где k – номер уровня, k = 0, 1, 2,…L
Число элементарных площадок ( N k ) со средней плотностью Dk ,приходящихся на
участок фотоизображения единичной площади, учитывая равновероятное распределение
оптической плотности (для обеспечения максимального количества информации), может
быть легко найдено:
Nk
N
1
.
L S L
(3.42)
Из выражений (3.37), (3.38), (3.41) и (3.42) легко найти соотношение для нахождения
максимального количества информации ( I k ), которое может содержать совокупность
элементов изображения числом N k , принадлежащая k-ому уровню оптической плотности.
Действительно,
D
D
k
D
1
1
k
0
Ik
log 2
1
log 2
1 .
S L
S L
0,434 S з D k D
S
0,434 Dk з
0
S
S
(3.43)
Общее количество информации, содержащееся в фотоизображении единичной
площади ( Iф ), находится путем суммирования всех количеств информации ( I k ),
содержащихся в элементах разложения с плотностью Dk по k:
L
L
D0 k D
1
Iф I k
log 2
1 бит ед.площ.
S L k 1
S
k 1
0,434 з D0 k D
S
(3.44)
В полученном соотношении в качестве параметра используется L – число участков
разбиения
диапазона
оптической
плотности.
Представляет
интерес
зависимость
предельного количества информации ( Iф ) от избранного числа разбиений оптической
плотности (L). На рис.3.11 представлен график зависимости предельного количества
98
информации, содержащегося на участке фотоизображения площадью 1 мм2, от числа
градаций L при Dm ax 2,7 , D0 0,1 , Sз 5 106 мм2 и d 10 103 мм .
3.8 10
4
4
3.6 03 10
3.6 10
4
4
Iф ( L) 3.4 10
3.2 10
4
4
3.0 53 10 3 104
0
50
10 0
15 0
20 0
25 0
L
1
30 0
25 6
Рис. 3.11
Таблица 3.3 содержит численные значения этой зависимости при некоторых
заданных значениях L.
Табл.3.3
L
Iф(L)(бит)
2
3,39·10
4
4
8
3,25·10
4
16
3,16·10
4
32
3,11·10
4
64
3,08·10
4
3,06·10
128
4
256
3,06·10
4
3,05·104
Из графика (Рис.3.11) видно, что в предельном случае, при L , можно найти
точное предельное количество информации, содержащееся на участке фотоизображения
заданной площади ( I ф.п ). Для оценки погрешности вычисления предельного количества
информации на участке фотоизображения построен график (Рис.3.12) зависимости
отношения M IфL I ф.п от числа градаций оптической плотности (L), при этом в
качестве I ф.п бралось Iф256 , а в таблице 3.4 представлены численные значения
отношения M при некоторых значениях L.
99
1.1 8
1.1 5
1.1
M ( L)
1.0 5
1
1 0.9 5
0
50
10 0
15 0
20 0
25 0
30 0
L
1
25 6
Рис. 3.12
Табл.3.4
L
1
2
4
8
16
32
64
128
256
M
1,18
1,11
1,06
1,03
1,017
1,008
1,004
1,001
1,000
Из рис.3.12 и таблицы 3.4 видно, что для подсчета предельного количества
информации,
содержащейся
на
участке
фотоизображения
с
погрешностью
не
превышающей 1%, достаточно 32 градаций оптической плотности.
Пользуясь
полученным
выражением
(3.44),
можно
рассчитать
предельную
информационную емкость некоего абстрактного фотоносителя, как функцию площади
элементарной площадки. Пусть фотоноситель имеет следующие параметры: D0 0,1 ;
Dmax 2,7 ; Sз 5мкм 2 5 106 мм 2 .
Примем за единицу площади фотоизображения S 1мм 2 , а число уровней градаций
оптической плотности L 32 .
На рис.3.13 представлен график зависимости предельной информационной емкости
фотоизображения площадью 1мм2 ( Iф ) в зависимости от линейного размера
элементарной площадки (d).
100
1 10
6
5
8.1 93 10
8 10
5
6 10
5
Iф ( d )
0
4 10
5
2 10
5
0
0
0
0.0 05
0.0 1
0.0 15
3
0.0 2
0.0 25
0.0 3
d
1 10
0.0 35
0.0 35
Рис. 3.13
А на рис.3.14 представлен график зависимости предельного среднего количества
информации, приходящегося на одну элементарную площадку от линейных размеров
элементарной площадки (d).
4.7 51
5
4
3
h( d)
2
1
0.8 19
0
0
0.0 05
3
1 10
0.0 1
0.0 15
0.0 2
d
0.0 25
0.0 3
0.0 35
0.0 35
Рис. 3.14
В таблицу 3.5 сведены численные значения предельной информационной емкости
участка изображения площадью 1мм2 ( Iф ), среднее количество информации,
101
приходящееся на одну элементарную площадку (h) при различных линейных размерах (d)
и площадях ( S ) элементарной площадки.
Табл.3.5
d (10-3мм)
1
2
3
5
10
15
25
ΔS (10-6мм2)
1
4
9
25
100
225
625
Iф (бит/мм2)
8,19·105
3,22·105
1,87·105
8,98·104
3,08·104
1,60·104
6,81·103
h (бит/эл.пл.)
0,82
1,33
1,70
2,24
3,08
3,60
4,26
Из таблицы 3.5 видно, что при линейных размерах элементарной площадки (d) менее
2 мкм среднее количество информации, приходящейся на одну элементарную площадку
становится менее 1 бит, то есть число различимых уровней плотности элементарной
площадки становится менее двух, что не позволяет различать отдельные элементарные
площадки. Поэтому для рассмотренного фотоносителя использование элементарных
площадок с линейными размерами (d) менее 2мкм нецелесообразно.
Сравнение данных Табл.3.2 и Табл.3.5 показывает, что информационная емкость
оптического изображения единичной площади, приведенного в §3.5, существенно выше
информационной емкости фотоносителя такой же площади.
Представляет интерес определение зависимости относительных потерь информации,
содержащейся на единичной площади изображения, приведенного в §3.5 (Табл.3.2) при
регистрации его на фотоносителе такой же площади (Табл.3.5), от линейных размеров
элементарной площадки (d). В этом случае относительные потери информации d
вычислялись по формуле:
d
H d
.
Iфd
(1.45)
Результаты вычислений представлены в Табл.3.6.
Табл.3.6
d(10-3мм)
1
5
10
15
25
(d)
3,66
2,34
2,01
1.87
1,76
Из этой таблицы видно, что зернистость фотоносителя особенно сильно влияет на
относительные потери информации при малых линейных размерах элементарных
площадок.
Следует заметить, что рассчитанная по формуле 3.44 информационная емкость
фотоносителя является предельно возможной. Реальные фотоизображения обладают
102
значительно меньшей информационной емкостью, так как их разрешение ограничено
фотографическими системами, условиями съемки и обработки фотоматериала, а также
достаточно произвольным распределением значений оптической плотности.
В случае, если известен конкретный закон распределения числа элементарных
площадок ( N k ), попадающих в каждый из L уровней плотности (гистограмма
распределения) из выражения (3.44) может быть получено соотношение максимального
количества информации ( I ), содержащейся на единичной площади такого изображения
D0 k D
1
I
1бит ед.пл ,
Pk log 2
S L k 1
S
0,434 3 D0 k D
S
L
(3.46)
где Pk - вероятность попадания элементарных площадок в k-тый уровень
оптической плотности.
Следует подчеркнуть, что полученные соотношения (1.45) и (1.46) характеризуют
фотоноситель только как носитель информации, в случае формирования оптического
изображения, соответствующего заданному фотоизображению, необходимо учитывать и
квантовые свойства источника света.
3.7. Информационная оценка датчиков сообщений
Согласно принятой общей информационной модели (Рис.3.2) первичное восприятие
сообщений осуществляется датчиками сообщений. Датчик сообщений преобразует
первичную естественную форму визуального сообщения в форму, удобную для
последующей обработки, чаще всего в электрическую. Датчики принято характеризовать
следующими основными параметрами:
1. Коэффициент преобразования K п , который определяется соотношением
Kп
y
,
x
(3.47)
где x - приращение первичного сообщения;
y - соответствующее приращение выходной величины датчика.
Этот
параметр
характеризует
лишь
безинерционные и
линейные датчики
сообщений.
103
Датчик называют безинерционным, если
K п не зависит от длительности
приращения x , и линейным, если K п не зависит от величины x . Линейность датчика
характеризует степень приближения функции y y x к линейной зависимости.
Степень
нелинейности
датчика
сообщений
характеризуется
коэффициентом
нелинейных искажений.
2. Передаточная функция W p - отношение преобразования Лапласа от выходной
величины Y p к преобразованию Лапласа от первичного сообщения X p
W p
Y p
X p
,
(3.48)
где
Y p y t e pt dt ,
X p x t e pt dt .
0
0
3. Чувствительность - это минимальное значение сообщения, которое может быть
преобразовано датчиком
X min
ш
Kп
,
(3.49)
где ш - эффективная величина шумов датчика.
Зная основные технические параметры датчика можно найти информационные
характеристики, присущие процессу преобразования исходного сообщения x в выходной
сигнал датчика y, входящего в информационную модель (Рис.3.2).
Действительно, при неоднократном преобразовании символов исходного сообщения
x1 , x2 ,..., xk ,... можно найти xmin и xmax - минимальное и максимальное значение входного
сигнала датчика, соответствующего исходному сообщению. По этим значениям можно
определить диапазон преобразуемого входного сигнала Dx :
Dx xmax xmin .
(3.50)
Из (3.49) следует, что для каждого датчика существует конкретное значение X m in
(чувствительность датчика), определяемое уровнем шумов датчика. Чувствительность
датчика
X m in определяет разрешающую способность датчика x , то есть ту
минимальную разность между уровнями входного сигнала, при которой можно
достоверно распознать отдельные символы исходного сообщения.
Так как диапазон входного сообщения ( D x ) и разрешающая способность ( x )
конечны, то возможно различить лишь конечное число уровней (N)
104
N
Dx
1.
x
Таким образом, объем алфавита входного сообщения не может быть больше N.
В случае отсутствия данных о законе распределения символов источника сообщения
можно считать, что их появление равновероятно, и максимальная энтропия входного
сообщения датчика H может быть найдена по формуле Хартли
D
.
H log 2 x 1 бит
символ
x
(3.51)
Если же появление символов неравновероятно, но известен закон распределения
символов входного сообщения, то энтропия (H) определяется по формуле Шеннона
N
H pk log2 pk ,
(3.52)
k 1
где pk - вероятность попадания в k уровень;
k - номер уровня.
При известной частоте измерений датчика - F (сек-1) легко подсчитать входную
производительность датчика
Pд H F бот .
(3.53)
Для информационного согласования источника сообщений с датчиком сообщений
необходимо, чтобы производительность источника сообщений
Pи не превышала
входную производительность датчика сообщений Pд , в противном случае неминуемы
потери информации.
Воздействие шумов на датчик выражается не только в ограничении энтропии
воспринимаемого сообщения, но и в потерях информации в процессе преобразования.
Известно, что если на датчик воздействует некий аддитивный шум (n), то энтропия
полезного сигнала H x , которую можно извлечь из смеси y x n , равна разности
энтропий принятого сообщения H y и шума H n , то есть
H x H y H n .
(3.54)
Заметим, что влияние шума (n) нарушает однозначную зависимость между входным
сигналом x и выходным сигналом y и делает ее случайной (статистической).
В случае аддитивного шума закон распределения выходного сигнала y при
фиксированном входном сигнале x равен закону распределения шума, то есть
p n p y x ,
где p n - плотность распределения шума;
105
p y x - условная плотность распределения выходного сигнала y при известном
входном сигнале x.
Тогда выражение (3.54) может быть записано в следующем виде:
H x H y H y x .
(3.55)
,
Подставив в это выражение соответствующие значения H y и H y x
рассчитанные по формуле Шеннона, получим:
H x p yi log 2 p yi p x j log2 p x j p yi , x j log 2 p yi , x j , (3.56)
i
j
i
j
где p yi , x j p yi p x j yi p x j p yi x j - совместная плотность распределения
вероятности сигналов x и y;
p yi - плотность вероятности выходного сигнала y;
p y x и p x y - соответствующие условные плотности вероятности при
p x j - плотность вероятности входного сигнала x;
i
j
j
i
фиксированном входном сигнале x j и фиксированном выходном сигнале yi
соответственно.
Для случая непрерывных сигналов x и y выражение (3.56) после предельного
перехода приобретет вид
H x p x , y log 2
p x , y
p x p y
dxdy ,
(3.57)
где p x, y p x p y x - совместная плотность вероятности сигналов x и y;
p y x - условная плотность вероятности сигнала y при фиксированном x;
p x , p y - плотность вероятности сигналов x и y соответственно.
Таким образом, датчик сообщения как элемент информационной системы требует
согласования по информационным параметрам с источником сообщений с целью
уменьшения (а в идеале устранения) потерь информации в процессе преобразования
сообщений источника в иную форму, удобную для дальнейшего использования. Под
согласованием подразумевают выполнения условия, что пропускная способность датчика
должна быть больше производительности источника сообщения.
Для практического использования рассмотренные выше соотношения не всегда
удобны, так как законы распределения символов входного сообщения (x) и шума (n) чаще
106
всего неизвестны. Поэтому на практике целесообразно информационные свойства
датчиков сообщений выражать через максимально возможную для данного датчика
энтропию входного сообщения - H m ax , считая, что символы входного сообщения
равновероятны и некоррелированы:
D
D
H max log 2 x 1 log 2 x 1 ,
x
max
x max
(3.58)
а входную производительность датчика характеризовать ее максимальным предельным
значением Pд. m ax :
Pд. m ax H m ax Fm ax бот ,
(3.59)
где Fm ax - максимальная частота измерения датчика.
В системах автоматической обработки изображений, в качестве датчиков сообщений
используют сканирующие (считывающие) устройства, использующие фотоэлектрические
преобразователи (фотодатчика) на основе полупроводниковых фотоприемников или
фотоэлектронных умножителей (ФЭУ). Для этих устройств основной причиной
ограничения энтропии входного сообщения ( H m ax ) и входной производительности ( Pд. m ax )
являются шумы фотометрирования, вызванные квантовой природой света и физической
природой фотоприемников, причем энтропия входного сообщения ( H m ax ) и частота
измерения фотометрических параметров отдельных элементов изображения ( Fm ax )
взаимозависимы.
107
Лабораторный практикум
Лабораторная работа №1. Информация в дискретных сообщениях.
Цель работы. Научиться практически определять количество информации в
различного вида дискретных сообщениях.
Теоретическое обоснование. Количество информации, содержащееся в дискретном
сообщении (I) можно найти из соотношения
I=nH,
где n― число символов в сообщении,
H- энтропия источника сообщений, то есть среднее количество информации,
приходящееся на один символ сообщения.
Энтропия источника сообщения определяется из основного соотношения теории
информации, которое для практического использования преобразуется к виду наиболее
простому и удобному в зависимости от свойств дискретного источника сообщений.
В случае, если символы источника сообщения появляются равновероятно и взаимно
независимо, то для подсчета энтропии такого рода сообщений используют формулу
Хартли:
I n log 2 m(бит) ;
H1 log 2 m(бит
),
символ
где m- объем алфавита источника дискретных сообщений.
Если же символы источника сообщения генерируются с различными вероятностями,
но взаимно независимы, то используют формулу Шеннона:
m
I n Pai log 2 Pai (бит) ,
i 1
m
H 2 Pai log 2 Pai (бит
i 1
символ)
,
где Раi ― вероятность появления символа ai.
В случае же неравновероятного появления символов источника сообщения и наличия
статистических зависимостей между соседними символами энтропию такого рода
источника можно определить с помощью формулы Шеннона с условными вероятностями:
m
m
a
a
H 2 Pai P j log 2 P j (бит
,
ai
символ)
ai
i 1
i 1
a
где P j ― условная вероятность появления символа aj после символа ai.
a
i
Содержание работы.
П.1. Посчитать среднее количество информации, приходящееся на один символ
источника дискретных сообщений (энтропию) в случаях:
108
а) ― равновероятного и взаимно независимого появления символов (Н1);
б) ― неравновероятного и взаимно независимого появления символов (Н2);
в) ― при неравновероятном появлении символов и наличии статистических связей
между соседними символами (Н3).
В качестве дискретного источника сообщений взять источник с объемом алфавита m =
34 (аналогичный по объему алфавита тексту на русском языке: 33 буквы и пробел), а его
статистические характеристики смоделировать с помощью генератора случайных чисел.
П.2. Подсчитать количество информации в сообщении, представляющим собой Вашу
фамилию, имя и отчество, считая, что символы (буквы) генерируются источником
дискретных сообщений (текст на русском языке) неравновероятно и взаимнонезависимо.
Для этого найти значение энтропии данного источника дискретных сообщений в виде
текста на русском языке (Н4). Закон распределения символов данного источника
дискретных сообщений найти путем анализа участка любого типичного текста на русском
языке длиной не менее 300 символов.
П 3. С помощью предложенного образца программы или самостоятельно, разработать
программу для автоматического нахождения энтропии дискретного сообщения, в качестве
которого использовать выбранный ранее текст в П.2.
Для этого:
1. Разработать программу для определения
закона распределения символов
дискретного сообщения (букв);
2. Построить график полученного закона распределения символов дискретного
сообщения (букв);
3. Проверить правильность полученного закона распределения символов дискретного
сообщения (букв), для чего найти сумму вероятностей появления каждого символа
(проверить полноту группы);
4. С помощью формулы Шеннона найти энтропию (H5) дискретного источника
сообщений (текста на русском языке).
5. Сравнить полученное значение энтропии (H5) со значением энтропии
подсчитанной вручную (H4);
6. Подсчитать число символов в сообщении, представляющее Вашу фамилию имя и
отчество (включая пробелы), и найти количество информации, содержащейся в
этом сообщении.
Выполнение работы. Работа выполняется на персональном компьютере в
программном средстве «Mathcad».
П.1.а. Используя формулу Хартли, найти энтропию указанного источника дискретных
сообщений (Н1).
П.1.б. Смоделировать закон распределения символов дискретного источника сообщений,
используя оператор rnd (A), который генерирует случайные числа из диапазона [0,A] с
помощью самостоятельно разработанной программы или предложенной в качестве
примера:
m : =34
― задание объема алфавита (m);
109
i : =1, 2,…,m
r(i) :=rnd (1)
l : r (i)
― i - порядковый номер символа алфавита;
― генерирование 34 случайных чисел в интервале от 0 до 1;
― нахождение суммы всех 34 сгенерированых случайных
i
чисел r(i);
r (i )
― P(i) – вероятность появления i-го символа (ai).
P(i ) :
l
Проверить правильность вычислений путём проверки полноты группы, найдя сумму
всех P(i) при i = 1,2,…,m.
Построить график закона распределения P(i) Используя формулу Шеннона,
определить энтропию смоделированного источника дискретных сообщений (Н2).
П.1.в. Смоделировать матрицу условных вероятностей появления символа aj после
символа ai , путём генерирования соответствующей матрицы случайных чисел и её
соответствующей нормировки по строкам и столбцам с помощью самостоятельно
разработанной программы или использовать программу предложенную в качестве
примера:
m : =34
i : 1,2,...m
j : 1,2,...m
r(i,j) := rnd(1)
до1;
Wi : r (i, j )
-― задание объема алфавита (m);
― порядковый номер символа алфавита;
― генерирование матрицы (34×34) случайных чисел в интервале от 0
― нахождение суммы элементов в каждой строке матрицы r(i,j);
i
r (i, j )
―нормировка по строкам матрицы r(i,j) с целью получения суммы
Wi
элементов в каждой строке, равной 1;
U j : S (i, j ) ― нахождение сумм элементов в каждом столбце матрицы S(i,j);
S (i, j ) :
i
PPi, j :
S i, j
― нормировка по столбцам матрицы S(i,j) с целью получения суммы
Uj
элементов в каждом столбце равной 1.
Полученные значения элементов матрицы PP(i,j) приближенно можно считать
условными вероятностями появления символа под номером j после i-го символа.
Используя формулу Шеннона с условными вероятностями определить энтропию
смоделированного источника дискретных сообщений (Н3).
П.2. Определить вероятность появления в избранном тексте каждого символа (буквы) Pi
путем деления числа появлений в избранном тексте этого символа (ai) на общее число
символов (не менее 300), входящих в сообщение. В случае, если какой-либо символ (из
m= 34) в сообщении не встретился, считать, что он встретился 1 раз, иначе может
возникнуть неопределенность в формуле Шеннона. Отсутствие в исследуемом сообщении
какого-либо символа из состава алфавита источника сообщений свидетельствует лишь о
том, что анализируемое сообщение не содержит достаточного числа символов (не
достаточно длинное), чтобы появились все символы, входящие в алфавит.
110
Построить график закона распределения символов (букв) избранного источника
сообщения.
Проверить правильность полученного закона распределения путём проверки полноты
группы, для чего найти сумму вероятностей появления каждого символа. По формальному
признаку, присущему полной группе событий, эта сумма должна быть равна 1.
С помощью формулы Шеннона найти энтропию (Н4) дискретного источника
сообщений (текста на русском языке). Подсчитав число символов в Вашей фамилии,
имени и отчестве (включая пробелы), найти количество информации, содержащейся в
этом сообщении.
П.3. С помощью предложенного образца программы, разработать свою программу или
использовать предложенную для нахождения энтропии дискретного сообщения, в
качестве которого использовать выбранный ранее текст (П.2).
Для этого:
1. Разработать программу для определения закона распределения символов
дискретного сообщения (букв);
2. Построить график полученного закона распределения символов дискретного
сообщения (букв);
3. Проверить правильность полученного закона распределения символов
дискретного сообщения (букв), для чего найти сумму вероятностей появления
каждого символа;
4. С помощью формулы Шеннона найти энтропию (H4) дискретного источника
сообщений (текста на русском языке).
5. Сравнить полученное значение энтропии (H4) со значением энтропии
подсчитанной вручную (H3);
6. Подсчитать число символов в сообщении, представляющее Вашу фамилию имя
и отчество (включая пробелы), и найти количество информации, содержащейся
в этом сообщении.
Контрольные вопросы.
1.
2.
3.
4.
5.
6.
Какие источники сообщений называют дискретными?
Для каких источников дискретных сообщений применимы формулы Хартли,
Шеннона?
Каким образом описывается статистическая зависимость между соседними
символами в дискретных сообщениях?
Дайте определение энтропии источника дискретных сообщений.
Как проверить правильность нахождения закона распределения символов источника
дискретных сообщений?
Какой вид дискретных сообщений обладает наибольшей энтропией?
111
Дополнение к Лабораторной работе № 1
Пример программы определения энтропии текста (MathCad).
Исходный текст:
text:= «Надо мною тишина, небо полное дождя, дождь проходит сквозь меня, но боли больше нет. И т. д.»
Алфавит. Создание матрицы 2 x L и её заполнение. (L – объём алфавита).
аА:=
" а" "б" "в" " г" "д" "е" "ё" " ж" " з" "и" " к" " л" " м" " н" "о"
до L
" А" " Б" " В" " Г " " Д " " Е" " Ё" " Ж" " З" " И " " К " " Л " " М " " Н " "О"
T 0
1
T
A aA
a aA
-- Транспонирование матрицы и взятие 0-го столбца.
-- Транспонирование матрицы и взятие 1-го столбца.
Обработка текста:
J strlen ( t ext) 1 461
-- Нахождение общего числа символов (букв) в сообщении.
i 0 cols ( aA ) 1
-- Нахождение интервала номеров символов алфавита из
массива aA (начиная с 0-го номера)
m cols ( aA ) 1
J
W
1 if W
j 0
i
Нахождение числа появлений каждого
J
W
i
Объём алфавита (число различных символов в столбце-векторе).
subst r ( t ext j 1)
a
i
A
subst r ( t ext j 1)
i
j 0
i
символа в заданном сообщении (тексте).
0
--Проверка наличия всех символов алфавита в тексте.
W ot herwise
i
--Совмещение массивов a и W и транспонирование
полученного массива.
T
WW augment ( a W )
0
1
2
3
4
5
6
7
8
9
WW 0
"а"
"б"
"в"
"г"
"д"
"е"
"ё"
"ж"
"з"
"и"
1
21
19
14
7
18
18
4
5
10
...
T
ValuesWW WW
ValuesWW
P( i)
J
i
1
--Получение вектора с частотой появления каждого символа.
--Вычисление вероятности появления i-го символа.
112
Лабораторная работа №2. Информация в непрерывных сообщениях.
Цель работы. Изучение
непрерывных сообщениях.
методов
определения
количества
информации
в
Теоретическое обоснование. Непрерывные сообщения - это сообщения, построенные
на основе бесконечного алфавита, поэтому соотношения, используемые для определения
количества информации в дискретных сообщениях для них в общем случае не
применимы. Однако реальные непрерывные сообщения, у которых частотный спектр
ограничен, а сами они проявляются на некотором уровне шумов, могут быть приведены к
дискретному виду, допускающему использование формул, разработанных для дискретных
сообщений.
Действительно, реальные сообщения могут быть представлены дискретными по
амплитуде сообщениями с объемом алфавита, равным числу различимых уровней, и
числом символов в сообщении, определяемым теоремой Котельникова. Количество
информации содержащейся в них может быть посчитано с помощью формулы Хартли.
Число различимых уровней (L) определяют на основе соотношения:
L
Рс Рш
,
Рш
где Рс ― мощность сообщения (сигнала);
Рш ―мощность шума.
А в соответствии с теоремой Котельникова, для передачи непрерывного сообщения
длительностью Т(сек) и верхней граничной частотой в спектре Fm(сек-1) достаточно
передать его равноотстоящие мгновенные значения с интервалом ∆t (сек) и общим числом
N , причем ∆t≤1/2Fm. и N≥2TFm+1.
Используя формулу Хартли, количество информации, содержащееся в таком
непрерывном сообщении, (I) и его энтропия (H) могут быть найдены по формулам:
I N log 2 L (2TFm 1) log 2
H
1
Рс Рш
log 2
N
Рш
Pc Pш
Рш
(бит);
бит .
символ
В общем случае, когда символы непрерывного сообщения появляются
неравновероятно и их закон распределения описывается некоторой функцией плотности
распределения вероятности p(x), (p(x) характеризует вероятность попадания символа
непрерывного сообщения x в некий интервал ∆x, примыкающий к точке x), для подсчета
информационных характеристик пользуются формулой для подсчета энтропии
непрерывных сообщений.
Общая энтропия непрерывных сообщений равна бесконечности, однако она
представляет собой сумму двух слагаемых, одно из которых стремится к бесконечности
одинаковым образом для любых непрерывных сообщений, а второе является конечным и
113
зависит от закона распределения символов непрерывного сообщения. Это второе
слагаемое и называется дифференциальной или относительной энтропией.
Дифференциальная энтропия (Hx) определяется выражением:
H x p( x) log 2 p( x)dx
Практическое
использование
дифференциальной
энтропии
основано
на
предположении, что реальные непрерывные сообщения проявляются на некотором уровне
аддитивных шумов (что всегда справедливо для реальных сообщений). В этом случае
энтропия реального непрерывного сообщения Н равна разности энтропий принятого
(зашумленного) сообщения (Нс) и шума (Нш), то есть
Н = Нс - Нш ,
при этом бесконечно большие слагаемые взаимно уничтожаются, а остаётся только
разность дифференциальных энтропий принятого сообщения и шума.
Содержание работы.
1.Подсчитать количество информации в реальном непрерывном сообщении при
наличии аддитивного шума считая, что символы сообщения появляются равновероятно.
В качестве непрерывного сообщения использовать сигнал U(t) вида:
U (t ) A sin(k t ) B cos(n t ) c sin(m t )
где k— Ваш номер по списку;
n=k+2;
m=k+4;
Значения коэффициентов A, B, C берутся из таблицы 1 и определяются Вашим
номером по списку.
Таблица 1
k
A
B
C
1
1
1
1
2
1
1
2
3
1
2
1
4
1
2
2
5
2
1
1
6
2
1
2
7
2
2
1
8
2
2
2
9
1
1
1
10
1
1
2
11
1
2
1
12
1
2
2
13
2
1
1
14
2
1
2
15
2
2
1
16
2
2
2
17
1
1
1
18
1
1
2
19
1
2
1
20
1
2
2
Длительность сигнала U(t) равна 2 сек. (Т = 2сек.). В качестве аддитивного шума
использовать случайный сигнал X(t), получаемый с помощью генератора случайных
чисел. Значения шума лежат в интервале от –D/2 до D/2 (D = 1,2).
2.Подсчитать дифференциальную энтропию зашумленного аддитивным шумом
сигнала Q(t)=U(t) + X(t) и дифференциальную энтропию шума X(t) и определить среднее
количество информации, приходящееся на один символ, которое может быть извлечено из
зашумленного сигнала Q(t),считая, что все сигналы принимают свои значения с равной
вероятностью.
Выполнение работы Работа выполняется на персональном компьютере в среде
программного продукта «MathCad»:
П.1.а). Построить графики сигналов U(t), X(t) и Q(t) = U(t) + X(t).
б). Представить непрерывный сигнал Q(t) в виде последовательности отсчетов, в
соответствии с теоремой Котельникова. Следует учесть, что максимальная частота в
114
спектре сигнала U(t) определяется круговой частотой m (размерность: рад/сек), а
максимальная частота спектра, входящая в выражение теоремы Котельникова, является
циклической частотой (размерность сек-1=гц), поэтому справедливо соотношение для
перехода от круговой частотой m к циклической частоте Fm
m
.
2
в). Построить на одном экране графики Q(t) и Qk(t), где Qk(t)- график взятия выборок
сигнала Q(t).
г). Вычислить мощность полезного сигнала Рс и мощность шума Рш по формулам
Fm
T
2
T
2
1
1
Pc Q (t ) dt; . Pш X (t ) dt
T 0
T 0
д). Найти количество информации (I), содержащееся в непрерывном сообщении при
наличии аддитивного шума, и его энтропию (Н).
П.2. а). Выразить аналитически функцию плотности распределения вероятности значений
сигнала Q(t) и построить ее график.
Так как сигнал U(t) и шум X(t), по условию, принимают свои значения с одинаковой
вероятностью, то и сигнал Q(t)=U(t)+ X(t) будет принимать все свои значения
равновероятно во всем диапазоне значений от -(A+B+C+D/2) до (A+B+C+D/2).
Поэтому его функция плотности распределения вероятности p(Q) (с учетом того, что
p(Q)dQ 1 ) имеет следующий вид:
D
);
0.
2
1
D
p(Q)
при Q ( A B C );
2
2( A B C ) D
D
0.
приQ ( A B C ).
2
Программа вычисления этой функции может быть реализована на основе оператора
условного перехода if следующим образом:
Q := -10, –9,9….10
приQ( A B C
D
D
1
p(Q) : if Q A B C ,0, if Q A B C ,
,0 .
2
2 2( A B C ) D
б). Выразить аналитически функцию плотности распределения вероятности шума p(x)
и построить её график аналогично тому, как это сделано для функции плотности
распределения вероятности сигнала Q(t):
x : 2,1,9...2
D
D 1
p( x); if x ,0, if x , ,0
2
2 D
в). Определить дифференциальную энтропию сигнала Q(t) и дифференциальную
энтропию шума X(t) в соответствии с определением дифференциальной энтропии:
115
H c p(Q) log 2 p(Q)dQ(
бит
)
символ
бит
H ш p( x) log 2 p( x)dx(
)
символ
.
г). Найти среднее количество информации, приходящееся на один символ
зашумленного сигнала, как разность между Нс и Нш и сравнить ее с энтропией
зашумленного сигнала Н, вычисленного в П.1 этой лабораторной работы.
Контрольные вопросы
1. Какие источники сообщений называют непрерывными?
2. Сформулируйте теорему Котельникова.
3. Какое соотношение определяет число различимых уровней непрерывного сообщения
при наличии аддитивного шума?
4. Дайте определение дифференциальной энтропии.
5. Чему равна полная энтропия непрерывного сообщения и из чего она слагается.
116
Лабораторная работа №3 Информационное моделирование оптических и
фотографических изображений и оценка их качества
Цель работы. Изучение методов информационной оценки качества оптических
(визуальных) изображений и фотоизображений, используемых в системах автоматической
обработки изображений.
Теоретическое обоснование. Как известно, качество считанного цифрового
изображений в огромной степени зависит от качества исходных изображений, которое
может характеризоваться информационными емкостями изображений, т.е. максимальным
количеством информации приходящиеся на единицу их площади. Поэтому, исходя из
информационных моделей, необходимо рассчитать информационные характеристики
- исходного оптического изображения;
- фотоизображения.
1.
Информационные характеристики оптического изображения, как функция
линейного размера (d) элемента разложения, определяются из следующих соотношений:
–
m - число различимых уровней контраста:
m( d )
Ф t d 2
1
S 0 k 2 h
E t s
1;
k 2 h
-h(d) - среднее максимальное количество информации приходящееся на один
элемент разложения:
h(d ) log 2 m(d )
(бит/символ);
-I(d) - предельное количество информации, содержащееся во всем
изображении площадью S0:
S
I (d ) 02 h(d ) (бит);
d
-H(d) - информационная емкость изображения (предельное количество
информации, содержащееся в изображении единичной площади):
1
H (d ) 2 h(d );
d
где Ф - световой поток падающий на изображение;
S 0 - площадь изображения;
E
Ф
- освещенность изображения;
S0
t - время экспозиции;
h 6,625 10 34 Дж сек. - постоянная Планка;
- частота падающего монохроматического света;
k - кратность превышения минимально различимым контрастом
среднеквадратического уровня шума, вызванного флуктуацией потока
падающих фотонов, которая находится из Таблицы 1
117
Таблица 1
k
1
2
P(| nm n0 |) k
0,32
0,046
3
4
5
0,00027
0,000063
0,00000057
2.
Известно, что характерной особенностью фотоизображения является наличие
шумов, вызванных зернистостью фотослоя, которые ведут к флуктуациям оптической
плотности, среднеквадратическое значение которой ( D ) определяется выражением:
0,434 D S з
,
S
где S з - средняя площадь проекции одного зерна фотослоя, зависящая от типа
D
фотоносителя;
D - средняя оптическая плотность фотоизображения;
S - площадь элементарного участка фотоизображения.
Отношение сигнал \ шум фотоизображения ( D ) определяется соотношением:
D
D D0
D
,
где D0 - плотность вуали.
Предельное количество информации, содержащееся в фотоизображении единичной
площади (т.е. информационная емкость фотоизображения)
I ф можно найти из
выражения:
D0 k D
1 L
Iф
log 2 (
1) (бит/ед.площади),
S k 1
0,434 S з
( D0 k D)
S
где L - число равноотстоящих уровней плотности;
D D0
D m ax
- величина разности между соседними уровнями.
L
Количество информации, содержащееся в одной элементарной
фотоизображения, определяется выражением:
Iф
1
h
,
где N
.
N
S
площадке
Выполнение работы: Работа выполняется на персональном компьютере в среде
программного продукта «MathCad»:
П.1. Определить информационные характеристики оптического изображения размером
S=0,2*0,2 м2 при его равномерной освещенности гелий-неоновым лазером мощностью Ф и
длиной волны света =0,63 мкм.( 4,76 10 14 сек 1 ). Поверхность изображения разбита
регулярной сеткой на элементы с линейным размером d и площадью S ( S d 2 ). Время
экспозиции t . Допустимая погрешность измерения уровней контраста не должна
превышать . Значения Ф, d , t , взять из Таблицы 2 в соответствии с заданным
118
вариантом k (k – номер по списку).
№
1
2
3
4
5
6
7
8
9
10
11
Таблица 2.
12 13 14
Ф(вт.)
1
1
1
1
2
2
2
2
3
3
3
3
1
1
d(мкм)
10
20
25
30
10
15
20
25
30
10
15
20
25
30
t (сек.)
10-6 10-5 10-4
10-6 10-5 10-4
10-6
10-5 10-4
10-3 10-6 10-5 10-4 10-3
0,01 0,01 0,1
0,1
0,1
0,1
0,01 0,1
Построить графики зависимостей:
0,01 0,01
0,01
0,1
0,01 0,01
m(d ), h(d ), I (d ), H (d ) при t 1 10 5 сек.
Найти и распечатать значения этих характеристик при d 2, 5, 10, 15, 25 мкм.
Построить графики зависимостей: m(t ), h(t ), I (t ), H (t ) при d 10 мкм.
Найти и распечатать значения этих характеристик при t 10 6 ,10 5 ,10 4 ,10 3 сек .
Проанализировать полученные результаты.
П.2. Произвести анализ выражения для определения информационной емкости
фотоизображения на примере фотоизображения площадью 1 мм2 при Dmax=2.7; D0=0.1;
Sз= 5 10 6 мм2; d= 10 10 3 мм. При этих значениях параметров найти значение I ф при L=2n
(n=1, 2,….8).
Построить графики информационных характеристик I ф и
h от
линейного размера
элементарной площадки d (S d 2 ) при значении L=64.
Найти и распечатать значения этих характеристик при d = 2, 5, 10, 15, 25 мкм.
П.3. Сравнить полученные результаты с П.1. Определить относительные потери
информации, содержащейся
в оптическом изображении, при регистрации его на
фотоносителе при заданном d. Для этого вычислить коэффициент (d ) при d 2, 5, 10, 15,
25 мкм.
H (d )
.
(d )
I ф (d )
119
Приложение.
Некоторые полезные сведения из теории вероятностей.
Теория вероятностей – это раздел математики изучающий закономерности
различных случайных явлений, среди которых выделяют случайные события, случайные
величины и случайные функции.
1. Случайные события.
1.1. Событием (U) называют всякий факт, который может произойти или не произойти.
1.2. Вероятностью события P(U) называется численная мера степени объективной
возможности этого события.
1.3. Достоверным событием называют событие (U), которое в результате опыта
непременно должно произойти. Вероятность достоверного события принимается
равной единице, т.е. P(U)=1.
1.4 Невозможным событием называют событие Q, которое в результате опыта никоим
образом не может произойти. Вероятность невозможного события принимается
равной нулю, т.е. P(Q)=0.
1.5. Из п.1.3. и 1.4. следует, что вероятность любого реального события (А) заключена в
интервале от 0 до 1, т.е. 0 Р( А) 1 .
1.6 Несколько событий в данном опыте называют несовместными, если никакие два из
них не могут произойти одновременно.
1.7. Несколько событий в данном опыте называют равновозможными, если по
условиям симметрии опыта нет оснований считать какое-либо из них более
предпочтительным или более возможным.
1.8. Условной вероятность события А при наличии события В называют вероятность
события А, вычисленную при условии, что событие В произошло. Условная
вероятность в этом случае обозначается как Р(А/В).
1.9. События называются независимыми, если появление одного из них никоим образом
не меняет вероятности появления другого. Для независимых событий А и В
справедливо:
В Р А ,
РА
А Р В .
РВ
120
1.10. Полной группой событий называют несколько событий таких, что в результате
опыта непременно произойдет хотя бы одно из них. Если события Аk (k=1, 2, …,n)
составляют полную группу событий и несовместны, то
P( A ) 1 ,
k
k
так как Ak - достоверное событие.
k
1.11. Если несколько событий:
а) образуют полную группу событий;
б) несовместны;
в) равновозможны,
то вероятность события А можно вычислить по формуле
m
P( A) ,
n
где n – общее число возможных событий (исходов опыта),
m – число событий, благоприятствующих событию А.
2. Алгебра событий
2.1.
Алгебра
событий
представляет
собой
совокупность
возможных
операций
производимыми над элементарными событиями, которые позволяют описывать
сложные (составные) события.
2.2. Случайные события обозначают большими буквами алфавита.
2.3. Равенство двух событий А и В (А=В) означает, что появление одного события
непременно влечет за собой появление другого из чего следует и равенство
вероятностей появления этих событий: P(A) = P(B).
2.4. Суммой двух событий А и В называют событие С (С=А+В), заключающееся в
появлении хотя бы одного из событий А и B или оба вместе.
2.5. Произведением двух событий А и В называют событие С(С=А·В), заключающееся в
одновременном наступлении обоих событий А и В.
2.6. Если результат какого- либо опыта может иметь два взаимно исключающих события
А и В (полная группа событий), одно из этих событий называют противоположным
событием другому, например, событие В - противоположное событию А и
обозначается Ă (читается как «не А»). Для прямого события А и противоположного
события Ă (как составляющих полную группу событий) справедливо тождество:
Р(А) + Р(Ă)=1.
2.7. Теорема сложения вероятностей. Вероятность суммы двух событий А и В равна
сумме вероятностей этих событий без вероятности произведения этих событий, т.е.
121
Р(А+В)=Р(А) + Р(В)- Р(А·В).
В случае, если А и В несовместны, то Р(А·В)=0 и, следовательно,
Р(А+В)=Р(А)+Р(В).
2.8.Теорема умножения вероятностей. Вероятность произведения двух событий А и В
равна вероятности одного из них, умноженной на условную вероятность другого при
наличии первого, т.е.
Р(А·В) = Р(А·В) = Р(А)·Р(В/А) = Р(В)·Р(А/В).
В случае, если события А и В независимы, то с учетом п.1.9 справедливо:
Р(А·В)=Р(А)·Р(В)= Р(В)·Р(А).
2.9. Полезное правило решения задач на нахождение вероятности случайных событий.
Для того, чтобы найти вероятность интересующего события, необходимо:
а) с помощью алгебры событий описать интересующее событие через известные
события, т.е. через такие события, вероятности которых известны;
б) с помощью теорем вероятности суммы и вероятности произведения найти
вероятность интересующего события.
2.10. Для нахождения вероятности появления случайных событий часто используют
формулу Бернулли, которая позволяет определить вероятность появления событий
при достаточно большом количестве независимых и «повторных» испытаниях. На
пример: многократное извлечение одного шара из корзины при условии, что вынутый
шар, после регистрации его цвета, снова кладётся в корзину.
Если известна вероятность события А (p = P(A)) и вероятность противоположного
события q (q = 1 - p), то вероятность того, что событие А в n испытаниях появится k
раз определяется выражением:
𝑃𝑛 (𝑘) = 𝐶𝑛𝑘 ∙ 𝑝𝑘 ∙ 𝑞 𝑛−𝑘 ,
где С𝑘
𝑛 =
𝑛!
𝑘!∙(𝑛−𝑘)!
- количество сочетаний из n по k
(биноминальный
коэффициент).
3. Случайные величины.
3.1. Случайной величиной называют величину, которая в результате опыта может
принимать то или иное численное значение, не известное заранее.
3.2. Дискретной (прерывной) случайной величиной называют случайную величину, которая
может принимать только конечное число различных значений.
122
3.3. Непрерывной случайной величиной называют случайную величину, которая может
принимать бесконечное число различных значений, заполняющих какой- либо
промежуток.
3.4. Законом распределения случайной величины называют всякое соотношение (таблица,
формула, график), устанавливающее связь между всеми возможными значениями
случайной
величины
и
соответствующими
им
вероятностями.
Если
закон
распределения случайной величины известен, то говорят, что эта случайная величина
задана.
3.5. Для дискретных случайных величин, в качестве закона распределения, чаще всего
используют ряд распределения. Ряд распределения представляет собой таблицу, в
верхней части которой размещены все возможные значения дискретной случайной
величины, а в нижней части - соответствующие им вероятности.
Таблица 3.1.
Х
x1
x2
….
xk
….
xn
P(хi)
P(x1)
P(x2)
….
P(xk)
….
P(xn)
Формальным признаком правильности составления ряда распределения является
выполнение условия:
n
P( x ) 1 ,
i 1
i
как сумма вероятности полной группы событий.
3.6. Наряду с одномерными случайными величинами находят применение и многомерные
случайные величины, например, двумерные, которые представляют собой систему
двух дискретных случайных величин Х и Y. Двумерную дискретную случайную
величину можно изобразить совокупностью точек на плоскости, координаты которых
(xi ,yj) соответствуют всем возможным значениям принимаемым случайными
величинами Х и Y. Закон распределения системы двух случайных дискретных величин
может быть задан с помощью таблицы (Таблица. 3.2) где P(xi,yj) - вероятность
события, заключающегося в том, что случайные величины Х и Y одновременном
принимают значения xi и yj соответственно.
123
Таблица 3.2.
Y
y1
y2
….
ym
x1
P(x1,y1)
P(x1,y2)
….
P(x1,ym)
x2
P(x2,y1)
P(x2,y2)
….
P(x2,ym)
….
….
….
….
….
xn
P(xn,y1)
P(xn,y2)
….
P(xn,ym)
X
Формальным признаком правильности составления закона распределения двумерной
дискретной случайной величины является выполнение условия:
n
m
i 1
j
P( x , y ) 1 ,
i
j
как сумма вероятности полной группы событий.
3.7. Для непрерывных случайных величин в качестве закона распределения часто
используют
функцию
распределения
(функция
распределения
может
быть
использована в качестве закона распределения и для дискретных величин). Функцией
распределения случайной величины X называют функцию F(x), выражающую
вероятность того, что случайная величина X примет значение меньше, чем x, т.е.
F(x) = P(X<x).
Из определения функции распределения вытекают ее основные свойства:
1.0 F ( x) 1;
2.F () 0;
3.F () 1;
4.F ( x) неубывающая функция.
В общем случае график функции распределения имеет вид:
Также из определения F(x) вытекает важное соотношение, выражающее вероятность
попадания случайной величины X в интервал от a до b. Действительно, если а < b, то
на основании теоремы сложения вероятностей справедливо равенство:
P( X a) P(a X b) P( X b),
124
откуда следует:
P(a X b) F (b) F (a) .
3.8. Наряду с функцией распределения, в качестве закона распределения непрерывных
случайных величин используют и функцию плотности распределения вероятности
(f(x)), которая определяется как производная функции распределения, т.е.
f(x)=F '(x).
Из определения функции плотности распределения вероятности вытекают ее
основные свойства:
1. f () 0;
2. f () 0;
3. f ( x) 0;
4. f ( x)dx 1.
В общем случае график функции плотности распределения вероятности f(x) имеет
вид:
График функции f(x) называют кривой распределения.
Функция плотности распределения вероятности может использоваться в качестве
закона распределения и для дискретных случайных величин. В этом случае её часто
называют гистограммой.
3.9. Элементом вероятности для случайной величины X называют величину f(x)dx,
выражающую вероятность попадания случайной величины X в элементарный отрезок
dx, примыкающий к точке x.
3.10. Вероятность попадания случайной величины X в конечный промежуток от a до b
определяется соотношением:
b
P(a X b) f ( x)dx ,
a
из которого следует свойство 4 п.3.7.
125
3.11. Из соотношения п. 3.9. совместно с п.3.6, можно получить выражение, связывающее
функцию распределения (F(x)) и функцию плотности распределения вероятности
(f(x)) случайной величины:
x
F ( x) f ( x)dx`.
3.12. Двумерная случайная величина представляет собой случайную величину заданную
на
плоскости
т.
е.
зависящую
от
двух
аргументов.
Например,
плоское
фотоизображение. Если такая случайная величина может принимать бесконечное
число различных значений, то её называют непрерывной двумерной случайной
величиной.
3.13. В качестве закона распределения непрерывной двумерной случайной величины
используют двумерную функцию плотности распределения вероятности (совместная
плотность распределения вероятностей), которая, по аналогии с одномерной
функцией
плотности
распределения
вероятности,
характеризует
вероятность
попадания значений двумерной случайной величины в элементарную площадку dx dy,
примыкающую на плоскости к точке (x, y), и обозначают - p(x,y).
3.14. Двумерную функцию плотности распределения вероятности
p(x,y) можно
представить в виде:
p(x,y)=py(x)·p(y)= px(y)·p(x),
откуда следует:
p y ( x)
p( x)
px ( y)
,
p( y)
где, px(y) – одномерная функция плотности распределения вероятности (условная
плотность распределения) случайной величины y, при условии что значение
случайной величины по координате x – зафиксировано;
p(y) – одномерная функция плотности распределения вероятности случайной
величины y;
py(x) - одномерная функция плотности распределения вероятности (условная
плотность распределения) случайной величины x, при условии что значение
случайной величины по координате y – зафиксировано;
p(x) – одномерная функция плотности распределения вероятности случайной
величины x.
Из теории вероятностей известны следующие основные свойства двумерной функции
плотности распределения вероятности p(x,y):
p(x,y)≥0;
126
p( x, y)dy p( x);
p( x, y)dx p( y);
p( x, y)dxdy 1
4.Статистические характеристики случайных величин.
4.1. Математическое ожидание случайной величины X (обозначают M[X] или mx) – это
среднее арифметическое значение случайной величины, вычисленное по формулам:
n
M X xi p( xi ) - для дискретных случайных величин;
i 1
M X x f ( x)dx - для непрерывных случайных величин.
Основные свойства математического ожидания.
Математическое ожидание постоянной величины(константы) равно этой константе:
М(С) = С
Постоянный множитель можно выносить за знак математического ожидания:
М(С·ζ) = СМ(ζ).
Математическое ожидание произведения двух независимых случайных величин равно
произведению их математических ожиданий:
М(ηζ) = М(ζ)·М(η)
Математическое ожидание суммы двух случайных величин равно сумме математических
ожиданий этих величин:
М(η+ζ) = М(ζ) + М(η)
4.2. Центрированной случайной величиной ºX называют разность между самой случайной
величиной X и ее математическим ожиданием M[X], т.е.
ºX = X - M[X].
4.3. Дисперсия случайной величины X (обозначается D[X] или dx) ― это есть
математическое ожидание квадрата соответствующей ей центрированной случайной
величины, т.е.
D[X]=M[ºX2],
которая вычисляется по формулам:
127
n
DX ( xi M X ) 2 p( xi ) - для дискретных случайных величин;
i 1
DX ( x M X ) 2 f ( x)dx - для непрерывных случайных величин.
Дисперсия характеризует среднее отклонение значений случайной величины от её
математического ожидания. Размерность дисперсии не совпадает с размерностью
характеризуемой случайной величины. Размерность дисперсии есть квадрат размерности
соответствующей случайной величины.
Основные свойства дисперсии.
Дисперсия любой случайной величины неотрицательна:
D(ζ) ≥ 0
Дисперсия постоянной величины(константы) равна 0:
D(С) = 0
Постоянный множитель возводится в квадрат и выносится за знак дисперсии:
D(Сζ) = С2 D(ζ)
Дисперсия суммы двух взаимно независимых случайных величин равна сумме их
дисперсий:
D(η+ζ) = D(ζ) + D(η)
Дисперсия разности двух взаимно независимых случайных величин равна сумме их
дисперсий:
D(η - ζ) = D(ζ) + D(η)
4.4. Среднее квадратическое отклонение (σч) случайной величины X―это есть
квадратный корень из ее дисперсии, т.е.
ч DX .
Среднее квадратическое отклонение имеет ту же размерность, что и сама случайная
величина. Среднее квадратическое отклонение иногда называют стандартом.
4.5.
Начальным
моментом
порядка
k
(νk)
случайной
величины
X
называют
математическое ожидание k-той степени этой случайной величины, т.е.
k M X k .
4.6. Центральным моментом порядка k (μk) случайной величины X называют
математическое ожидание k-той степени отклонения этой случайной величины от ее
математического ожидания, т.е.
k M X M X k
4.7. Эксцесс случайной величины (Е) – это есть величина, вычисленная по формуле:
128
E
4
3.
2 2
Для нормального закона распределения Е=0, отличие эксцесса от нуля указывает на
отклонение
эмпирического
закона
распределения
от
нормального
закона
распределения.
4.8. Ассиметрия характеризует
симметричность
кривой
распределения случайной
величины X. Показатель ассиметрии (S) вычисляется по формуле:
S 3 3 .
( x )
Для симметричных распределений (в частности нормального распределения) S = 0.
4.9. Квантилью xp (p-квантилью, квантилью уровня p) случайной величины X, имеющей
функцию распределения F(x), называют решение xp уравнения F(x) = p. Квантиль со
значением p = 0.5 называют медианой.
4.10. Выше приведённые определения применимы как к одномерным случайным
величинам, так и к двумерных и многомерным случайным величинам.
5.Случайные функции.
5.1. Случайной функцией X(t) называют функцию, которая в результате опыта может
принимать тот или иной конкретный вид, неизвестный заранее.
5.2. Конкретный вид, принимаемый случайной функцией, называют реализацией
случайной функции.
5.3. Сечением
случайной функции называют случайную величину X(tk), в которую
обращается случайная функция X(t) при фиксированном аргументе (t = tk).
5.4. Одномерным законом распределения случайной функции X(t) называют закон
распределения f(x,tk) сечения X(t) случайной функции.
5.5. Математическим ожиданием случайной функции X(t) называют неслучайную
функцию mx(t), которая при каждом значении аргумента t представляет собой
математическое ожидание соответствующего сечения этой случайной функции.
5.6. Дисперсией случайной функции X(t) называют неслучайную функцию dx(t), которая
при каждом значении аргумента t представляет собой дисперсию соответствующего
сечения этой случайной функции.
129
5.7. Корреляционной функцией случайной функции X(t) называют неслучайную функцию
двух аргументов Rx(tk,,ti), которая при каждой паре значений аргументов tk и ti равна
корреляционному моменту соответствующих сечений случайной функции, т. е.
Rx t k , t i M X (t k ) X (ti ) ,
где X (t ) X (t ) m x (t ) - центрированная случайная функция.
Корреляционная функция характеризует статистическую связь между сечениями
случайной функции, т.е. внутреннюю структуру случайной функции. При tk = ti
корреляционная функция обращается в дисперсию, действительно,
Rx tk , tk M ( X (tk ))2 .
5.8. Нормированной корреляционной функцией (коэффициентом корреляции) случайной
функции
X(t)
называют
неслучайную
функцию
двух
аргументов
rx(tk,ti),
определяемую по формуле:
rx t k , t l
Rx t k , t l
x (t k ) x (t l )
Rx t k , t i
Dx (t k ) Dx (t l )
,
при tk = ti
rx(tk ,ti) = 1.
Свойства: коэффициента корреляции:
1,
0 1 ,
а, следовательно,
K x K x 0 .
5.9. Стационарной случайной функцией называют случайную функцию, математическое
ожидание которой постоянно ( m x (t ) const ) , а её корреляционная функция зависит
только от разности между аргументами:
Rx t1 , t 2 Rx ,
где τ = t1 - t2.
Закон распределения стационарной случайной функции не зависит от времени или
иного аргумента.
5.10. Эргодическое свойство стационарных случайных функций заключается в том, что
для них усреднение по ансамблю (множеству реализаций) и усреднение по аргументу
(по длине реализации) эквивалентны.
Пример свойства эргодичности: Для оценки вероятности выпадения одной из сторон
монеты равноценно бросать одну монету много раз или много монет один раз.
130
Литература.
1. Журкин И.Г., Шавенько Н.К. «Автоматизированная обработка данных дистанционного
зондирования». Учебник для ВУЗов, Москва. ООО «Диона», 2014, 456 стр.
2. Шавенько Н.К Основы теории информации и кодирования. Учебное пособие. –М.:
Изд. МИИГАиК, 2012. – 126 с.
131
Содержание.
Введение ......................................................................................................................... 3
1. Основы теории информации ................................................................................ 4
1.1. Информация. Общие понятия...............................................................................4
1.2. Измерение информации ....................................................................................... 7
1.3. Структурное (комбинаторное) определение количества
информации (по Хартли) ..................................................................................... 12
1.4. Статистическое определение количества информации (по Шеннону) ........... 14
1.5. Свойства функции энтропии источника дискретных сообщений.................... 18
1.6. Информационная ёмкость дискретного сообщения ......................................... 23
1.7. Энтропия объеденённых источников сообщений……………….. ............................... 25
1.8. Информация в непрерывных сообщениях. …………........................................ 34
1.9. Энтропия непрерывных сообщений……............................................................ 36
1.10. Экстремальные свойства энтропии непрерывных сообщений......................... 41
1.11. Информация в непрерывных сообщениях при наличии шумов ...................... 44
1.12. Информационные системы………....................................................................... 49
2. Передача информации по каналам связи .......................................................... 51
2.1. Системы передачи информации. Общие понятия .............................................. 51
2.2. Передача дискретных сообщений по каналам связи .......................................... 57
2.3. Передача непрерывных сообщений по каналам связи ....................................... 61
2.4. Согласование каналов с сигналами ...................................................................... 63
3. Использование информационных моделей при анализе систем
автоматической обработки изображений………………………………………...68
3.1. Системы. Моделирование систем. Общие понятия…………….……………....68
3.2. Информационные модели систем автоматической обработки изображений....73
3.3. Источники визуальных сообщений……………………………………………....75
3.4. Моделирование и классификация источников визуальных сообщений…….....77
3.5. Информационный подход к оценке качества оптических изображений……....80
3.6. Информационный подход к оценке качества фотоизображений……………….93
3.7. Информационная оценка датчиков сообщений…….………………………...…101
Лабораторный практикум.………………………………………………………….110
132
Лабораторная работа № 1…………………………………………………….….....…106
Лабораторная работа № 2……………………………….……………………….....…111
Лабораторная работа № 3…………………………………….………………….....…115
Приложение.
Некоторые полезные сведения из теории вероятностей......................................118
Литература………………………………………………….…………………...……129
Содержание………………………………………………………………………...….…130
133
