РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ
«Нейровычисления в задачах управления и обработки информации»
по подготовке специалистов по направлению «Физика»
по специализации «Компьютерные методы физики»
на физическом факультете МГУ
1. Нейровычисления в задачах управления и обработки информации
2. Лектор.
2.1. д.т.н., профессор, Филимонов Николай Борисович
Кафедра физико-математических методы управления физического
факультета МГУ
e-mail: [email protected]
3. Аннотация дисциплины.
Дисциплина относится к блоку специальных дисциплин в программе инженерной подготовке по специальности «Компьютерные методы физики». Необходимость изучения дисциплины обусловлена все возрастающей ролью искусственных
нейронных сетей (НС) в современных информационно-управляющих системах.
Объектом изучения являются модели НС, а предметом изучения - информационные процессы в НС и методы решения прикладных задач посредством
нейросетевых технологий. В курсе рассматриваются: основные понятия НС, модели формальных нейронов, вопросы обучения НС, метод обратного распространения ошибки, персептроны, машина Больцмана, автоассоциативные НС, нейросетевые методы кластеризации, самоорганизующиеся НС Кохонена, НС встречного
распространения, радиальные НС, сети Хопфилда и Хемминга, когитрон, нейрокомпьютеры, особенности применения НС в задачах управления. На семинарских
занятиях рассматриваются особенности обучения НС, пример построения персептронной НС, а также применение сетей Хопфилда в задачах распознавания цифровых образов. В лабораторных работах проводится знакомство с пакетом расширения Neural Networks Toolbox системы MATLAB.
4. Цели освоения дисциплины.
Целью преподавания дисциплины является формирование у студентов знаний, умений и навыков в области нейрокомпьютинга:
ознакомление студентов с новой перспективной областью информатики;
обучение студентов квалифицированному использованию аппарата НС и
нейросетевых технологий для решения прикладных задач;
подготовка студентов к появлению на рынке нейрокомпьютеров и их
применению в автоматизированных системах обработки информации и управления.
Основные компетенции, приобретаемые в результате освоения дисциплины:
- способность к творчеству и порождению инновационных идей;
- способность использовать современную вычислительную технику;
- способность к постановке целей исследования, выбору оптимальных путей
и методов их достижения;
- способность использовать профессиональные знания в области информационных технологий, современных компьютерных сетей, программных продуктов.
Стр. 1 из 9
5. Задачи дисциплины.
Задачами дисциплины является приобретение студентами основных знаний и
навыков по работе с нейронными сетями, а также формирование у студентов представлении о современных подходах к построению систем управления и обработки
информации на основе нейросетевых технологий.
6. Компетенции.
7.1. Компетенции, необходимые для освоения дисциплины.
ОНК-1, ОНК-4, ОНК-5, ОНК-6, ИК-3, СК-1.
7.2. Компетенции, формируемые в результате освоения дисциплины.
ИК-4, СК-2, СК-3, ПК-2, ПК-7.
7. Требования к результатам освоения содержания дисциплины
В результате освоения дисциплины студент должен
иметь основные представления о структуре мозга и биологических НС;
знать базовые формальные модели нейронов и архитектуру НС;
владеть:
основными парадигмами построения искусственных НС для решения
прикладных задач: сети обратного распространения ошибки, сети персептронного типа, слои и карты Кохонена, рекуррентные сети Хопфилда
и Хемминга;
основными принципами и навыками решения прикладных задач распознавания образов, диагностики и управления с помощью НС;
получить опыт использования нейросетевых технологий в научно-исследовательской деятельности.
8. Содержание и структура дисциплины.
Вид работы
Общая трудоёмкость, акад. часов
Аудиторная работа:
Лекции, акад.часов
Семинары, акад. часов
Лабораторные работы, акад. часов
Самостоятельная работа, акад. часов
Вид итогового контроля (зачёт, экзамен)
№
п/п
Наименование
тем
1.
Тема 1.
Введение
в нейрокомпьютинг
Семестр
7
72
36
36
нет
нет
36
зачет
Трудоемкость (академических часов) и содержание занятий
Аудиторная работа
Лекции
Лекция 1 (2 часа).
Структура нервных клеток: сома, дендриты,
аксон, синапсы. Поляризация нейронов. Возбуждающие и ингибирующие воздействия. Период рефрактерности. Типы нейронных структур: сенсорные, внутренние, эффекторные.
Особенности человеческой памяти. Нейроком-
Самостоятельная
работа
Форма
текущего
контроля
Тема:
Примеры НС. Типы
функции активации.
Топология НС.
Стр. 2 из 9
2.
Тема 2.
Модель
формальных
нейронов
3.
Тема 3.
Классификация
НС
4.
Тема 4.
Общие вопросы
обучения НС
5.
Тема 5.
Метод обратного распространения
ошибки
6.
Тема 6.
Персептроны
7.
Тема 7.
Машина
Больцмана
8.
Тема 8.
Автоассоциативные сети
пьютинг. Типичные задачи для искусственных
нейросетей (НС). Краткая история нейрокомпьютинга.
Лекция 2 (2 часа).
Формальный нейрон. Синаптические веса, порог, функция активации. Типы функции активации: пороговая, линейная, полулинейная,
экспоненциальный сигмоид, рациональный
сигмоид, гиперболический тангенс.
Лекция 3 (2 часа).
НС. Структура (топология), архитектура и парадигма НС. Конфигурация НС. Типы нейронов. Многослойность. Слои - скрытые и выходной. Бинарные и аналоговые, гомогенные и
гетерогенные, однослойные и многослойные
нейронные сети. Релаксационные и рекуррентные НС. Статические и динамические НС.
Лекция 4 (2 часа).
Обучение НС с учителем. Примеры (эталоны).
Обучающая выборка. Функция ошибки. Задача
оптимизационного обучения НС. Особенности
обучения без учителя (самообучения). Градиентная схема оптимизации сети. Цикличность
алгоритмов обучения. Эпохи. Темп обучения.
Лекция 5 (2 часа).
Обучение многослойных НС по методу обратного распространения ошибки (backpropagation). Невязка нейрона. Дельта-правило
обучения. Вычисление входов нейронов по
схеме прямого распространения. Цепное правило дифференцирования. Расчет невязок по
схеме обратного распространения ошибки.
Лекция 6 (2 часа).
Назначение персептронов. Пороговая функция
активации. Архитектура персептрона. Разделяющие гиперплоскости. Линейное решающее
правило. Алгоритм обучения однослойного
персептрона. Обучающее правило УидроуХоффа. Правило персептрона.
Лекция 7 (2 часа).
Проблема локальных минимумов. Модификация метода градиентного спуска - метод тяжелого шарика. Моментный параметр. Детерминированные и стохастические методы обучения. Метод имитации отжига. Машина Больцмана.
Лекция 8 (2 часа).
Ассоциативная память: автоассоциативная и
гетероассоциативная. Линейная ассоциативная
Тема:
Обучение с учителем.
Самообучение. Задача
кластеризации образов.
Тема:
Задачи распознавания
образов. Персептрон
Ф.Розенблатта. Модельный пример построения персептронной нейронной схемы.
Тема:
Модельные примеры
нейросетевого решения задач кластеризации данных и сжатия
данных методом векторного квантования.
Стр. 3 из 9
РК
Тема 9.
Нейросетевые
методы кластеризации
Тема 10.
Самоорганизующиеся НС
Кохонена
Тема 11.
НС встречного
распространения
память. Автоассоциативные сети с узким горлом. Применение нелинейных автоассоциативных сетей в процессах сжатия информации.
Лекция 9 (2 часа).
Пространство признаков. Мера сходства объектов. Задачи кластеризации данных. Нейрониндикатор. Правила обучения Хебба и Ойа.
Соревновательное (конкурентное) обучение.
С.Гроссберг и Т.Кохонен. Нейроны - прототипы эталонов. Режим функционирования сети в
соревновательном обучении - победитель забирает все.
Лекция 10 (2 часа).
Самоорганизующиеся НС. Слои Кохонена.
Механизм конкурентного обучения. Правило
Кохонена обучения нейрона-победителя. Проблема «мертвых» нейронов. Алгоритм растущего нейронного газа. Сжатие данных методом
векторного квантования. Ячейки Дирихле (Вороного). Топологическое упорядочивание
входного пространства паттернов. Алгоритм
Кохонена соревновательного обучения. Функции соседства и радиус взаимодействия нейронов. Карты Кохонена. Применение карт Кохонена для визуализации многомерной информации. Топографический атлас.
Лекция 11 (2 часа).
Нейросетевые структуры - звезды Гроссберга:
Instar и Outstar. Сети встречного распространения ошибки (CPN). Особенности архитектуры
и процесса обучения.
Тема 12.
Радиальные
НС
Лекция 12 (2 часа).
Радиально-симметричные базисные функции
(RBF). Пример - функция Гаусса. Назначение,
архитектура и алгоритм обучения RBF-сетей.
Тема 13.
НС Хопфилда
Лекция 13 (2 часа).
Рекуррентные НС. Динамическая обработка
информации. Физический прототип НС Хопфилда - спиновые стекла. Полносвязные рекуррентные нейронные сети с симметричными
связями. Возбужающие и тормозные связи. Аттракторы сети. Асинхронная динамика. Спиновые переменные. Потенциал нейрона. Последовательная и параллельная динамика. Роль входа и выхода в модели Хопфилда. Метрика
Тема:
Пример применения
сетей Хопфилда - задача распознавания цифровых образов. Анализ
емкости памяти сети и
помехоустойчивости
алгоритма распознавания.
Тема:
Общее знакомство с
пакетом расширения
Neural Networks
Toolbox системы
MATLAB. Построение
графиков библиотечных функций активации hardlim, purelin,
logsig, tansig, newff.
Использование функции newff для моделирования НС.
Тема:
Функции адаптации
adapt и тренинга train
ППП Neural Network
Toolbox. Пример построения двухслойной
аппроксимирующей
НС с использованием
функции newff. Генерация S-модели сети в
Стр. 4 из 9
Тема 14.
НС Хемминга
Тема 15.
Когнитрон
Тема 16.
НС и вычислительная
математика
Тема 17.
Концепция
мягких
вычислений
и нечеткие НС
Тема 18.
Нейрокомпьютеры
Хэмминга в пространстве состояний. Энергия
состояния. Стационарные конфигурации активностей нейронов. Сеть Хопфилда как ассоциативная память. Восстановление полной информации по частичной в сети Хопфилда. Обучение сети. Хеббовское правило построения
межнейронных связей. Емкость памяти. Свойство синтеза новых образов: химеры, русалки.
Стохастические нейроны. Распределение Ферми. Обратная температура. Приближение среднего поля. Фазовые переходы сети. Точка Кюри. «Зеркальные двойники» запоминаемых состояний. Параметр загрузки памяти. Упрощенная диаграмма фазовых состояний.
Лекция 14 (2 часа).
Назначение и архитектура НС Хемминга. Их
отличие от НС Хопфилда. Особенности метода
обучения Сетей Хемминга.
Лекция 15 (2 часа).
Когнитрон К.Фукушимы как гипотетическую
модель системы восприятия и распознавания
зрительных образов зрительной корой мозга
человека. Иерархическая многослойная структура когнитрона. Назначение возбуждающих и
тормозящих нейронов. Области связей и конкуренции. Процедура обучения. Сферы применения.
Лекция 16 (2 часа).
Нейросетевая реализация классических задач и
алгоритмов вычислительной математики: решение систем линейных уравнений, решение
задач математической физики и др.
Лекция 17 (2 часа).
Идея Л.Заде мягких вычислений (МВ). Компоненты МВ: нечеткая логика, нейровычисления,
эволюционные вычисления. Основные понятия
и определения нечетких (гибридных) нейронных сетей. Нечеткие нейроны «И» и «ИЛИ».
Алгоритмы обучения гибридных сетей. Архитектура ANFIS. Нечеткий гибридный классификатор. Применение гибридных сетей для реализации деревьев классификации.
Лекция 18 (2 часа).
Архитектура нейрокомпьютеров. Нейрочипы.
Специализированные матричные ускорители
(DSP-процессоры, аналоговые микросхемы).
Программное обеспечение нейровычислителей.
Нейроэмуляторы. Области применения нейрокомпьютинга.
ППП Simulink. Графическое отображается
динамики изменения
среднеквадратичной
погрешности (MSE) в
процессе обучения.
Тема:
Архитектура однослойного персептрона.
Персептронные нейроны. Алгоритм обучения
однослойного персептрона. Пример моделирования персептрона в
ППП Neural Network
Toolbox. Симуляция
персептрона - функция
sim.
Тема:
Моделирование слоя
Кохонена в ППП Neural Network Toolbox.
Назначение и синтаксис библиотечной
функции newc. Способы инициализации и
обучения сети. Анализ
особенностей метода
конкурентного обучения. Проверка механизма активации
“мертвых” нейронов.
Стр. 5 из 9
Об
Об
9. Место дисциплины в структуре ООП ВПО
1. Дисциплина является обязательной по выбору и читается на 7 семестре.
2. Дисциплина относится к вариативной части учебного плана, составляет ее профессиональный блок, модуль – дисциплина профиля.
3.1 Для освоения дисциплины необходимы знания, умения и компетенции, приобретенные в результате изучения следующих дисциплин: математический анализ, линейная алгебра, методы оптимизации, теория обучения, анализ данных,
теория систем и системный анализ, математическая логика и теория алгоритмов, информационные системы и технологии, ЭВМ и программирование.
3.2. Знания, умения и навыки, приобретенные в результате изучения дисциплины
могут быть полезны при изучении других дисциплин, связанных с вопросами
интеллектуализации систем управления и обработки информации, в практике
принятия управленческих решений, а также могут быть использованы в научно-исследовательской практике и научно-исследовательской работе.
10. Образовательные технологии
Для более эффективного усвоения дисциплины используются следующие
образовательные технологии:
дискуссии и круглые столы,
использование средств дистанционного сопровождения учебного процесса (презентации).
Для самостоятельной работы студентов использовались следующее учебнометодическое обеспечение:
- Проработка лекций, изучение рекомендованной литературы.
- Анализ источников по темам индивидуальных занятий, поиск существующих аналогов и выбор программных средств для реализации разрабатываемых алгоритмов.
11. Оценочные средства для текущего контроля успеваемости
и промежуточной аттестации
Для оценки текущего контроля успеваемости и промежуточной аттестации
используется следующий перечень вопросов:
1. Структура формального нейрона.
2. Типы функции активации нейрона: пороговая, линейная, полулинейная, экспоненциальный сигмоид, рациональный сигмоид, гиперболический тангенс.
3. Поясните различие в понятиях «структура» и «архитектура» нейронных сетей
(НС). Парадигма НС.
4. Типы НС: бинарные и аналоговые, гомогенные и гетерогенные, однослойные
и многослойные.
5. Релаксационные и рекуррентные НС. Статические и динамические НС.
6. Обучение с учителем. Структура функция ошибки. Задача оптимизационного
обучения НС.
7. Градиентная схема обучения. Цикличность алгоритмов обучения. Эпохи.
8. Особенности обучения без учителя (самообучения). Задача кластеризации
многомерных данных.
9. Обучение многослойных НС по методу обратного распространения ошибки
(back-propagation). Невязка нейрона. Дельта-правило обучения.
Стр. 6 из 9
10. Назначение персептронов. Пороговая функция активации. Архитектура персептрона.
11. Задачи распознавания образов. Персептрон Ф.Розенблатта.
12. Геометрическая интерпретация функционирования персептрона. Разделяющие
гиперплоскости в пространстве признаков. Проблема «исключающего ИЛИ».
13. Алгоритм обучения однослойного персептрона. Обучающее правило УидроуХоффа.
14. Проблема локальных минимумов в градиентных методах обучения. Модификация метода градиентного спуска - метод тяжелого шарика.
15. Стохастические методы обучения. Метод имитации отжига. Машина Больцмана.
16. Виды ассоциативной памяти: автоассоциативная и гетероассоциативная. Линейная ассоциативная память.
17. Автоассоциативные сети с узким горлом.
18. Применение нелинейных автоассоциативных сетей в процессах сжатия информации.
19. Формализация задач кластеризации. Пространство признаков. Мера сходства
объектов.
20. Задачи кластеризации данных. Нейрон-индикатор. Правила обучения Хебба и
Ойа.
21. Самоорганизующиеся НС. Соревновательное (конкурентное) обучение.
22. Слои Кохонена. Механизм конкурентного обучения. Правило Кохонена обучения нейрона-победителя.
23. Проблема «мертвых» нейронов в самоорганизующихся НС. Алгоритм растущего нейронного газа.
24. Применение самоорганизующихся НС: сжатие данных методом векторного
квантования. Ячейки Дирихле (Вороного).
25. Карты Кохонена. Особенность алгоритма обучения: функции соседства и радиус взаимодействия нейронов.
26. Применение карт Кохонена для визуализации многомерной информации. Топографический атлас.
27. Сети встречного распространения ошибки (CPN). Особенности архитектуры и
процесса обучения.
28. Радиальные нейронные сети. Радиально-симметричные базисные функции
(RBF). Пример - функция Гаусса.
29. Назначение, архитектура и алгоритм обучения RBF-сетей.
30. Нейронные сети Хопфилда. Бинарная структура состояния нейронов. Потенциал нейрона. Асинхронная динамика. Аттракторы сети.
31. Различия в последовательной и параллельной динамике сетей Хопфилда.
32. Роль входа и выхода в модели Хопфилда.
33. Метрика Хэмминга в пространстве состояний сети Хопфилда.
34. Энергия состояния сети Хопфилда. Релаксационные процессы в сети.
35. Сеть Хопфилда как ассоциативная память. Восстановление полной информации по частичной в сети Хопфилда.
36. Обучение сети Хопфилда. Хеббовское правило построения межнейронных
связей.
Стр. 7 из 9
37. Емкость памяти сетей Хопфилда. Ложная (паразитная память). Свойство синтеза новых образов: химеры, русалки.
38. Сеть Хопфилда со стохастическими нейронами. Распределение Ферми. Фазовые переходы сети. Точка Кюри.
39. Назначение и архитектура сетей Хемминга. Их отличие от сетей Хопфилда.
Особенности метода обучения.
40. Когнитрон К.Фукушимы. Иерархическая многослойная структура когнитрона.
41. Особенности архитектуры когнитрона. Назначение возбуждающих и тормозящих нейронов. Области связей и конкуренции. Процедура обучения.
42. Архитектура нейрокомпьютеров. Нейрочипы.
43. Назначение нейроэмуляторов.
44. Назначение и синтаксис библиотечной функции newff в пакете расширения
Neural Networks Toolbox системы MATLAB.
45. Построение графиков библиотечных функций активации hardlim, purelin, logsig, tansig в ППП Neural Network Toolbox.
46. Различие функций адаптации adapt и тренинга train ППП Neural Network
Toolbox.
47. Графическое отображение динамики изменения среднеквадратичной погрешности (MSE) в процессе обучения в среде ППП Neural Network Toolbox.
48. Генерация S-модели нейросети в ППП Simulink посредством функции gensim.
Симуляция нейросетей - функция sim.
49. Назначение и синтаксис библиотечной функции newp ППП Neural Network
Toolbox.
50. Назначение и синтаксис библиотечной функции newc ППП Neural Network
Toolbox.
Контроль результатов самостоятельной работы осуществляется при проведении письменной контрольной работы и при обсуждении лекционного материала.
12. Учебно-методическое обеспечение дисциплины
Основная литература:
1. Нейронные сети: история развития теории / Под ред. А.И.Галушкина и
Я . З . Цыпкина. М.: И П Р Ж Р , 2001.
2. Галушкин А.И. Теория нейронных сетей: Учеб. пособие. М.: ИПРЖР, 2000.
3. Головко В.А. Нейронные сети: обучение, организация и применение. М.:
ИПРЖР, 2001.
4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002.
5. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. М.: ДИАЛОГМИФИ, 2002.
Дополнительная литература:
6. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.
Новосибирск: Наука, 1996.
7. Дьяконов В., Круглов В. Математические пакеты расширения MATLAB.
Специальный справочник. СПб.: Питер, 2001.
8. Ежов А.А., Шумский С.А. Нейрокомпьютеринг и его приложения в экономике и бизнесе. М.: Изд-во МИФИ, 1998.
Стр. 8 из 9
Нейроинформатика / А.Н.Горбань, В.А.Дунин-Барковский, А.Н.Кирдин и
др. Новосибирск: Наука, 1998.
10. Осовский С. Нейронные сети для обработки информации. М.: Финансы и
статистика, 2002.
11. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир,
1992.
12. Каллан Р. Основные концепции нейронных сетей. М.-Л.: Вильямс, 2001.
13. Хайкин С. Нейронные сети: полный курс. М.: Изд. дом «Вильямс», 2006.
14. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. М.: Высш. школа, 2002.
Периодическая литература:
- журнал «Нейрокомпьютеры: разработка и применение»
- журнал «Информационные технологии»
(журнал в журнале «Нейронные технологии»
Интернет-ресурсы:
- PC Noon - Нейронные сети
- Нейрокомпьютерные новости
- http://nncourse.chat.ru/
- Лаборатория анализа данных Basegroup
- Нейронные сети и их приложения
- http://www.acdwp.narod.ru/otneiro.htm
- Самоорганизующиеся нейронные сети
- http://parallel.ru/
Программное обеспечение:
- ППП STATISTICANeural Networks
- ППП Neural Network Toolbox MATLAB
- Промышленный нейроимитатор Neural Works Professional II+
фирмы Neural Ware
9.
13. Материально-техническое обеспечение
Лекционные занятия по дисциплине проводятся в стандартной аудитории,
предусматривающей проекционное оборудование.
Стр. 9 из 9
