История нейронных сетей: часть 2

В предыдущей статье был рассмотрен период с 1940-х по 1962 год, окончившийся изобретением первой «настоящей» нейронной сети — персептроном. Однако в 1969 году подъем нейрокомпьютинга закончился после публикации книги «Персептроны» Марвина Минского и Сеймура Пейперта в 1969 г., в которой они формально доказали ограниченности персептрона и показали, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. В качестве примеров таких задач можно привести проблему определения четности рядов, распознавание символов, определение связности и прочие.

1, 2 — преобразования группы переносов; 3 — из какого количества частей состоит фигура? 4 — внутри какого объекта нет другой фигуры? 5 — какая фигура внутри объектов повторяется два раза?

1, 2 — преобразования группы переносов;
3 — из какого количества частей состоит фигура?
4 — внутри какого объекта нет другой фигуры?
5 — какая фигура внутри объектов повторяется два раза?

Большинство используемых в то время моделей многослойных персептронов состояли их трех слоев: входного, скрытого и выходного. Входной слой нейронов служил для ввода значений входных переменных. Нейроны этого слоя связаны с нейронами промежуточного слоя, так называемыми скрытыми элементами. Скрытые элементы связаны с последним слоем нейронов – элементами выхода. Связи между нейронами имеют переменные веса. Это означает, что активность одного нейрона может усилить активность второго и ослабить активность третьего – в зависимости от силы связей. Изменяя веса связей, можно обучить нейронную сеть отображению входных данных на выходные. Выходной сигнал трехслойного персептрона равен
2 где f – функция активации нейронов, 3 – вес связи между i-ым и j-ым нейроном на k-ом слое, 4— входные сигналы. Известно, что такая модель ИНС способна моделировать любую кусочно-гладкую функцию.

Трехслойная нейронная сеть

Трехслойная нейронная сеть

Впервые алгоритмы обучения многослойных нейронных сетей были предложены в СССР в работах Александра Ивановича Галушкина конца 60-х – начала 70-х годов. Одни из работ этого периода — статья Галушкина «Об алгоритмах адаптации в многослойных системах распознавания образов» (1973), опубликованная в Докладах АН УССР, а также его монография «Синтез многослойных систем распознавания образов» (1974), в которой автор обобщил результаты по теории обучения многослойных нейронных сетей. В основе этих алгоритмов лежат градиентные алгоритмы стохастической аппроксимации, описанные в монографии Якова 3алмановича Цыпкина «Адаптация и обучение в автоматических системах» (1968), выбор функционала вторичной минимизации и метод вычисления градиента функционала на основе цепного правила дифференцирования сложных функций. В 1974 г. Пол Дж. Вербос независимо от работ Галушкина повторно изобретает алгоритм обратного распространения ошибки. На Западе это изобретение не привлекло особого внимания, хотя включало фундаментальную идею – использование обратных связей для трансляции ошибок. Обратная трансляция ошибок происходила только на стадии обучения, а в процессе функционирования нейронной сети потоки информации всегда передавались одним и тем же способом. Никакой обратной связи между элементами входа и выхода не наблюдалось. Кроме того, многослойная модель не учитывала временной фактор: статические входящие сигналы превращались в статические исходящие сигналы. Нейронная сеть не сохраняла никаких данных о произошедших событиях, даже о тех, что случились совсем недавно.

Другой метод обучения, метод группового учета аргументов (МГУА) предложен Алексеем Григорьевичем Ивахненко. Одна из первых работ, вышедшая в 1968г, называлась «Метод группового учёта аргументов — конкурент методу стохастической аппроксимации». МГУА представляет собой метод порождения и выбора регрессионных моделей оптимальной сложности. Под сложностью модели понимается число параметров. МГУА использует индуктивный подход, согласно которому последовательно порождаются модели возрастающей сложности до тех пор, пока не будет найден минимум некоторого критерия качества модели. В книге «Моделирование сложных систем по экспериментальным данным» Ивахненко описывает МГУА следующим образом: «Осуществляется целенаправленный перебор многих моделей-претендентов различной сложности по ряду критериев. В результате находится модель оптимальной структуры в виде одного уравнения или системы уравнений. Минимум критерия селекции определяет модель оптимальной структуры».

Ранние успехи способствовали преувеличению потенциала нейронных сетей, в частности в свете ограниченной элементной базы электроники того времени. Результаты, полученные в 70-х годах, вызвали множество разочарований западных специалистов. Итогом было прекращение финансирования. Период спада продолжался до 80-х годов.

Кроме литературы в части 1 использовано:

  1. Ивахненко А. Г., Юрачковский Ю. П. Моделирование сложных систем по экспериментальным данным. М.: – «Радио и связь», 1987. – 120 c.Савельев А.В. Философия методологии нейромоделирования: смысл и перспективы. Философия науки. 2003, № 1 (16), с. 46-59.

  2. Савельев А.В. Философия методологии нейромоделирования: смысл и перспективы. Философия науки. 2003, № 1 (16), с. 46-59.

Добавить комментарий