История нейронных сетей: часть 3

Историю на более ранние периоды и список литературы можно посмотреть здесь:

В 1970-х годах нейронные сети интегрируются с нечеткой логикой Заде, предложенной в 1965 году, в результате чего появляются такие модели как модели нечеткого вывода Мамдани-Заде или нечеткие нейронные сети Такаги-Сугено-Канга. Система нечеткого вывода состоит из множества используемых нечетких правил; базы данных, содержащей описания функций принадлежности; и механизм вывода и агрегирования, который формируется применяемыми правилами импликации. В случае технической реализации в качестве входных и выходных сигналов выступают измеряемые величины, однозначно сопоставляющие входным значениям соответствующие выходные значения.


Для обеспечения взаимодействия этих двух видов вводится нечеткая система с так называемым фазификатором (преобразователем множеств входных данных в нечеткое множество) на входе и дефазификатором (преобразователем нечетких множеств в конкретное значение выходной переменной) на выходе. Нечеткая нейронная сеть Такаги-Сугено-Канга производит вывод по заданным нечетким правилам. Обучение таких систем сводится к настройке коэффициентов нечетких функций принадлежности, используемых при фазификации.

В 1975г. японский ученый Фукусима предложил когнитрон – самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов. Однако это достигается только при помощи запоминания практически всех состояний образа, что означает малую способность сети к обобщению данных. Когнитрон и его производная – неокогнитрон, в отличие от персептронных сетей, имеют иерархическую структуру. Основное применение этих моделей – распознавание образов, поскольку прототипом является представление о зрительной коре мозга. В распознавании образов был сделан шаг вперед, поскольку неокогнитрон все же способен распознавать объекты независимо от их преобразований, вращений, искажений и изменений масштаба.

В 1970-х годах развернулась деятельность в области карт самоорганизации, основанных на конкурентном принципе обучения. Принцип самоорганизации впервые проиллюстрирован с помощью компьютерного моделирования в 1973 году. В 1976 году опубликована работа Уилдшоу и Ван дер Мальсбурга, в которой представлена модель самоорганизующейся карты, отражающая топологически упорядоченную структуру мозга. Основная идея состоит в том, что для представления информации о геометрической близости предсинаптических нейронов в форме их электрической активности и для использования этих корреляций в постсинаптической решетке соседние предсинаптические нейроны должны связываться с соседними постсинаптическими. Модель Уилдоу-ван дер Мальсбурга пригодна для представления отображений, в которых размерности входного и выходного сигналов равны.

В 1980-х годах интерес к нейронным сетям возрос, и вклад в эту теорию был внесен на нескольких направлениях.
Гроссберг, ранние работы которого посвящались принципу конкурентного обучения, в 1980г. открыл новый принцип самоорганизации – теорию адаптивного резонанса. В основе теории лежит испльзование слоя распознавания «снизу вверх» и слоя генерации «сверху вниз». Если входной и изученный образы совпадают, возникает состояние, называемое адаптивным резонансом, вследствие которого нейронная активности усиливается и продляется.

В 1982г. Кохоненом предложены модели самоорганизующихся карт, использующих одно- или двумерную структуру пространственной решетки. Модели Кохонена обучались без учителя (задачника), решали задачи кластеризации, визуализации данных и другие задачи интеллектуального анализа данных.

В 1982 г. Джон Хопфилд представил статью в национальную Академию Наук США. Подход Хопфилда показал возможности моделирования нейронных сетей на принципе новой архитектуры. Дж. Хопфилд предложил модель нейронной сети с обратными связями, представляющую собой динамическую систему, минимизирующую функцию Ляпунова. В частности, нейронные сети Хопфилда могут решать оптимизационные задачи, такие как, например, задача коммивояжера. Впервые принцип хранения информации в динамически устойчивых сетях принял явную форму. Более того, Хопфилд показал, что симметричные синаптические связи гарантируют сходимость к устойчивому состоянию.

Сеть Хопфилда, являющаяся автоассоциативной памятью, представляет особый интерес для развития теории искусственного интеллекта. В ее основу положено не поведение, а сохранение состояний искусственных нейронов. В отличие от нейронных сетей предыдущих поколений (в которых информация проходила только в одном направлении) нейроны автоассоциативной памяти соединены большим числом обратных связей с весами 6, где 7, N – количество нейронов (рис. 4). Каждый выходной сигнал 8в таких сетях преобразовывается в исходящий. Наиболее важным свойством автоассоциативной памяти является возможность воспроизведения сохраненного образа в неизмененном виде по его искаженному или неполному варианту.
hophield-network

В отличие от большинства нейронных сетей автоассоциативная память может быть разработана таким образом, что будет сохранять целые последовательности образов или временные паттерны. Такая ее особенность достигается путем добавления временной задержки к обратной связи. Благодаря этой задержке можно предоставлять автоассоциативной памяти последовательности образов, и она будет сохранять их. Именно таким способом обучаются люди – усваивая последовательности паттернов. Это позволяет сделать заключение о потенциальном значении обратной связи и изменяющихся во времени входных сигналов, но в подавляющем большинстве машин, претендующих на обладание искусственным интеллектом, и в нейронных сетях фактору времени и обратной связи не придается должного значения.

Добавить комментарий