История нейронных сетей: часть 1

Первый шаг в развитии нейрокомпьютерных технологий был сделан в 1943 г. с выходом статьи нейрофизиолога Уоррена Мак-Каллока и математика Уолтера Питтса о работе искусственных нейронов и реализации модели нейронной сети электрическими схемами. В этой работе описывалась модель нейрона с пороговой функцией активации f(u):
hist1

где hist12– сигналы, поступающие на вход нейрона, hist3– весовые коэффициенты, n – количество входных сигналов.

hist2

В 1948 г. издана книга Норберта Винера «Кибернетика, или управление и связь в животном и машине», в которой изложены важные концепции управления, коммуникаций и статистической обработки сигналов, и определена новая область — кибернетика. Вторая редакция этой книги, в которую добавлен материал об обучении и самоорганизации систем, вышла в 1961 году.

В том же 1948 г. Алан Тьюринг опубликовал свою статью «Интеллектуальные машины», в которой представил свое видение коннекционизма в направлении искусственного интеллекта. Модель, построенная Тьюрингом, представляет собой случайным образом соединенные простые элементы, подобные нейронам, и названа «неорганизованной машиной B-типа». Каждый элемент этой модели выполнял бинарную логическую функцию NAND, возвращающую 1, если хотя бы один из аргументов равен 0, и 0 иначе. Неорганизованная машина Тьюринга «может время от времени делать ошибки и иногда новые и очень интересные утверждения, которые в целом являются столь же ценными, что и утверждения, порожденные человеческим разумом»[3]. Одна из наиболее значимых идей статьи – организация неорганизованной машины посредством обучения. В процедуре обучения выделялось три основных этапа: начальное состояние, обучение и получение последующего опыта. Модель Тьюринга предвосхитила модели персептронов, нейронных сетей и иерархической временной памяти, описанные ниже.

В 1949 г. опубликована книга Дональда Хебба «Организация поведения», где исследована проблематика настройки синаптических связей между нейронами. В этой книге Хебб предложил первый метод обучения (то есть настройки весов) персептрона, который основан на минимизации функции ошибки, строившейся в соответствии с заранее заданным задачником (множеством примеров, являющихся парами входных и желаемых выходных данных). Приведенный в книге постулат обучения Хебба гласит, что вес синапса между двумя нейронами повышается при многократной активации этих нейронов через данный синапс. Книга Хебба легла в основу вычислительных моделей обучаемых и адаптивных систем. Результаты тестирования одной из первых таких моделей описаны Натаниелом Рочестером из исследовательской лаборатории IBM в 1956. Первые попытки моделирования показали необходимость использования торможения при обучении системы. В то же время Аттли продемонстрировал, что нейронные сети с изменяемыми синапсами можно обучить классификации растровых изображений, и ввел понятие активации нейрона, которое было в 1961 году формально проанализировано Кайанелло.

В 1954 г. Габор, один из пионеров в теории коммуникации и первооткрыватель голографии, предложил идею нелинейного адаптивного фильтра. Со своими единомышленниками он создал машину, обучающуюся на примере стохастического процесса.

В 1950-х годах Тейлором инициировано исследование ассоциативной памяти. В 1961 г. разработана матрица обучения, состоящая из плоской сети переключателей, объединявшей массивы сенсорных рецепторов и моторных исполнительных механизмов. В 1969 году представлены две модели неголографической ассоциативной памяти: простая оптическая модель корреляционной памяти и нейросетевая модель, реализованная в виде оптической памяти.

В 1958 г. посмертно опубликована книга Джона фон Неймана, в которой описан способ имитации простых функций нейронов с использованием электронных ламп. В основе этой книги лежат лекции Silliman Lectures, прочитанные фон Нейманом в Йельском университете в 1956 году.

В 1959 г. Бернард Видроу и Марсиан Хофф разработали на основе дельта-правила (метод обучения персептрона по принципу градиентного спуска по поверхности ошибки) модели Adaline и Madaline, в которых использовались линейные функции активации. Adaline был построен на базе созданных Видроу и Хоффом принципиально новых элементах — мемисторах. В то же время предложен алгоритм наименьших квадратов LMS (least mean-square algorithm), используемый для построения элементов Adaline. Madaline, являющаяся расширением Adaline, действовала, как адаптивный фильтр, устраняющий эхо на телефонных линиях. Эта нейросеть до сих пор находится в коммерческом использовании.

В 1958 г. нейробиолог Фрэнк Розенблатт впервые связал направление конекционизма с искусственными нейронными сетями. В своей работе он предложил однослойный персептрон, являющийся развитием модели Мак-Каллока-Питтса. Персептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Свои теории и предположения относительно процессов восприятия и персептронов Розенблатт описал в 1962 году в книге «Принципы нейродинамики: персептроны и теория механизмов мозга». В книге он рассматривает не только уже созданные модели персептрона с одним скрытым слоем, но и модели многослойных персептронов с перекрёстными и обратными связями. В книге также вводится ряд важных идей и теорем, например, доказывается теорема сходимости персептрона.

  1. Осовский С. Нейронные сети для обработки информации. Москва, Финансы и Статистика, 2002. – 344 с.
  2. Тарков М.С. Нейрокомпьютерные системы. БИНОМ, Лаборатория знаний, Интернет-университет информационных технологий — ИНТУИТ.ру, 2006. – 144 с.
  3. Каллан Р. Основные концепции нейронных сетей. Вильямс, 2001. – 288 с.
  4. Хайкин С. Нейронные сети: полный курс. М.: Вильямс. 2006. – 1104 с.
  5. Винер Н. Кибернетика, или Управление и связь в животном и машине. / Пер. с англ. И.В. Соловьева и Г.Н. Поварова; Под ред. Г.Н. Поварова. – 2-е издание. – М.: Наука. 1983. – 344 с.
  6. John M. Casarella. Frank Rosenblatt, Alan M. Turing, Connectionism, and Artificial Intelligence. 2011. Url: http://csis.pace.edu/~ctappert/srd2011/d4.pdf, дата обращения – 6.04.2013.
  7. Rochester N., Holland J.H., Haibt L.H., Duda W.L. Tests on a cell assembly theory of the action of the brain, using a large digital computer. IRE Transactions on Information Theory, 1956, vol. IT-2, p.80-93
  8. Аведьян Э. Д. Исторические аспекты развития теории многослойных нейронных сетей. Информационные технологии. 2005, №12, с. 67-75.

Добавить комментарий