История нейронных сетей: часть 4

Дальнейшее развитие нейрокомпьютерных технологий проходило достаточно динамично. В том же 1982 г. в Киото (Япония) состоялась Объединенная американо-японская конференция по нейронным сетям. Американские периодические издания осветили эту историю, акцентируя внимание на том, что США могут остаться позади. Это привело к росту финансирования в области нейросетей.

С 1985 г. Американский Институт Физики начал проводить ежегодные встречи «Нейронные сети для вычислений». В 1986 г. Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Произошел взрыв интереса к обучаемым нейронным сетям. В 1989 г. на встрече «Нейронные сети для обороны» Бернард Видроу сообщил аудитории о начале четвертой мировой войны, где полем боя являются мировые рынки и производства.

В 1988 г. Брумхед и Лове описали процедуру построения многослойной сети прямого распространения на базе радиальных базисных функций, которая стала альтернативой многослойному персептрону. Используемые функции радиально изменяются вокруг выбранного центра и принимают ненулевые значения только в окрестности этого центра: , где с – центр. Радиальная сеть имеет структуру с одним скрытым слоем и линейными выходными нейронами, связанными со скрытыми нейронами связями с весами , где k — количество нейронов в скрытом слое. Нейронные сети данного типа, в отличие от многослойных персептронов, решали задачи локальной аппроксимации.

Архитектура радиальной сети

В 1990 г. Департамент программ инновационных исследований защиты малого бизнеса назвал 16 основных и 13 дополнительных тем, где возможно использование нейронных сетей. В начале 1990-х Вапник и его коллеги выделили класс сетей, обучаемых с учителем, получивший название машины опорных векторов. Такие сети позволяют решать задачи распознавания образов, регрессии, оценки плотности.

Сегодня обсуждение нейронных сетей происходит везде. Перспектива их использования кажется довольно яркой в свете решения нетрадиционных проблем и является ключом к целой технологии. На данное время большинство разработок нейронных сетей принципиально работают, но для них могут существовать процессорные ограничения, возникающие при привлечении большого числа нейронов. Исследования направлены на программные и аппаратные реализации нейросетей. Ученые работают над созданием трех типов нейрочипов: цифровых, аналоговых и оптических. В частности, при создании нейронов, передающих сигналы с помощью света, прогнозируется резкое увеличение производительности нейронных сетей.

Одним из недавних достижений в построении классических нейронных сетей стала представленная летом 2012 года компанией Google система из 3 миллионов искусственных нейронов, содержащая порядка 1,5 миллиардов синапсов. Модель была успешно обучена распознаванию кошек на фотографиях из коллекции проиндексированных изображений Google [1].

  1. Quoc V. Le, Marc’Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeff Dean, Andrew Y. Ng. Building high-level features using large scale unsupervised learning. International Conference in Machine Learning, 2012. URL: http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en//archive/unsupervised_icml2012.pdf

Добавить комментарий