TechShape.ru

Информационные технологии

Основные разделы

Однослойный и многослойный персептроны

Исторически первой искусственной нейронной сетью, способной к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился PerceptronРозенблатта (F.Rosenblatt, 1957). Термин " Perceptron

" происходит от латинского perceptio

, что означает восприятие, познавание. Русским аналогом этого термина является "Персептрон". Его автором персептрон рассматривался не как конкретное техническое вычислительное устройство, а как модель работы мозга. Современные работы по искусственным нейронным сетям редко преследуют такую цель.

Простейший классический персептрон содержит элементы трех типов (рис. 5.).

Рис. 5. Элементарный персептрон Розенблатта

Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы). Эта матрица очень напоминает матрицы абсолютных частот и информативностей, формируемые в семантической информационной модели, основанной на системной теории информации.

С точки зрения современной нейроинформатики однослойный персептрон представляет в основном чисто исторический интерес, вместе с тем на его примере могут быть изучены основные понятия и простые алгоритмы обучения нейронных сетей.

Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого нейрона.

Ф. Розенблаттом предложен итерационный алгоритм обучения из 4-х шагов, который состоит в подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах:

Шаг 1: Начальные значения весов всех нейронов полагаются случайными.

Шаг 2: Сети предъявляется входной образ xa, в результате формируется выходной образ.

Шаг 3: Вычисляется вектор ошибки, делаемой сетью на выходе. Вектора весовых коэффициентов корректируются таким образом, что величина корректировки пропорциональна ошибке на выходе и равна нулю, если ошибка равна нулю:

ü модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов;

ü знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка (значение выхода меньше требуемого) проводит к усилению связи;

ü обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответствует важному с биологической точки зрения, принципу локальности обучения.

Шаг 4: Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, если выполняется, по крайней мере, одно из условий:

ü когда итерации сойдутся, т.е. вектор весов перестает изменяться;

ü когда полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения [10].

Многослойный персептрон. Обучение многослойного персептрона

Вероятно, эта архитектура сети используется сейчас наиболее часто. Она была предложена в работе Rumelhart, McClelland (1986) и подробно обсуждается почти во всех учебниках по нейронным сетям (см., например, Bishop, 1995). Каждый элемент сети строит взвешенную сумму своих входов с поправкой в виде слагаемого и затем пропускает эту величину активации через передаточную функцию, и таким образом получается выходное значение этого элемента. Элементы организованы в послойную топологию с прямой передачей сигнала. Такую сеть легко можно интерпретировать как модель вход-выход, в которой веса и пороговые значения (смещения) являются свободными параметрами модели. Такая сеть может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании многослойного персептрона (Haykin, 1994; Bishop, 1995).

Количество входных и выходных элементов определяется условиями задачи. Сомнения могут возникнуть в отношении того, какие входные значения использовать, а какие нет. Будем предполагать, что входные переменные выбраны интуитивно и что все они являются значимыми. Вопрос же о том, сколько использовать промежуточных слоев и элементов в них, пока совершенно неясен. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусумме числа входных и выходных элементов. Опять-таки, позже мы обсудим этот вопрос подробнее.

Перейти на страницу: 1 2

Еще статьи

Амплитудно-фазовая частотная характеристика систем автоматического управления
Для оценки установившихся режимов работы систем автоматического управления удобно рассматривать поведение элементов и систем при воздействиях, являющихся периодическими функциями времени. В качестве таких воздействий были выбраны гармонические воздействия, что обусловлено несколькими обстоятельствами. В ...

Все права защищены! 2020 - www.techshape.ru