Импульс, достигший концевой пуговки аксона, обычно вызывает лишь предпороговое возбуждение постсинаптической мембраны. Но синапсов обычно много и от одного, и от многих нейронов, и поэтому, накапливаясь, потенциалы, передаваясь пассивным методом, подойдут к аксонному холмику, и суммарное возбуждение может превзойти пороговое, то есть получаем, так называемый, резонанс. Когда согласованный эффект многих таких подпороговых изменений в аксоном холмике превысит порог, и, если это происходит в момент, когда рефрактерный период после предыдущего возбуждения уже закончился, то вдоль аксона начнет распространяться следующий импульс. Если же кумулятивный эффект окажется гораздо больше нормального, то он может превысить и текущее значение порога, прежде чем тот вернется к своему нормальному значению. Период, в течение которого никакое повторное раздражение, не зависимо от его силы, не может вызвать второй импульс, называется абсолютным рефракторным периодом. Когда же очень сильное входное возбуждение может привести к возникновению в аксоне второго импульса, то говорят об относительном рефракторном периоде.

Таким образом, нейрон воспринимает химический сигнал, и реагирует на него повышением или понижением ответов. В этих процессах восприятия химических сигналов и генерации импульсов нейроном важную роль играют перестройки надмолекулярных структур в различных частях данной нервной клетки, а также волны структурных перестроек, сопровождающие передачу информации в пределах данного нейрона и от одного нейрона к другому. Процессы метаболизма (обеспечивающие, в частности, клетку энергией) восстанавливают эти надмолекулярные структуры перестраивающиеся в процессе передачи информации.

2. Основная часть

От процесса мышления можно провести аналогию к процессу распознавания. Процесс распознавания образа в нейрокомпьютерах обладает почти всеми свойствами мышления. Действительно:

-- он происходит в нейросетях, у человека -- в реальных, в компьютере -- в искусственных. Основные принципы функционирования тех и других можно считать одинаковыми;

-- в нем происходит обработка информации;

-- принятие решения в данном случае сводится к выбору класса (из числа обученных), к которому принадлежит данный объект;

при недостатке информации принятие решения -- акт творчества. Для этого в нейрокомпьютере есть все необходимое, включая аппарат рецепции информации, перемешивающий слой (больцмановский шум) и запоминание результата. Момент принятия решения нейро-процессор умеет выбирать сам. В нейрокомпьютере решение принимается интуитивно;

каждый нейрокомпьютер индивидуален. Это проявляется на разных стадиях обучения. Так, локализация образа в процессоре Гроссберга происходит в элементе, выбранном случайно. В исходно одинаковых процессорах эти элементы, как правило, не совпадают. Это немешает работе процессора, но определяет его индивидуальность.

Нейронная сеть представляет собой систему динамически взаимодействующих элементов с набором входных и выходных сигналов. Простейший вариант такого дискретного элемента показан на рис. 7а, где 1 входные функции, Ф (1, 2, 3,… n) -- семейство входных функций, {а1, а2, а3, ..., аn} -- набор чисел (весовых коэффициентов), -- пороговая функция, -- выходная функция. Пусть X-- набор признаков внешних стимулов, воздействующих на рецепторы, генерирующие входные функции i. В дискретном пороговом варианте (Х) = 1 тогда и только тогда, когда ii(Х) > . На интуитивном уровне ясно, что каждое i из семейства Ф содержит определенные сведения о том, будет ли истинной или ложной выходная функция для каждой внешней ситуации X. Если в целом (Х) имеет положительную корреляцию с семейством (Х), то можно ожидать, что и веса будут положительными, тогда как при отрицательной корреляции отрицательными будут и веса . Однако идею корреляции в данном случае следует воспринимать не буквально, а лишь как аналогию. В нейронных сетях, как будет ясно из дальнейшего изложения, возможны более сложные зависимости, нежели просто корреляционные соотношения. В зависимости от решаемой задачи элементы нейронной сети могут с различной степенью детализации имитировать принципы функционирования отдельных нейронов, нейронных популяций (например, тормозных и возбуждающих) или нейронных структур. В классических нейрофизиологических экспериментах этим уровням детализации соответствуют импульсная активность одиночных нейронов, локальный полевой потенциал нейронных ансамблей и электроэнцефалограммы (ЭЭГ), получаемые методом многоэлектродного отведения от мозга в целом.

Рис7а, б. Простейший вариант нейронной сети (а) и его механическая аналогия (б)

Простейшей механической аналогией вычислений в нейронных сетях являются в одномерном случае "качели с распределенным расположением груза", в двумерном -- "скатывание шарика по поверхности, испещренной оврагами". На рисунке 76 в качестве примера показаны "качели". Допустим, что внешняя ситуация X отображена в виде расположения грузов в некоторых зонах {p1, p2 , … , рп}- Пусть i(X) = 1, когда груз находится в i-й точке. Для случая, изображенного на рис. 76, имеем i = (i -- 4), = 0, результат вычисления будет: (i -- 4) I(X) > 0, а логическое заключение о ситуации -- "доска наклонится вправо", т.е. при распознавании двух ситуаций, будет выбрана одна.

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памяти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в процессе функционирования?

Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обучающий вектор, он может изменить веса настолько, что потребуется полное переобучение сети.

Итак, основной целью данной работы является создание нейронной сети, являющейся одним из способов решения проблемы стабильности-пластичности.

Одним из результатов исследования этой проблемы является Адаптивная резонансная теория (APT) Гроссберга.

2.2 Постановка задачи

2.2.1 Неформальная постановка задачи

Создание нейронной сети, которая:

§ распознает входной сигнал, если была ему ранее обучена;

§ в случае не распознавания входного сигнала, запоминает его;

§ совершает эти действия с учетом проблемы стабильности-пластичности. Т.е. при подаче на вход сигнала схожего с одним из запомненных ранее, классифицирует его, как узнанный. Если входной сигнал сильно отличается от запомненных ранее, не уничтожая результаты предыдущего обучения, запоминает его.

Программную реализацию осуществить в среде Matlab.

2.2.2 Формальная постановка задачи

Введем обозначения:

X - множество входных векторов

X - входной вектор

X = (x1,..,xr )

Ai - нейронный ансамбль

aij - j-й нейрон в i-ом ансамбле

M - множество обученных ансамблей нейронов

B - множество порогов

B - вектор порогов, соответствующий одному нейронному ансамблю

Bi = [b1,..br]

bi - порог одного нейрона

n - номер первого необученного ансамбля

Ii - выходной импульс i-го нейронного ансамбля

I = {0;1}

Ii = 1 , когда входной сигнал соответствует запомненному в i-м ансамбле образу, или обучен ему

c - командная переменная

c = {0;1}

T - время полного цикла, Т = Т1 + Т2

T1 - время процесса распознавания

T2 - время процесса обучения

Постановка задачи:

Создать нейронную сеть удовлетворяющую теореме:

T: X :

2.3 Волновая Резонансная Теория

2.3.1 Описание ВPT

Сеть ВPT - это классификатор кривых. В качестве которых могут выступать звуковые кривые (кривые зависимости интенсивности от времени, спектр звука), синусоиды, и т.д.

Входной вектор является аппроксимацией классифицируемой кривой. Один из способов его получения - это дискретизация величины интенсивности по времени. Он классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть ВPT выражает в форме генерации единичного импульса одним из ансамблей распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если входной вектор мало отличается от какого-либо из ранее запомненных, то произойдет его распознавание, если хотя бы одна компонента входного вектора сильно (не допустимо) отличается от запомненного образа, то узнавания не произойдет. Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.

2.3.2 Основные определения и Леммы

Опр1: n - номер 1-го необученного нейрона,

n1 = 1;

при t = T1

Опр2: c - командная переменная,

при t = T1

Опр3: i-й ансамбль обучен :

X

Лемма 1 (об обучении):

Лемма 2 (о командном блоке): Пусть Ii = 1 (при t = T1), => c = 0,

2.3.3 Теорема о стабильности

Теорема (о стабильности): X :

2.3.4 Доказательство

1. Существование:

X1 : B1 = X1 => I1 = 1 (из Леммы об обучении)

Ч.т.д.

2. Единственность:

От противного

Предположим

Из (1) по Л2 следует, что т.к. Ik = 1 , т.е. пункт (2) не возможен

Ч.т.д.

2.3.5 Архитектура ВPT

На рис. 8 показана схема сети ВPT, представленная в виде четырех функциональных модулей. Она включает Блок Управления, N фильтров, N ансамблей нейронов и Командный Модуль. Блок Управления и Командный Модуль обеспечивают управляющие функции, необходимые для обучения и классификации.

Рис. 8. Схема ВРТ

2.3.6 Принцип работы

Блок управления (БУ) получает на вход вектор x и пропускает его в параллельно во все ансамбли. Вместе с сигналом БУ пропускает номер первого необученного ансамбля n, который при инициализации сети равен 1; и командную переменную c. В случае, если сигнал проходит впервые, т.е. идет его распознавание, командная переменная равна 0.

Перед каждым нейронным ансамблем установлен фильтр. Его функция заключается в том, чтобы не пропускать сигнал в еще не обученный ансамбль. Эта функция реализуется благодаря переменной n. В том случае, если n превышает номер ансамбля, сигнал пропускается и командная переменная обнуляется. В случае, если n равна номеру ансамбля, командная переменная проходит без изменений и входной сигнал пропускается. Если же n меньше номера ансамбля, не пропускается ни входной вектор, ни командная переменная.

В нейронном ансамбле проверяется величина командной переменной. Если она нулевая, то в каждом отдельном нейроне идет сравнение величины элемента входного вектора с ранее запомненной. Если же c=1, то происходит запоминание.

В процессе сравнения, как описывалось ранее, каждый элемент входного вектора проверяется на совпадение с ранее запомненным. Т.е. образ распознается только в случае резонанса входного и сигнала, которому был обучен ансамбль (рис.8).

Рис.9. Не резонанс.

Страницы: 1, 2, 3, 4, 5, 6, 7, 8