Что является входом искусственного нейрона. Искусственный (математический) нейрон

Искусственный нейрон

Схема искусственного нейрона
1.Нейроны, выходные сигналы которых поступают на вход данному
2.Сумматор входных сигналов
3.Вычислитель передаточной функции
4.Нейроны, на входы которых подаётся выходной сигнал данного
5. - веса входных сигналов

Иску́сственный нейро́н (Математический нейрон Маккалока - Питтса , Формальный нейрон ) - узел искусственной нейронной сети , являющийся упрощённой моделью естественного нейрона . Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания , передаточной функцией . Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети - соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера .

Биологический прототип

Биологический нейрон состоит из тела диаметром от 3 до 100 мкм, содержащего ядро (с большим количеством ядерных пор) и другие органеллы (в том числе сильно развитый шероховатый ЭПР с активными рибосомами , аппарат Гольджи), и отростков. Выделяют два вида отростков. Аксон - обычно длинный отросток, приспособленный для проведения возбуждения от тела нейрона. Дендриты - как правило, короткие и сильно разветвлённые отростки, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов). Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи с 20-ю тысячами других нейронов. Кора головного мозга человека содержит 10-20 миллиардов нейронов.

История развития

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.

Пороговая функция активации

Пороговая передаточная функция

Гиперболический тангенс

Здесь - расстояние между центром и вектором входных сигналов . Скалярный параметр определяет скорость спадания функции при удалении вектора от центра и называется шириной окна , параметр определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями. В качестве расстояния между векторами могут быть использованы различные метрики , обычно используется евклидово расстояние:

Здесь - j-я компонента вектора, поданного на вход нейрона, а - j-я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными .

В реальных сетях активационная функция этих нейронов может отражать распределение вероятности какой-либо случайной величины , либо обозначать какие-либо эвристические зависимости между величинами.

Другие функции передачи

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие как :

Стохастический нейрон

Выше описана модель детерминистического искусственного нейрона, то есть состояние на выходе нейрона однозначно определено результатом работы сумматора входных сигналов. Рассматривают также стохастические нейроны, где переключение нейрона происходит с вероятностью, зависящей от индуцированного локального поля, то есть передаточная функция определена как

где распределение вероятности обычно имеет вид сигмоида

a нормировочная константа вводится для условия нормализации распределения вероятности . Таким образом, нейрон активируется с вероятностью P(u). Параметр T - аналог температуры (но не температуры нейрона!) и определяет беспорядок в нейронной сети. Если Т устремить к 0, стохастический нейрон перейдет в обычный нейрон с передаточной функцией Хевисайда (пороговой функцией).

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции. Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию (логическое «И») и дизъюнкцию (логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала . Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

Примечания

Литература

Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. - 1-е. - Высшая школа, 2002. - С. 184. - ISBN 5-06-004094-1
Круглов В. В., Борисов В. В.

Нейрон является составной частью нейронной сети. На рис. 1 2 показана его структура Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента - выхода сумматора. Эта функция называется функцией активации или передаточной функцией

Рис. 1.2 Структура искусственного нейрона

нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона:

где - вес (weight) синапса, - значение смещения (bias), s - результат суммирования (sum); х - компонент входного вектора (входной сигнал), выходной сигнал нейрона; - число входов нейрона; - нелинейное преобразование (функция активации).

В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах - лишь некоторые фиксированные значения. Выход определяется видом функции активации и может быть как действительным, так и целым.

Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами - тормозящими.

Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами.

На входной сигнал нелинейный преобразователь отвечает выходным сигналом который представляет собой выход у

нейрона Примеры активационных функций представлены в табл. 1.1 и на рис. 1.3

Таблица 1.1 (см. скан) Функции активации нейронов

Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида)

При уменьшении а сигмоид становится более пологим, в пределе при вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции

Рис. 1.3 Примеры активационных функций а - функция единичного скачка, б - линейный порог (гистерезис), в - сигмоид (логистическая функция), г - сигмоид (гиперболический тангенс)

единичного скачка с порогом Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне Одно из ценных свойств сигмоидальной функции - простое выражение для ее производной, применение которой будет рассмотрено в дальнейшем

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон

Иску́сственный нейро́н (математический нейрон Маккалока - Питтса , формальный нейрон Л. Г. Комарцова, А. В. Максимов «Нейрокомпьютеры», МГТУ им. Н. Э. Баумана, 2004 г., ISBN 5-7038-2554-7 ) - узел искусственной нейронной сети , являющийся упрощённой моделью естественного нейрона . Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Данную функцию называют функцией активации По аналогии с нейронами активации или функцией срабатывания , передаточной функцией . Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети - соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера .Миркес Е. М. , Нейрокомпьютер. Проект стандарта. - Новосибирск: Наука, 1999. - 337 с. ISBN 5-02-031409-9

Биологический прототип

y=\exp(-\frac{(S-R)^2}{2\sigma^ 2})

Здесь $S = ||\mathbf{X}-\mathbf{C}||$ - расстояние между центром $\mathbf{C}$ и вектором входных сигналов $\mathbf{X}$ . Скалярный параметр $\sigma$ определяет скорость спадания функции при удалении вектора от центра и называется шириной окна , параметр $R$ определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями . В качестве расстояния между векторами могут быть использованы различные метрикиВ. В. Круглов, В. В. Борисов - Искусственные нейронные сети. Теория и практика - с.349, обычно используется евклидово расстояние:

$S = \sqrt{ \sum_{j=1}^{N} { (x_j-c_j)^2 } }$ .

Здесь $x_j$ - $j$ -я компонента вектора, поданного на вход нейрона, а $c_j$ - $j$ -я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными В. В. Круглов, В. В. Борисов - Искусственные нейронные сети. Теория и практика - с.348.

См. также: {{#if: Сеть радиально-базисных функций | [[Сеть радиально-базисных функций{{#if: | Шаблон:! {{{l1}}} }}]] }} {{#if: Сеть радиально-базисных функций || Ошибка: . }}{{#if: | …Ошибка: . }}{{#if: | {{#if: Сеть радиально-базисных функций | {{#if: || . }} }} }}

Другие функции передачи

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие какText:

Экспонента $f(x) = \exp (-Ax)$ ;
Модульная: $f(x) = \left| x \right|$ ;

Стохастический нейрон

$f(u) = \begin{cases}1 & \text{с вероятностью} P(u) \\0 & \text{с вероятностью} 1-P(u)\end{cases}$ ,

где распределение вероятности $P(u)$ обычно имеет вид сигмоида:

$\sigma(u) = \frac {A(T)}{1+\exp (-u/T)}$ ,

a нормировочная константа $A(T)$ вводится для условия нормализации распределения вероятности $\int^1_0 \sigma(u) du = 1$ . Таким образом, нейрон активируется с вероятностью $P(u)$ . Параметр $T$ - аналог температуры (но не температуры нейрона) и определяет беспорядок в нейронной сети. Если $T$ устремить к 0, стохастический нейрон перейдет в обычный нейрон с передаточной функцией Хевисайда (пороговой функцией).

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции. Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию (логическое «И») и дизъюнкцию (логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала. Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

См. также

Примечания

Неизвестный тег расширения «references»

Литература

{{#if:Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-1}}| |Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-6|-2}}| |Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Нейросетевые системы управления]]|{{#if: |Нейросетевые системы управления |{{#if:|[ Нейросетевые системы управления]|Нейросетевые системы управления}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Нейросетевые системы управления|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Высшая школа |и}}{{#if:2002|г}}

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:184| - С. {{#if:| (стб. {{{столбцы}}}).|184.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-06-004094-1| - ISBN 5-06-004094-1 DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-1}}| |Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-6|-2}}| |Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Искусственные нейронные сети. Теория и практика]]|{{#if: |Искусственные нейронные сети. Теория и практика |{{#if:|[ Искусственные нейронные сети. Теория и практика]|Искусственные нейронные сети. Теория и практика}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Искусственные нейронные сети. Теория и практика|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:М.|м}}{{#if:Горячая линия - Телеком|и}}{{#if:2001|г}}

|миг= - Шаблон:Указание места в библиоссылке : Горячая линия - Телеком, 2001. |ми= - Шаблон:Указание места в библиоссылке : Горячая линия - Телеком. |мг= - Шаблон:Указание места в библиоссылке , 2001. |иг= - Горячая линия - Телеком, 2001. |м= - Шаблон:Указание места в библиоссылке |и= - Горячая линия - Телеком. |г= - 2001.

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:382| - С. {{#if:| (стб. {{{столбцы}}}).|382.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-93517-031-0| - ISBN 5-93517-031-0 .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-1}}| |Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-6|-2}}| |Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Основные концепции нейронных сетей]]|{{#if: |Основные концепции нейронных сетей |{{#if:|[ Основные концепции нейронных сетей]|Основные концепции нейронных сетей}}}}}}{{#if:The Essence of Neural Networks First Edition| = The Essence of Neural Networks First Edition }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Основные концепции нейронных сетей|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:«Вильямс» |и}}{{#if:2001|г}}

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:288| - С. {{#if:| (стб. {{{столбцы}}}).|288.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-8459-0210-X| - ISBN 5-8459-0210-X .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-1}}| |Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-6|-2}}| |Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Введение в искусственный интеллект]]|{{#if: |Введение в искусственный интеллект |{{#if:|[ Введение в искусственный интеллект]|Введение в искусственный интеллект}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Введение в искусственный интеллект|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Издательский центр «Академия»|и}}{{#if:2005|г}}

|миг= - Шаблон:Указание места в библиоссылке : Издательский центр «Академия», 2005. |ми= - Шаблон:Указание места в библиоссылке : Издательский центр «Академия». |мг= - Шаблон:Указание места в библиоссылке , 2005. |иг= - Издательский центр «Академия», 2005. |м= - Шаблон:Указание места в библиоссылке |и= - Издательский центр «Академия». |г= - 2005.

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:176| - С. {{#if:| (стб. {{{столбцы}}}).|176.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-7695-1958-4| - ISBN 5-7695-1958-4 .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-1}}| |Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-6|-2}}| |Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Нейрокомпьютеры]]|{{#if: |Нейрокомпьютеры |{{#if:http://www.books.ru/shop/search/advanced?as%5Bisbn%5D=5703819083&as%5Bsub%5D=%E8%F1%EA%E0%F2%FC%7C Нейрокомпьютеры |Нейрокомпьютеры}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Нейрокомпьютеры|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Изд-во МГТУ им. Н.Э. Баумана|и}}{{#if:2002|г}}

|миг= - Шаблон:Указание места в библиоссылке : Изд-во МГТУ им. Н.Э. Баумана, 2002. |ми= - Шаблон:Указание места в библиоссылке : Изд-во МГТУ им. Н.Э. Баумана. |мг= -

Адаптивные информационные системы

Потребность в адаптивных информационных системах возникает в тех случаях, когда поддерживаемые ими проблемные области постоянно развиваются. В связи с этим адаптивные системы должны удовлетворять ряду специфических требований, а именно:

Адекватно отражать знания проблемной области в каждый момент времени;

Быть пригодными для легкой и быстрой реконструкции при изменении проблемной среды.

Адаптивные свойства информационных систем обеспечиваются за счет интеллектуализации их архитектуры. Ядром таких систем является постоянно развиваемая модель проблемной области, поддерживаемая в специальной базе знаний – репозитории. Ядро системы управляет процессами генерации или переконфигурирования программного обеспечения.

В процессе разработки адаптивных информационных систем применяется оригинальное или типовое проектирование. Оригинальное проектирование предполагает разработку информационной системы с «чистого листа» на основе сформулированных требований. Реализация этого подхода основана на использовании систем автоматизированного проектирования, или CASE-технологий (Designer2000, SilverRun, Natural Light Storm и др.).

При типовом проектировании осуществляется адаптация типовых разработок к особенностям проблемной области. Для реализации этого подхода применяются инструментальные средства компонентного (сборочного) проектирования информационных систем (R/3, BAAN IV, Prodis и др.).

Главное отличие подходов состоит в том, что при использовании CASE-технологии каждый раз при изменении проблемной области выполняется генерация программного обеспечения в целом, а при использовании сборочной технологии – конфигурирование модулей и только в редких случаях – их переработка.

Тема 2. Искусственные нейронные сети. Архитектура и классификация нейронных сетей.

Представление о детальном устройстве головного мозга появилось только около ста лет назад. В 1888 г. испанский доктор Рамони Кайал экспериментально показал, что мозговая ткань состоит из большого числа связанных друг с другом однотипных узлов – нейронов. Более поздние исследования при помощи электронного микроскопа показали, что все нейроны, независимо от типа, имеют схожую организационную структуру (рис. 2.1). Естественная нервная клетка (нейрон) состоит из тела (сомы), содержащего ядро, и отростков – дендритов, по которым в нейрон поступают входные сигналы. Один из отростков, ветвящийся на конце, служит для передачи выходных сигналов данного нейрона другим нервным клеткам. Он называется аксоном. Соединение аксона с дендритом другого нейрона называется синапсом. Нейрон возбуждается и передает сигнал через аксон, если число пришедших по дендритам возбуждающих сигналов больше, чем число тормозящих.

Рисунок 2.1 – Строение биологического нейрона.

В 1943 г. В. Маккаллох и В. Питтс предложили систему обработки информации в виде сети, состоящей из простых вычислителей, созданных по принципу биологического нейрона. Искусственная нейронная сеть (ИНС) представляет собой совокупность простых вычислительных элементов (процессоров) – искусственных нейронов, соединенных некоторым образом так, чтобы между ними обеспечивалось взаимодействие. Искусственные нейроны характеризуются правилом комбинирования входных сигналов и передаточной функцией, позволяющим вычислить выходной сигнал.

Рисунок 2.2 – Кибернетическая модель нейрона.

Информация, поступающая на вход нейрона, суммируется с учетом весовых коэффициентов сигналов:

, (2.1)

где w 0 – сдвиг (порог, смещение) нейрона.

В зависимости от значения весового коэффициента w i , входной сигнал x i или усиливается, или подавляется. Взвешенную сумму входных сигналов также называют потенциалом или комбинированным входом нейрона.

Сдвиг обычно интерпретируется как связь, исходящая от элемента, активность которого всегда равна 1. Обычно, для удобства входной вектор расширяется добавлением этого сигнала до х = (1,х 0 ,...,x n) и порог w 0 вносится под знак суммы:

Передаточная функция, или функция активации нейрона, является правилом, согласно которому взвешенная сумма поступивших сигналов P преобразуется в выходной сигнал нейрона Y, который передается другим нейронам сети, т. е. Y=f(P). На рисунке 2.3 показаны графики наиболее распространённых функций активации нейронов.

Пороговая функция пропускает информацию только в том случае, если алгебраическая сумма входных сигналов превышает некоторую постоянную величину Р*, например:

Пороговая функция не обеспечивает достаточной гибкости ИНС при обучении. Если значение вычисленного потенциала не достигает заданного порога, то выходной сигнал не формируется и нейрон «не срабатывает». Это приводит к снижению интенсивности выходного сигнала нейрона и, как следствие, к формированию невысокого значения потенциала взвешенных входов в следующем слое нейронов.

Линейная функция дифференцируема и легко вычисляется, что в ряде случаев позволяет уменьшить ошибки выходных сигналов в сети, так как передаточная функция сети также является линейной. Однако она не универсальна и не обеспечивает решения многих задач.

Определенным компромиссом между линейной и ступенчатой функциями является сигмоидальная функция активации Y = 1/(1+exp(-kP)), которая удачно моделирует передаточную характеристику биологического нейрона (рис. 3.3, в).

Рисунок 2.3 – Функции переноса искусственных нейронов:

а) линейная; б) ступенчатая; в) сигмоидальная.

Коэффициент k определяет крутизну нелинейной функции: чем больше k, тем ближе сигмоидальная функция к пороговой; чем меньше k, тем она ближе k линейной. Тип функции переноса выбирается с учетом конкретной задачи, решаемой с применением нейронных сетей. Например, в задачах аппроксимации и классификации предпочтение отдают сигмоидальной кривой.

Архитектура и классификация ИНС

С каждым нейроном связывается набор входящих связей, по которым к данному элементу поступают сигналы от других элементов сети, и набор исходящих связей, по которым сигналы данного элемента передаются другим нейронам. Некоторые нейроны предназначены для получения сигналов из внешней среды (входные элементы), а некоторые – для вывода во внешнюю среду результатов вычислений (выходные элементы).

В 1958 г. Фрэнк Розенблатт предложил следующую модель нейронной сети – персептрона. Персептрон Розенблатта (рис. 2.4) состоит из k нейронов, имеет d входов, k выходов и только один слой настраиваемых весов w ij .

Рисунок 2.4 – Персептрон Розенблатта.

Входные нейроны обычно предназначены для распределения вводимых сигналов между другими нейронами сети, поэтому для них требуется, чтобы исходящий от элемента сигнал был таким же, как и входящий. В отличие от других нейронов сети, входные имеют только по одному входу. Иными словами, каждый входной элемент может получать сигнал от одного соответствующего ему датчика. Поскольку входные элементы предназначены исключительно для того, чтобы распределять сигналы, получаемые из внешней среды, многие исследователи вообще не считают входные элементы частью нейронной сети.

Персептрон способен решать линейные задачи. Число входов сети определяет размерность пространства, из которого выбираются входные данные: для двух признаков пространство оказывается двумерным, для трех – трехмерным, а для d признаков – d-мерным. Если прямая или гиперплоскость в пространстве входных данных может разделить все образцы на соответствующие им классы, то проблема является линейной, в противном случае – нелинейной. На рисунке 2.5 показаны множества точек на плоскости, причём в случае а) граница линейная, в случае – б) нелинейная.

Рисунок 2.5 – Геометрическое представление линейной (а) и

нелинейной (б) задач.

Для решения нелинейных проблем предложены модели многослойных персептронов (MLP), способные строить ломаную границу между распознаваемыми образами. В многослойных сетях каждый нейрон может посылать выходной сигнал только в следующий слой и принимать входные сигналы только с предыдущего слоя, как показано на рисунке 2.6. Слои нейронов, расположенные между входным и выходным называются скрытыми, так как не получают и не передают данные непосредственно из внешней среды. Такая сеть позволяет выделять глобальные свойства данных за счет наличия дополнительных синаптических связей и повышения уровня взаимодействия нейронов.

Рисунок 2.6 – Схема многослойного персептрона.

Определение числа скрытых слоев и числа нейронов в каждом слое для конкретной задачи является неформальной проблемой, при решении которой можно использовать эвристическое правило: число нейронов в следующем слое в два раза меньше, чем в предыдущем

В настоящее время кроме многослойного персептрона существует множество способов задания структур нейронных сетей. Все виды нейронных сетей можно условно разделить на сети прямого распространения и сети с обратными связями. Как следует из названия, в сетях первого типа сигналы от нейрона к нейрону распространяются в четко заданном направлении – от входов сети к ее выходам. В сетях второго типа выходные значения любого нейрона сети могут передаваться к его же входам. Это позволяет нейронной сети моделировать более сложные процессы, например временные, но делает выходы подобной сети нестабильными, зависящими от состояния сети на предыдущем цикле. На рисунке 2.7. представлена классификация наиболее распространенных типов нейронных сетей.

Рисунок 2.7 – Классификация распространённых видов ИНС.

Тема 3. Сети типа персептрон

Задача классификации образов. Обучение с учителем

Ф. Розенблатт предложил использовать персептрон для задач классификации. Многие приложения можно интерпретировать, как проблемы классификации. Например, оптическое распознавании символов. Отсканированные символы ассоциируются с соответствующими им классами. Имеется немало вариантов изображения буквы "Н" даже для одного конкретного шрифта – символ может оказаться, например, смазанным, – но все эти изображения должны принадлежать классу "Н".

Когда известно, к какому классу относится каждый из учебных примеров, можно использовать стратегию обучения с учителем. Задачей для сети является ее обучение тому, как сопоставить предъявляемый сети образец с контрольным целевым образцом, представляющим нужный класс. Иными словами, знания об окружающей среде представляются нейронной сети в виде пар "вход-выход". Например, сети можно предъявить изображение буквы "Н" и обучить сеть тому, что при этом соответствующий "Н" выходной элемент должен быть включен, а выходные элементы, соответствующие другим буквам – выключены. В этом случае входной образец может быть набором значений, характеризующих пиксели изображения в оттенках серого, а целевой выходной образец – вектором, значения всех координат которого должны быть равными 0, за исключением координаты, соответствующей классу "Н", значение которой должно быть равным.

На рисунке 3.1 показана блочная диаграмма, иллюстрирующая эту форму обучения. Предположим, что учителю и обучаемой сети подается обучающий вектор из окружающей среды. На основе встроенных знаний учитель может сформировать и передать обучаемой нейронной сети желаемый отклик, соответствующий данному входному вектору. Параметры сети корректируются с учетом обучающего вектора и сигнала ошибки. Сигнал ошибки – это разность между желаемым сигналом и текущим откликом нейронной сети. После окончания обучения учителя можно отключить и позволить нейронной сети работать со средой самостоятельно.

Рисунок 3.1 – Концепция обучения ИНС с учителем.

Алгоритм обучения перцептрона включает следующие шаги:

· Системе предъявляется эталонный образ.

· Если результат распознавания совпадает с заданным, весовые коэффициенты связей не изменяются.

· Если ИНС неправильно распознает результат, то весовым коэффициентам дается приращение в сторону повышения качества распознавания.

Искусственный нейрон

Биологический прототип

История развития

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Пороговая функция активации

Пороговая передаточная функция

Гиперболический тангенс

Другие функции передачи

Стохастический нейрон

где распределение вероятности обычно имеет вид сигмоида

Моделирование формальных логических функций

Примечания

Литература

Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. - 1-е. - Высшая школа, 2002. - С. 184. - ISBN 5-06-004094-1
Круглов В. В., Борисов В. В.