¿Cuál es la entrada de una neurona artificial? Neurona artificial (matemática)

Neurona artificial

Esquema neurona artificial
1. Neuronas, cuyas señales de salida llegan a la entrada de este
2.Sumador de señal de entrada
3. Calculadora de función de transferencia
4. Neuronas, cuyas entradas reciben la señal de salida de un determinado
5. - peso señales de entrada

neurona artificial (neurona matemática McCulloch-Pitts, neurona formal) - un nodo de una red neuronal artificial, que es modelo simplificado neurona natural. Matemáticamente, se suele pensar que una neurona artificial es una especie de función no lineal de un solo argumento: una combinación lineal de todas las señales de entrada. Esta función llamado función de activación o función de disparo, función de transferencia . El resultado resultante se envía a una única salida. Estas neuronas artificiales se combinan en redes: conectan las salidas de algunas neuronas con las entradas de otras. Las neuronas y redes artificiales son los elementos principales de una neurocomputadora ideal.

Prototipo biológico

Una neurona biológica consta de un cuerpo con un diámetro de 3 a 100 micrones que contiene un núcleo (con gran cantidad poros nucleares) y otros orgánulos (incluido un RE rugoso altamente desarrollado con ribosomas activos, el aparato de Golgi) y procesos. Hay dos tipos de procesos. Un axón suele ser un proceso largo adaptado para conducir la excitación desde el cuerpo de la neurona. Las dendritas son, por regla general, procesos cortos y muy ramificados que sirven como lugar principal para la formación de sinapsis excitadoras e inhibidoras que influyen en la neurona (diferentes neuronas tienen proporción diferente longitud del axón y las dendritas). Una neurona puede tener varias dendritas y normalmente un solo axón. Una neurona puede tener conexiones con otras 20.000 neuronas. La corteza cerebral humana contiene entre 10 y 20 mil millones de neuronas.

Historia del desarrollo

En este caso, es posible desplazar la función a lo largo de ambos ejes (como se muestra en la figura).

Las desventajas de las funciones de activación escalonadas y semilineales en relación con las lineales son que no son diferenciables en todo el eje numérico, lo que significa que no se pueden utilizar cuando se entrena con algunos algoritmos.

Función de activación de umbral

Función de transferencia de umbral

Tangente hiperbólica

Aquí está la distancia entre el centro y el vector de las señales de entrada. El parámetro escalar determina la velocidad a la que la función decae a medida que el vector se aleja del centro y se llama ancho de ventana, el parámetro determina el desplazamiento de la función de activación a lo largo del eje de abscisas. Las redes con neuronas que utilizan dichas funciones se denominan redes RBF. Se pueden utilizar varias métricas como distancia entre vectores, normalmente se utiliza la distancia euclidiana:

Aquí - jésimo componente vector suministrado a la entrada de la neurona, a es el j-ésimo componente del vector que determina la posición del centro de la función de transferencia. En consecuencia, las redes con tales neuronas se denominan probabilísticas y de regresión.

En redes reales, la función de activación de estas neuronas puede reflejar la distribución de probabilidad de alguna variable aleatoria o indicar cualquier dependencia heurística entre cantidades.

Otras funciones de transferencia

Las funciones enumeradas anteriormente son sólo una parte de las muchas funciones de transferencia utilizadas en este momento. Otras funciones de transferencia incluyen:

neurona estocástica

El modelo de una neurona artificial determinista se describió anteriormente, es decir, el estado en la salida de la neurona está determinado únicamente por el resultado del funcionamiento del sumador de señales de entrada. También se consideran las neuronas estocásticas, donde la neurona cambia con una probabilidad que depende del campo local inducido, es decir, la función de transferencia se define como

donde la distribución de probabilidad suele tener la forma de un sigmoide

Se introduce una constante de normalización para la condición de normalización de la distribución de probabilidad. Por tanto, la neurona se activa con probabilidad P(u). El parámetro T es un análogo de la temperatura (¡pero no de la temperatura de la neurona!) y determina el desorden en red neuronal. Si T tiende a 0, la neurona estocástica se convertirá en una neurona ordinaria con la función de transferencia de Heaviside (función de umbral).

Modelado de funciones lógicas formales

Una neurona con una función de transferencia de umbral puede modelar varias funciones lógicas. Las imágenes ilustran cómo, al establecer los pesos de las señales de entrada y el umbral de sensibilidad, se puede forzar a una neurona a realizar conjunción (“Y” lógico) y disyunción (“O” lógico) en las señales de entrada, así como negación lógica de la señal de entrada. Estas tres operaciones son suficientes para simular absolutamente cualquier función lógica cualquier número de argumentos.

Notas

Literatura

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Sistemas de control de redes neuronales. - 1º. - Escuela de posgrado, 2002. - P. 184. - ISBN 5-06-004094-1
Kruglov V.V., Borisov V.V.

La neurona es parte integral red neuronal. En la Fig. 1 2 muestra su estructura. Consta de elementos de tres tipos: multiplicadores (sinapsis), un sumador y un convertidor no lineal. Las sinapsis se comunican entre neuronas y multiplican la señal de entrada por un número que caracteriza la fuerza de la conexión (el peso de la sinapsis). El sumador realiza la suma de señales que llegan a través de conexiones sinápticas de otras neuronas y señales de entrada externas. Un convertidor no lineal implementa una función no lineal de un argumento: la salida del sumador. Esta función se llama función de activación o función de transferencia.

Arroz. 1.2 Estructura de una neurona artificial

neurona. La neurona en su conjunto implementa función escalar argumento vectorial. Modelo matemático de una neurona:

donde está el peso de la sinapsis, es el valor del sesgo, s es el resultado de la suma (suma); x es el componente del vector de entrada (señal de entrada), la señal de salida de la neurona; - número de entradas de neuronas; - transformación no lineal (función de activación).

EN caso general señal de entrada, pesos y compensación pueden tomar valores reales, y en muchos problemas prácticos- sólo algunos valores fijos. La salida está determinada por el tipo de función de activación y puede ser real o entera.

Las conexiones sinápticas con pesos positivos se denominan excitadoras y aquellas con pesos negativos, inhibidoras.

El elemento computacional descrito puede considerarse una simplificación. modelo matemático neuronas biológicas. Para enfatizar la diferencia entre neuronas biológicas y artificiales, a estas últimas a veces se les llama elementos similares a neuronas o neuronas formales.

El convertidor no lineal responde a la señal de entrada con una señal de salida, que es la señal de salida.

neurona En la tabla se presentan ejemplos de funciones de activación. 1.1 y en la Fig. 1.3

Tabla 1.1 (ver escaneo) Funciones de activación neuronal

Una de las más comunes es la función de activación no lineal con saturación, la llamada función logística o sigmoidea (función en forma de S)

A medida que a disminuye, el sigmoide se vuelve más plano y, en el límite, degenera en linea horizontal en el nivel de 0,5, al aumentar a el sigmoide se acerca a la forma de la función

Arroz. 1.3 Ejemplos de funciones de activación a - función de salto único, b - umbral lineal (histéresis), c - sigmoide (función logística), d - sigmoide (tangente hiperbólica)

salto único con un umbral De la expresión para la función sigmoidea se desprende claramente que el valor de salida de la neurona se encuentra en el rango. Una de las propiedades valiosas de la función sigmoidea es una expresión sencilla para su derivada, cuyo uso se analizará más adelante

Cabe señalar que la función sigmoidea es diferenciable a lo largo de todo el eje x, lo que se utiliza en algunos algoritmos de aprendizaje. Además, tiene la propiedad de amplificar mejor las señales débiles que las grandes y evita la saturación de las señales grandes, ya que éstas. Corresponden a regiones de los argumentos donde el sigmoide tiene una inclinación poco profunda.

Circuito de neuronas artificiales
1. Neuronas, cuyas señales de salida llegan a la entrada de este
2.Sumador de señal de entrada
3. Calculadora de función de transferencia
4. Neuronas, cuyas entradas reciben la señal de salida de un determinado
5. $Wisconsin$ - peso señales de entrada

neurona artificial (Neurona matemática de McCulloch-Pitts, neurona formalL. G. Komartsova, A. V. Maksimov “Neurocomputadoras”, MSTU im. NE Bauman, 2004, ISBN 5-7038-2554-7) - un nodo de una red neuronal artificial, que es un modelo simplificado de una neurona natural. Matemáticamente, una neurona artificial generalmente se representa como una función no lineal de un solo argumento: una combinación lineal de todas las señales de entrada. Esta función se llama función de activaciónPor analogía con neuronas de activación o función de disparo, función de transferencia. El resultado resultante se envía a una única salida. Estas neuronas artificiales se combinan en redes: conectan las salidas de algunas neuronas con las entradas de otras. Las neuronas y redes artificiales son los elementos principales de una neurocomputadora ideal. Mirkes E. M., Neurocomputadora. Proyecto de norma. - Novosibirsk: Nauka, 1999. - 337 p. ISBN 5-02-031409-9

Prototipo biológico

y=\exp(-\frac((S-R)^2)(2\sigma^ 2))

Aquí $S = ||\mathbf(X)-\mathbf(C)||$ - distancia entre el centro $\mathbf(C)$ y vector de señales de entrada $\mathbf(X)$ . parámetro escalar $\sigma$ determina la velocidad a la que la función decae a medida que el vector se aleja del centro y se llama ancho de ventana, parámetro $R$ determina el desplazamiento de la función de activación a lo largo del eje de abscisas. Las redes con neuronas que utilizan dichas funciones se denominan redes RBF. Se pueden utilizar varias métricas como la distancia entre vectores. V.V. Kruglov, V.V. Borisov - Redes neuronales artificiales. Teoría y práctica - p.349, se suele utilizar la distancia euclidiana:

$S = \sqrt( \sum_(j=1)^(N) ( (x_j-c_j)^2 ) )$ .

Aquí $x_j$ - $j$ -ésimo componente del vector suministrado a la entrada de la neurona, y $c_j$ - $j$ -ésima componente del vector que determina la posición del centro de la función de transferencia. En consecuencia, las redes con tales neuronas se denominan probabilísticas y de regresión. V.V. Kruglov, V.V. Borisov - Redes neuronales artificiales. Teoría y práctica - p.348.

Ver también: ((#if: Red de funciones de base radial | [[Red de funciones de base radial((#if: | Plantilla:! (((l1))) ))]] )) ((#if: Red radial funciones de base || Error: .)((#if: | ...Error: . ))((#if: | ((#if: Red de funciones de base radial | ((#if: || . )) )) ))

Otras funciones de transferencia

Las funciones enumeradas anteriormente son sólo un subconjunto de las muchas funciones de transferencia que se utilizan actualmente. Otras funciones de transferencia incluyen: Texto:

Expositor $f(x) = \exp (-Ax)$ ;
Modular: $f(x) = \izquierda| x\derecha|$ ;

neurona estocástica

El modelo de una neurona artificial determinista se describió anteriormente, es decir, el estado en la salida de la neurona está determinado únicamente por el resultado del funcionamiento del sumador de señales de entrada. También se consideran las neuronas estocásticas, donde el cambio de neuronas ocurre con una probabilidad que depende del campo local inducido, es decir, la función de transferencia se define como:

$f(u) = \begin(casos)1 & \text(con probabilidad) P(u) \\0 & \text(con probabilidad) 1-P(u)\end(casos)$ ,

¿Dónde está la distribución de probabilidad? $P(u)$ Suele tener la forma de un sigmoide:

$\sigma(u) = \frac (A(T))(1+\exp (-u/T))$ ,

una constante de normalización $EN)$ se introduce para la condición de normalización de la distribución de probabilidad $\int^1_0 \sigma(u) du = 1$ . Así, la neurona se activa con probabilidad. $P(u)$ . Parámetro $t$ - un análogo de la temperatura (pero no la temperatura de las neuronas) y determina el desorden en la red neuronal. Si $t$ tiende a 0, la neurona estocástica se convertirá en una neurona ordinaria con la función de transferencia de Heaviside (función de umbral).

Modelado de funciones lógicas formales

Una neurona con una función de transferencia de umbral puede modelar varias funciones lógicas. Las imágenes ilustran cómo, al establecer los pesos de las señales de entrada y el umbral de sensibilidad, se puede forzar a la neurona a realizar conjunción (“Y” lógico) y disyunción (“O” lógico) en las señales de entrada, así como la lógica. negación de la señal de entrada. Estas tres operaciones son suficientes para modelar absolutamente cualquier función lógica de cualquier número de argumentos.

ver también

Notas

Etiqueta de extensión desconocida "referencias"

Literatura

((#si: Terekhov V.A., Efimov D.V., Tyukin I.Yu. | ((#ifeq:((#invoke:String|sub|Terehov V.A., Efimov D.V., Tyukin I.Yu.|-1))| |Terehov V.A., Efimov D.V., Tyukin I.Yu.|((#ifeq:( (#invoke:String|sub|Terehov V.A., Efimov D.V., Tyukin I.Yu.|-6|-2))| |Terehov V. .A., Efimov D.V., Tyukin I.Yu.|((#ifeq :((#invoke:String|sub|Terehov V.A., Efimov D.V., Tyukin I.Yu.|-6 |-2))|/span|Plantilla:±.|Plantilla:±. ))))))))((#if: |((#if: |[(((parte del enlace))) (((parte)))]| (((parte))))) // ))((#if: |[[:s:(((Wikisource)))|Sistemas de control de redes neuronales]]|((#if: |Sistemas de control de redes neuronales |((#if:|[ Sistemas de control de redes neuronales]|Sistemas de control de redes neuronales) )))) )((#if:| = ))((#if:| / (((responsable))).|((#if:||.))))((#if:Control de red neuronal sistemas|((# if:| ((#if:| = (((original2))) ))((#if:| / (((responsable2))).|((#if:||.)) ))))) )((#if:1st| - 1st.))((#switch:((#if:|m))((#if:Escuela secundaria |i))((#if:2002| gramo))

|mig= - Plantilla:Indicación del lugar en el biblioenlace: Escuela Superior, 2002. |mi= - Plantilla:Indicación del lugar en el biblioenlace: Escuela Superior. |mg= - Plantilla:Indicando el lugar en el biblioenlace, 2002. |ig= - Escuela Superior, 2002. |m= - Plantilla:Indicando el lugar en el biblioenlace |i= - Escuela Superior. |g= - 2002.

))((#if:| - (((es decir))).))((#if:|((#if: | [(((enlace volumen))) - T. (((volumen) ) ).]| - T. (((volumen)).))))((#if:| - Vol. (((volumen))).))((#if:| - Bd. (( (banda ))).))((#if:| - (((páginas tal como están))).))((#if:184| - S. ((#if:| (stb. (((columnas)) )).|184.))))((#if:| - (((páginas tal cual))).))((#if:| - (((páginas))) p.))( (# si:| - P. ((#if:|[(((páginas)))] (col. (((columnas)))).|(((páginas))).))))(( #if :| - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# si: | - p.))((#if:| - S.))((#if:| - ((((serie)))).))((#if:| - (((circulación) )) copiar ))((#if:5-06-004094-1| - ISBN 5-06-004094-1 DOI :(((doi))) ((#ifeq:Template:Str left |10.| | Error: ¡DOI no válido!] ((#si:||))))))

((#si: Kruglov V. V., Borisov V. V. | ((#ifeq:((#invoke:String|sub|Kruglov V.V., Borisov V.V.|-1))| |Kruglov V.V., Borisov V.V.|((#ifeq:( (#invoke:String|sub|Kruglov V.V., Borisov V.V.|-6|-2))| |Kruglov V.V., Borisov V.V.|((#ifeq:((# invoke:String|sub|Kruglov V.V., Borisov V.V.|-6|-2))|/span|Plantilla :±.|Plantilla:±. ))))))))((#if: |((#if: |[(((parte del enlace))) (((parte)))]| (((parte))))) // ))((#if: |[[:s:(((wiki))|Redes neuronales artificiales. Teoría y práctica]]|((#if: |Redes neuronales artificiales. Teoría y práctica |((#if:|[ Redes neuronales artificiales. Teoría y práctica]|Redes neuronales artificiales Teoría y práctica))))))((#if:| = ))((#if:| / (((responsable))).|((#if:||. ) )))((#if:Redes neuronales artificiales. Teoría y práctica|((#if:| ((#if:| = (((original2))) ))((#if:| / (((responsable2 ) )).|((#if:||.)))))))((#if:1st| - 1st.))((#interruptor:((#if:M.| m))((# si: Línea directa- Telecomunicaciones|i))((#if:2001|g))

|mig= - Plantilla:Indicando la ubicación en el biblioenlace: Línea Directa - Telecom, 2001. |mi= - Plantilla:Indicando la ubicación en el biblioenlace: Línea Directa - Telecom. |mg= - Plantilla:Indicando la ubicación en el biblioenlace, 2001. |ig= - Línea Directa - Telecom, 2001. |m= - Plantilla:Indicando la ubicación en el biblioenlace |i= - Línea Directa - Telecom. |g= - 2001.

))((#if:| - (((es decir))).))((#if:|((#if: | [(((enlace volumen))) - T. (((volumen) ) ).]| - T. (((volumen)).))))((#if:| - Vol. (((volumen))).))((#if:| - Bd. (( (banda ))).))((#if:| - (((páginas tal como están))).))((#if:382| - S. ((#if:| (stb. (((columnas)) )).|382.))))((#if:| - (((páginas tal cual))).))((#if:| - (((páginas))) p.))( (# si:| - P. ((#if:|[(((páginas)))] (col. (((columnas)))).|(((páginas))).))))(( #if :| - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# si: | - p.))((#if:| - S.))((#if:| - ((((serie)))).))((#if:| - (((circulación) )) copia ))((#if:5-93517-031-0| - ISBN 5-93517-031-0 .))((#if:| - ISBN (((isbn2))).))( (#if :| - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .)) ((#if:| - DOI :(((doi))) ((#ifeq:Template:Str izquierda |10.|| [ Error: ¡DOI no válido!] ((#si:||))))))

((#si:Callan R.| ((#ifeq:((#invoke:String|sub|Callan R.|-1))| |Callan R.|((#ifeq:((#invoke:String|sub|Callan R.|-6|- 2))| |Callan R.|((#ifeq:((#invoke:String|sub|Callan R.|-6|-2))|/span|Template:±.|Plantilla:±. ))))))))((#if: |((#if: |[(((parte del enlace))) (((parte)))]| (((parte))))) // ))((#if: |[[:s:(((Wikisource)))|Conceptos básicos de redes neuronales]]|((#if: |Conceptos básicos de redes neuronales |((#if:|[Conceptos básicos de redes neuronales]|Conceptos básicos de redes neuronales) )))))((#if:La esencia de las redes neuronales Primera edición| = La esencia de las redes neuronales Primera edición ))((#if:| / (((responsable))).|(( #if:| |.))))((#if:Conceptos básicos de redes neuronales|((#if:| ((#if:| = (((original2))) ))((#if:| / (((responsable2) )).|((#if:||.)))))))((#if:1st| - 1st.))((#switch:((#if:|m)) ((#if:"Williams" |i))((#if:2001|g))

|mig= - Plantilla:Indicación del lugar en el biblioenlace: "Williams", 2001. |mi= - Plantilla:Indicación del lugar en el biblioenlace: "Williams". |mg= - Plantilla:Indicando el lugar en el biblioenlace, 2001. |ig= - “Williams”, 2001. |m= - Plantilla:Indicando el lugar en el biblioenlace |i= - “Williams”. |g= - 2001.

))((#if:| - (((es decir))).))((#if:|((#if: | [(((enlace volumen))) - T. (((volumen) ) ).]| - T. (((volumen)).))))((#if:| - Vol. (((volumen))).))((#if:| - Bd. (( (banda ))).))((#if:| - (((páginas tal como están))).))((#if:288| - S. ((#if:| (stb. (((columnas)) )).|288.))))((#if:| - (((páginas tal cual))).))((#if:| - (((páginas))) p.))( (# si:| - P. ((#if:|[(((páginas)))] (col. (((columnas)))).|(((páginas))).))))(( #if :| - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# si: | - p.))((#if:| - S.))((#if:| - ((((serie)))).))((#if:| - (((circulación) )) copiar ))((#if:5-8459-0210-X| - ISBN 5-8459-0210-X .))((#if:| - ISBN (((isbn2)).))( (#if: | - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .))( (#if:| - DOI :(((doi))) ((#ifeq:Template:Str izquierda |10.|| [ Error: ¡DOI no válido!] ((#si:||))))))

((#si: Yasnitsky L. N. | ((#ifeq:((#invoke:String|sub|Yasnitsky L. N.|-1))| |Yasnitsky L. N.|((#ifeq:((#invoke:String|sub|Yasnitsky L. N. .|-6|-2) )| |Yasnitsky L. N.|((#ifeq:((#invoke:String|sub|Yasnitsky L. N.|-6|-2))|/span|Plantilla :±.|Plantilla:±. ))))))))((#if: |((#if: |[(((parte del enlace))) (((parte)))]| (((parte))))) // ))((#if: |[[:s:(((Wikisource)))|Introducción a inteligencia artificial]]|((#if: |Introducción a la Inteligencia Artificial |((#if:|[ Introducción a la Inteligencia Artificial]|Introducción a la Inteligencia Artificial))))))((#if:| = ))((#if :| / (((responsable))).|((#if:||.))))((#if:Introducción a la Inteligencia Artificial|((#if:| ((#if:| = ((( original2))) ))((#if:| / (((responsable2))).|((#if:||.)))))))((#if:1st| - 1- e.) )((#switch:((#if:|m))((#if:Centro Editorial "Academia"|i))((#if:2005|g))

|mig= - Plantilla:Indicando el lugar en el biblioenlace: Centro editorial "Academia", 2005. |mi= - Plantilla:Indicando el lugar en el biblioenlace: Centro editorial "Academia". |mg= - Plantilla:Indicando el lugar en el biblioenlace, 2005. |ig= - Centro editorial "Academia", 2005. |m= - Plantilla:Indicando el lugar en el biblioenlace |i= - Centro editorial "Academia". |g= - 2005.

))((#if:| - (((es decir))).))((#if:|((#if: | [(((enlace volumen))) - T. (((volumen) ) ).]| - T. (((volumen)).))))((#if:| - Vol. (((volumen))).))((#if:| - Bd. (( (banda ))).))((#if:| - (((páginas tal como están))).))((#if:176| - S. ((#if:| (stb. (((columnas)) )).|176.))))((#if:| - (((páginas tal cual))).))((#if:| - (((páginas))) p.))( (# si:| - P. ((#if:|[(((páginas)))] (col. (((columnas)))).|(((páginas))).))))(( #if :| - S. ((#if:|[(((seite)))] (Kol. (((kolonnen)))).|(((seite))).))))((# si: | - p.))((#if:| - S.))((#if:| - ((((serie)))).))((#if:| - (((circulación) )) copia ))((#if:5-7695-1958-4| - ISBN 5-7695-1958-4 .))((#if:| - ISBN (((isbn2)).))( (#if: | - ISBN (((isbn3))).))((#if:| - ISBN (((isbn4))).))((#if:| - ISBN (((isbn5))) .))( (#if:| - DOI :(((doi))) ((#ifeq:Template:Str izquierda |10.|| [ Error: ¡DOI no válido!] ((#si:||))))))

((#si: Komartsova L. G., Maksimov A. V. | ((#ifeq:((#invoke:String|sub|Komartsova L.G., Maksimov A.V.|-1))| |Komartsova L.G., Maksimov A.V.|((#ifeq:( (#invoke:String|sub|Komartsova L.G., Maksimov A.V.|-6|-2))| |Komartsova L.G., Maksimov A.V.|((#ifeq:((# invoke:String|sub|Komartsova L. G., Maksimov A. V.|-6|-2))|/span|Plantilla :±.|Plantilla:±. ))))))))((#if: |((#if: |[(((parte del enlace))) (((parte)))]| (((parte))))) // ))((#if: |[[:s:(((Wikisource)))|Neurocomputadoras]]|((#if: |Neurocomputadoras |((#if:http://www.books.ru/shop/search/advanced?as%5Bisbn %5D=5703819083&as%5Bsub%5D=%E8%F1%EA%E0%F2%FC%7C Neurocomputadoras |Neurocomputadoras))))))((#if:| = ))((#if:| / (( (responsable)).|((#if:||.))))((#if:Neurocomputadores|((#if:| ((#if:| = (((original2))) ))(( # if:| / (((responsable2))).|((#if:||.)))))))((#if:1st| - 1st.))((#cambiar :((#if: |м))((#if: Editorial de MSTU que lleva el nombre de N.E. Bauman|i))((#if:2002|g))

|momento= - Plantilla:Indicación de lugar en el biblioenlace: Editorial de MSTU im. NORDESTE. Bauman, 2002. |mi= - Plantilla:Indicación de lugar en el biblioenlace: Editorial de MSTU im. NORDESTE. Bauman. |mg= -

Sistemas de información adaptativos

Necesidad de adaptación sistemas de información Surge cuando las áreas problemáticas que apoyan están en constante evolución. Debido a esto sistemas adaptativos debe satisfacer una serie de requisitos específicos, a saber:

Reflejar adecuadamente el conocimiento del área problemática en cada momento;

Ser adecuado para una reconstrucción fácil y rápida al cambiar un entorno problemático.

Las propiedades adaptativas de los sistemas de información están aseguradas mediante la intelectualización de su arquitectura. El núcleo de tales sistemas es un modelo en constante evolución del dominio del problema, mantenido en una base de conocimiento especial: un repositorio. El núcleo del sistema controla los procesos de generación o reconfiguración de software.

En el proceso de desarrollo de sistemas de información adaptativos, se utiliza un diseño original o estándar. Original El diseño implica el desarrollo de un sistema de información con " borrón y cuenta nueva» en base a los requisitos formulados. La implementación de este enfoque se basa en el uso de sistemas de diseño asistido por computadora o tecnologías CASE (Designer2000, SilverRun, Natural Light Storm, etc.).

En estándar durante el diseño, los desarrollos estándar se adaptan a las características del área problemática. Para implementar este enfoque, se utilizan herramientas para el diseño de componentes (ensamblaje) de sistemas de información (R/3, BAAN IV, Prodis, etc.).

La principal diferencia entre los enfoques es que cuando se utiliza la tecnología CASE, cada vez que cambia el área del problema, generación software en general, y cuando se utiliza tecnología de ensamblaje - configuración módulos y sólo en casos raros – sus reciclaje.

Tema 2. Redes neuronales artificiales. Arquitectura y clasificación de redes neuronales.

La idea de la estructura detallada del cerebro apareció hace sólo unos cien años. En 1888, el médico español Ramoni Kayal demostró experimentalmente que el tejido cerebral está formado por gran número Nodos del mismo tipo conectados entre sí: neuronas. Estudios posteriores utilizando microscopio electrónico demostró que todas las neuronas, independientemente del tipo, tienen una estructura organizativa(Figura 2.1). Una célula nerviosa natural (neurona) consta de un cuerpo (soma) que contiene un núcleo y procesos: dendritas, a través de las cuales las señales de entrada ingresan a la neurona. Uno de los procesos, que se ramifica al final, sirve para transmitir las señales de salida de esta neurona a otras. células nerviosas. Se llama axón. La conexión entre un axón y la dendrita de otra neurona se llama sinapsis. La neurona se excita y transmite una señal a través del axón si el número de señales excitadoras que llegan a lo largo de las dendritas es mayor que el número de inhibidoras.

Figura 2.1 – Estructura de una neurona biológica.

En 1943, V. McCulloch y V. Pitts propusieron un sistema de procesamiento de información en forma de red formada por computadoras simples creadas según el principio de una neurona biológica. Una red neuronal artificial (RNA) es un conjunto de elementos informáticos simples (procesadores): neuronas artificiales, conectadas de alguna manera para garantizar la interacción entre ellas. Las neuronas artificiales se caracterizan por una regla para combinar señales de entrada y una función de transferencia que permite calcular la señal de salida.

Figura 2.2 – Modelo cibernético neurona.

La información recibida en la entrada de la neurona se resume teniendo en cuenta los coeficientes de ponderación de las señales:

, (2.1)

Dónde w 0– desplazamiento (umbral, desplazamiento) de la neurona.

Dependiendo del valor del coeficiente de ponderación. yo, señal de entrada xyo ya sea potenciado o suprimido. La suma ponderada de las señales de entrada también se denomina entrada potencial o combinada de una neurona.

El desplazamiento generalmente se interpreta como una conexión que emana de un elemento cuya actividad es siempre igual a 1. Generalmente, por conveniencia, el vector de entrada se expande sumando esta señal a x = (1,x 0,...,x n) y el umbral w 0 se ingresa bajo el signo de suma:

La función de transferencia, o función de activación de una neurona, es la regla según la cual la suma ponderada de las señales entrantes P se convierte en la señal de salida de una neurona Y, que se transmite a otras neuronas de la red, es decir, Y=f( PAG). La figura 2.3 muestra gráficas de las funciones de activación neuronal más comunes.

La función de umbral permite que la información pase sólo si suma algebraica las señales de entrada exceden un cierto valor constante P*, por ejemplo:

La función de umbral no proporciona suficiente flexibilidad a la ANN durante el entrenamiento. Si el valor del potencial calculado no alcanza el umbral especificado, entonces la señal de salida no se genera y la neurona "no se activa". Esto conduce a una disminución en la intensidad de la señal de salida de la neurona y, como consecuencia, a la formación de un valor bajo del potencial de las entradas ponderadas en la siguiente capa de neuronas.

Función lineal es diferenciable y fácil de calcular, lo que en algunos casos permite reducir errores en las señales de salida de la red, ya que la función de transferencia de la red también es lineal. Sin embargo, no es universal y no ofrece soluciones a muchos problemas.

Un cierto compromiso entre las funciones lineal y escalonada es la función de activación sigmoidea Y = 1/(1+exp(-kP)), que modela con éxito la característica de transferencia de una neurona biológica (Fig. 3.3, c).

Figura 2.3 – Funciones de transferencia de neuronas artificiales:

a) lineal; b) pisó; c) sigmoideo.

El coeficiente k determina la pendiente de la función no lineal: cuanto mayor k, más cerca está la función sigmoidea del umbral; cuanto más pequeño k, más cerca está de ser lineal. El tipo de función de transferencia se selecciona teniendo en cuenta el problema específico resuelto mediante redes neuronales. Por ejemplo, en problemas de aproximación y clasificación, se prefiere la curva sigmoidea.

Arquitectura y clasificación de ANN.

Cada neurona está asociada a un conjunto de conexiones entrantes, a través de las cuales las señales de otros elementos de la red llegan a este elemento, y a un conjunto de conexiones salientes, a través de las cuales las señales de este elemento transmitido a otras neuronas. Algunas neuronas están diseñadas para recibir señales de ambiente externo(elementos de entrada), y algunos, para enviar los resultados de los cálculos al entorno externo (elementos de salida).

En 1958, Frank Rosenblatt propuso el siguiente modelo de red neuronal: el perceptrón. El perceptrón Rosenblatt (figura 2.4) consta de k neuronas, tiene d entradas, k salidas y sólo una capa de pesos ajustables w ij.

Figura 2.4 – Perceptrón Rosenblatt.

Las neuronas de entrada generalmente están diseñadas para distribuir señales de entrada entre otras neuronas de la red, por lo que requieren que la señal que proviene del elemento sea la misma que la señal que ingresa. A diferencia de otras neuronas de la red, las neuronas de entrada tienen una sola entrada. En otras palabras, cada elemento de entrada puede recibir una señal de un sensor correspondiente. Dado que los elementos de entrada están diseñados únicamente para distribuir señales recibidas del entorno externo, muchos investigadores no consideran que los elementos de entrada formen parte de una red neuronal en absoluto.

El perceptrón es capaz de decidir. problemas lineales. El número de entradas de la red determina la dimensión del espacio desde el cual se seleccionan los datos de entrada: para dos características el espacio resulta ser bidimensional, para tres – tridimensional y para d características – d-dimensional. Si una línea o hiperplano en el espacio de datos de entrada puede dividir todas las muestras en sus clases correspondientes, entonces el problema es lineal; de lo contrario, no es lineal. La figura 2.5 muestra conjuntos de puntos en el plano, y en el caso a) el límite es lineal, en el caso b) no es lineal.

Figura 2.5 – Representación geométrica lineal(a) y

Problemas no lineales (b).

Para resolver problemas no lineales se han propuesto modelos de perceptrón multicapa (MLP) que son capaces de construir un límite poligonal entre imágenes reconocidas. En redes multicapa, cada neurona solo puede enviar salida a la siguiente capa y recibir entrada solo de la capa anterior, como se muestra en la Figura 2.6. Las capas de neuronas ubicadas entre la entrada y la salida se denominan ocultas, ya que no reciben ni transmiten datos directamente del entorno externo. Una red de este tipo permite resaltar las propiedades globales de los datos debido a la presencia de conexiones sinápticas adicionales y un aumento en el nivel de interacción de las neuronas.

Figura 2.6 – Diagrama de un perceptrón multicapa.

Determinar el número de capas ocultas y el número de neuronas en cada capa para tarea específica es problema informal, al resolver cuál se puede utilizar una regla heurística: el número de neuronas en la siguiente capa es dos veces menor que en la anterior

Actualmente, además del perceptrón multicapa, existen muchas formas de definir las estructuras de las redes neuronales. Todos los tipos de redes neuronales se pueden dividir en redes de propagación directa y redes con comentario. Como sugiere el nombre, en las redes del primer tipo, las señales de una neurona a otra se propagan en una dirección claramente definida: desde las entradas de la red hasta sus salidas. En las redes del segundo tipo, los valores de salida de cualquier neurona de la red se pueden transmitir a sus propias entradas. Esto permite que la red neuronal modele procesos más complejos, como procesos de tiempo, pero hace que las salidas de dicha red sean inestables, dependiendo del estado de la red en el ciclo anterior. En la Figura 2.7. Se presenta una clasificación de los tipos más comunes de redes neuronales.

Figura 2.7 – Clasificación de tipos comunes de RNA.

Tema 3. Redes tipo perceptrón

El problema de la clasificación de imágenes. Formación tutorizada

F. Rosenblatt propuso utilizar el perceptrón para problemas de clasificación. Muchas aplicaciones pueden interpretarse como problemas de clasificación. Por ejemplo, el reconocimiento óptico de caracteres. Los personajes escaneados se asocian con sus clases correspondientes. Hay muchas variaciones de la imagen de la letra "H", incluso para una fuente específica (el símbolo puede resultar borroso, por ejemplo), pero todas estas imágenes deben pertenecer a la clase "H".

Cuando se sabe a qué clase pertenece cada uno de ellos ejemplos de enseñanza, puede utilizar una estrategia de aprendizaje supervisado. La tarea de la red es aprender cómo hacer coincidir una muestra presentada a la red con una muestra objetivo de control que represente clase requerida. En otras palabras, el conocimiento sobre el entorno se representa en la red neuronal en forma de pares de entrada-salida. Por ejemplo, a la red se le puede presentar una imagen de la letra "H" y se le puede enseñar a la red que el elemento de salida correspondiente a "H" debe estar encendido y los elementos de salida correspondientes a otras letras deben estar apagados. En este caso, la muestra de entrada puede ser un conjunto de valores que caracterizan los píxeles de la imagen en escala de grises, y la muestra de salida de destino puede ser un vector cuyos valores de todas las coordenadas deben ser iguales a 0, con excepción de coordenada correspondiente a la clase "H", cuyo valor debe ser igual.

La figura 3.1 muestra un diagrama de caja que ilustra esta forma de aprendizaje. Supongamos que el profesor y la red de aprendizaje reciben un vector de formación de ambiente. Basándose en el conocimiento incorporado, el profesor puede generar y transmitir a la red neuronal entrenada la respuesta deseada correspondiente a un vector de entrada determinado. Los parámetros de la red se ajustan teniendo en cuenta el vector de entrenamiento y la señal de error. señal de error es la diferencia entre la señal deseada y la respuesta actual de la red neuronal. Una vez finalizada la formación, se puede apagar al profesor y permitir que la red neuronal trabaje con el entorno por sí sola.

Figura 3.1 – Concepto de formación de RNA con un profesor.

El algoritmo de entrenamiento del perceptrón incluye los siguientes pasos:

· El sistema se presenta con una imagen de referencia.

· Si el resultado del reconocimiento coincide con el especificado, los coeficientes de ponderación de las conexiones no cambian.

· Si la RNA reconoce incorrectamente el resultado, entonces los coeficientes de ponderación se incrementan en la dirección de aumentar la calidad del reconocimiento.

Neurona artificial

neurona artificial (neurona matemática McCulloch-Pitts, neurona formal) - un nodo de una red neuronal artificial, que es un modelo simplificado de una neurona natural. Matemáticamente, una neurona artificial generalmente se representa como una función no lineal de un solo argumento: una combinación lineal de todas las señales de entrada. Esta función se llama función de activación o función de disparo, función de transferencia. El resultado resultante se envía a una única salida. Estas neuronas artificiales se combinan en redes: conectan las salidas de algunas neuronas con las entradas de otras. Las neuronas y redes artificiales son los elementos principales de una neurocomputadora ideal.

Prototipo biológico

Una neurona biológica consta de un cuerpo con un diámetro de 3 a 100 μm, que contiene un núcleo (con una gran cantidad de poros nucleares) y otros orgánulos (incluido un RE rugoso altamente desarrollado con ribosomas activos, el aparato de Golgi) y procesos. Hay dos tipos de procesos. Un axón suele ser un proceso largo adaptado para conducir la excitación desde el cuerpo de la neurona. Las dendritas son, por regla general, procesos cortos y muy ramificados que sirven como lugar principal de formación de sinapsis excitadoras e inhibidoras que influyen en la neurona (diferentes neuronas tienen diferentes proporciones de longitud de axón y dendrita). Una neurona puede tener varias dendritas y normalmente un solo axón. Una neurona puede tener conexiones con otras 20.000 neuronas. La corteza cerebral humana contiene entre 10 y 20 mil millones de neuronas.

Historia del desarrollo

En este caso, es posible desplazar la función a lo largo de ambos ejes (como se muestra en la figura).

Las desventajas de las funciones de activación escalonada y semilineal en relación con las lineales son que no son diferenciables en todo el eje numérico y, por lo tanto, no se pueden utilizar al entrenar con algunos algoritmos.

Función de activación de umbral

Función de transferencia de umbral

Tangente hiperbólica

Aquí está el j-ésimo componente del vector suministrado a la entrada de la neurona, y es el j-ésimo componente del vector que determina la posición del centro de la función de transferencia. En consecuencia, las redes con tales neuronas se denominan probabilísticas y de regresión.

Otras funciones de transferencia

Las funciones enumeradas anteriormente son sólo un subconjunto de las muchas funciones de transferencia que se utilizan actualmente. Otras funciones de transferencia incluyen:

neurona estocástica

donde la distribución de probabilidad suele tener la forma de un sigmoide

Se introduce una constante de normalización para la condición de normalización de la distribución de probabilidad. Por tanto, la neurona se activa con probabilidad P(u). El parámetro T es un análogo de la temperatura (¡pero no de la temperatura de la neurona!) y determina el desorden en la red neuronal. Si T tiende a 0, la neurona estocástica se convertirá en una neurona ordinaria con la función de transferencia de Heaviside (función de umbral).

Modelado de funciones lógicas formales

Una neurona con una función de transferencia de umbral puede modelar varias funciones lógicas. Las imágenes ilustran cómo, al establecer los pesos de las señales de entrada y el umbral de sensibilidad, se puede forzar a una neurona a realizar conjunción (“Y” lógico) y disyunción (“O” lógico) en las señales de entrada, así como negación lógica de la señal de entrada. Estas tres operaciones son suficientes para modelar absolutamente cualquier función lógica de cualquier número de argumentos.

Notas

Literatura

Terekhov V.A., Efimov D.V., Tyukin I.Yu. Sistemas de control de redes neuronales. - 1º. - Escuela Superior, 2002. - P. 184. - ISBN 5-06-004094-1
Kruglov V.V., Borisov V.V.