Translate

sábado, 18 de julio de 2015

REDES DE NEURONAS DE BASE RADIAL

INTRODUCCIÓN

Las redes de nuronas de base radial son redes multicapa con conexiones hacia delante con una única capa oculta, las neuronas ocultas poseen carácter local Cada neurona oculta se activa en una región distinta del espacio de entrada, El carácter local se debe al uso de las funciones de base radial como funciones de activación. Generalmente la función gaussiana, las neuronas de salida realizan una combinación lineal de las activaciones de las neuronas ocultas, se deben fundamentalmente a: Moody y Darken (1989), Renals (1989), Poggio y Girossi (1990).

MARCO TEÓRICO


En el campo de la modelización matemática, una red de función de base radial es una red neuronal artificial que usa funciones de base radial como funciones de activación. La salida de la red es una combinación lineal de funciones de base radial de las entradas y los parámetros de las neuronas. Redes de funciones de base radial tienen muchos usos, incluida la aproximación función, la predicción de series temporales, clasificación y control del sistema. Ellos fueron formuladas por primera vez en un documento de 1988 por Broomhead y Lowe, ambos investigadores de la Royal Radar Establishment, aunque la arquitectura pueda recordar a la de un MLP, la diferencia fundamental está en que las neuronas de la capa oculta en vez de de calcular una suma ponderada de las entradas y aplicar una sigmoide, estas neuronas calculan la distancia euclídea entre el vector de pesos sinápticos (que recibe el nombre en este tipo de redes de centro o centroide) y la entrada (de manera casi analoga a como se hacía con los mapas SOM) y sobre esa distancia se aplica una función de tipo radial con forma gaussiana.

APLICACIÓN
Tanto en la Ingeniería, como en la Economía, se presentan problemas en los cuales se necesita encontrar una variación entre un conjunto de variables dependientes y otro independientes. La función que une estas variables es generalmente no lineal y la mayor parte del tiempo no se conoce ninguna información sobre la forma de esta variación. Los procedimientos estadísticos se pueden utilizar, pero sufren de esa desventaja. Una red neuronal RBF se puede utilizar para extraer la relación dependiente e independiente. Para el ejemplo únicamente se ha considerado el caso 1D, sin embargo todos los conceptos que se han analizado son perfectamente válidos en 2 o más dimensiones. Se parte de una función conocida, a la que se añade ruido en forma seudoaleatoria, obsérvese que esto se hace únicamente con el fin de ilustrar y verificar los resultados. En cualquier aplicación al área de Ingeniería o Financiera esta función es desconocida.

Mediante el intérprete Scilab, se genera una función, como la de la figura. El ruido mismo se ha representado a través de puntos a lo largo de la función original. Para la red de inicialización se puede considerar que todos los puntos de ruido aportan con nodo para la red. 
Obsérvese que para definir un nodo de la red RBF se necesita establecer los parámetros de las funciones radiales, para este caso se ha escogido 3 tamaños para el parámetro r (radio) de estas funciones radiales (r = 0.5 1.0 1.5). El parámetro c (centros) es igual a los parámetros de entrada x en la inicialización. 
El algoritmo forward select, permite encontrar la red más adecuada para extraer una relación determinística, la función que realiza el proceso de escoger los nodos de la red en virtud de los criterios de selección de modelos que se han mencionada es forward Select(F,y) y la función que construye la red neuronal de inicialización es rbf Design (x,c,r). Una vez que se encuentra la red óptima, se procede a calcular los parámetros de la misma. Estos parámetros w permiten generalizar a la red para valores de entrada diferentes de los que fue entrenada. Se ha añadido además otro llamado a la función forwardSelect en la que se considera una variación al proceso de selección de nodos de la red más elaborado utilizando otros criterios de selección de modelos.

 Se ha demostrado que estos procedimientos permiten mejorar la solución en base al criterio de mínimos cuadrados

CONCLUSIÓN

Una red artificial de función Radial utiliza la distribución de Normal de la estadística la fórmula de aprendizaje es algo compleja porque utiliza métodos de integración triple y necesita una función gama y tao para determinar en donde tiene el patrón aprendido.
Al igual que el perceptron multicapa, las redes de neuronas de base radial son aproximadores universales, en el sentido de que pueden aproximar cualquier  función continua sobre un compacto de R^n.
Las funciones de base radial (RBF) definen hiperesferas o hiperelipses  que dividen el espacio de entrada. Cada RBF (cada neurona) construye una aproximación local no lineal en una determinada región del espacio de entrada.
Se han aplicado a gran variedad de problemas:
Análisis de series temporales, procesamiento de imágenes, reconocimiento automático del habla, diagnósticos médicos, etc

BIBLIOGRAFÍA

Broomhead, S ; Lowe, . 1988. Radial basis functions, multi-variable functional interpolation and adaptive networks. Complex Systems Publications. Reino Unido. Pags  x
Broomhead, S ; Lowe, . 1988. “Multivariable functional interpolation and adaptive networks”. Complex Systems Publications. Reino Unido. Pags  x
Schwenker, F; Kestler, H; Palm, G. 2001. “Three learning phases for radial-basis-function networks”. Pergamon. Alemania . pag 440 – x

RED ADALINE


INTRODUCCIÓN

Desarrollado en 1960 por Widrow y Hoff, el nombre significa ADAptive LINear Element, y fué desarrollada como un circuito electrónico adaptivo para uso en telefonía mucho antes de que se concibiera el término “red neural.” estructura prácticamente idéntica al perceptron, pero es un mecanismo físico capaz de realizar aprendizaje. Elemento combinador adaptativo lineal, que recibe todas las entradas, las suma ponderadamente, y produce una salida.
El aprendizaje busca encontrar el mejor vector de pesos posibles en términos del criterio de error cuadrático medio.

MARCO TEÓRICO

El Adaline es un tipo de red neuronal artificial que utiliza un aprendizaje off-line con supervisión denominado LMS o regla del minimo error cuadrático medio, también denominado regla delta.
Tiene una gran diferencia con el perceptron, la manera de utilizar la salida en la regla de aprendizaje, el perceptron utiliza la salida de la función umbral (binaria) para el aprendizaje. Solo se tiene en cuenta si se ha equivocado o no.
En Adaline se utiliza directamente la salida de la red (real) teniendo en cuenta cuánto se ha equivocado.
Se utiliza la diferencia entre el valor real esperado d y la salida producida por la red y

Se puede aplicar a este tipo de problemas siempre que los patrones sean linealmente separables.

Posee un filtro de ruido en el campo de procesamiento de señales transmisoras de información.

También es capaz de predecir el valor de una señal en el instante t+1 si se conoce el valor de la misma en los p instantes anteriores. El error de la predicción será mayor o menor según que señal queramos predecir. Si la señal se corresponde a una serie temporal, el Adaline, pasando un tiempo, será capaz de dar predicciones exactas.

Se pueden combinar múltiples Adalines formando una red Madaline.

Una de las principales ventajas que presenta la Red Adaline frente al perceptrón es que esta su gráfica de error es un  hiperparaboloide la cual contiene un mínimo global o también puede tener una recta de infinitos valores.
De esta manera se evita los problemas que proporciona el perceptrón al momento del entrenamiento ya que su función de error tiene cuantiosos mínimos específicos.


CONCLUSIÓN

Podemos concluir señalando que la red Adaline es parecida al Perceptron y a la vez es muy diferente ya que este tipo de red artificial nos entrega un resultado mucho mas aproximado.

BILIOGRAFÍA

Medina, E; Cubides, H; Salazar, J y Sigüencia, J. 2010. Redes Adaline – Filtros Adaptativos. (En Línea). Consultado,  03 de Jun del 2015. Disponible en: http://es.scribd.com/doc/52002261/Adeline-1

Galván, I y Valls, J. 2010. Redes de Neuronas Artificiales. (En Línea). Consultado,  02 de Jun del 2015. Formato (PDF). Disponible en: http://ocw.uc3m.es/ingenieria-informatica/redes-de-neuronas-artificiales/transparencias/material-de-clase.-tema-2


PERCEPTRÓN MULTICAPA


INTRODUCCIÓN

Un perceptrón multicapa (MLP) es un modelo neuronal artificial feedforward red que asigna conjuntos de datos de entrada en un conjunto de salidas apropiadas. Un MLP consta de múltiples capas de nodos de un grafo dirigido, con cada capa totalmente conectado a la siguiente,excepto para los nodos de entrada, cada nodo es una neurona (o elemento de procesamiento) con una función de activación lineal.

A continuación profundizaremos en el tema.

MARCO TEÓRICO

MLP utiliza una técnica de aprendizaje supervisado denominado retropropagación para la formación de la red. MLP es una modificación del perceptrón lineal estándar y pueden distinguir los datos que no son linealmente separables.
Este es uno de los tipos de redes más comunes. Se basa en otra red más simple llamada perceptrón simple solo que el número de capas ocultas puede ser mayor o igual que una. Es una red unidireccional (feedforward). La arquitectura típica de esta red es la siguiente:


FUNCIÓN DE ACTIVACIÓN

Si un perceptrón multicapa tiene una función lineal en la activación de todas las neuronas, es decir, una función lineal que mapea las entradas ponderadas a la salida de cada neurona, entonces es fácilmente demostrado con el álgebra lineal que cualquier número de capas puede ser reducido a la norma modelo de de dos capas. Lo que hace que un perceptrón multicapa diferente es que cada neurona utiliza una función de activación no lineal que se desarrolló para modelar la frecuencia de potenciales de acción, o de cocción, de las neuronas biológicas en el cerebro. Esta función se modela de varias maneras.
Las dos funciones principales de activación utilizados en las aplicaciones actuales son ambos sigmoides, y se describen por:
y (vi) =  tang (vi) ;
y (vi) = 1 /  (1 + e ^(- vi)) )

En el que la primera función es la tangente hiperbólica que varía de -1 a 1, y el segundo, la función logística, es similar en forma pero oscila de 0 a 1 Aquí yi  es la salida del nodo i-ésimo (neurona) y vi  es la suma ponderada de las sinapsis de entrada.

APLICACIONES
Perceptrones multicapa utilizando un algoritmo de backpropagation son el algoritmo estándar para cualquier proceso de reconocimiento de patrones de aprendizaje supervisado y el tema de investigación en curso en la neurociencia computacional y procesamiento distribuido en paralelo. Son útiles en la investigación en términos de su capacidad para resolver problemas de forma estocástica, que a menudo permite a uno para obtener soluciones aproximadas para problemas muy complejos, como aproximación de la capacidad. MLP fueron una solución de aprendizaje de máquina popular en la década de 1980, la búsqueda de aplicaciones en diversos campos, tales como el reconocimiento de voz, reconocimiento de imágenes, y software de traducción automática, (Wasserman  ; Schwartz.  1988) pero desde la década de 1990 se enfrentaron la fuerte competencia de la mucho más simple  y relacionados apoyar las máquinas de vectores. Más recientemente, ha habido un cierto interés renovado en las redes de retro propagación debido a los éxitos de aprendizaje profundo

APRENDIZAJE EN EL PERCEPTRÓN MULTICAPA
1. Se inicializan los pesos y umbrales (valores aleatorios próximos a 0).
2. Se presenta un patrón “n” de entrenamiento y se propaga hacia la salida, obteniendo la salida de la red “y(n)”
3. Se evalúa el error cuadrático, “e(n)”, cometido por la red para cada patrón.
4. Se aplica la Regla Delta Generalizada para modificar pesos y umbrales:
Se calculan los valores “δ” para todas las neuronas de la capa de salida.
Se calcula “δ” para el resto de neuronas, empezando por la última capa oculta y terminando en la capa de entrada.
Se modifican los pesos y umbrales.
5. Se repiten los pasos 2, 3 y 4 para todo el patrón de entrenamiento.
6. Se evalúa el error total de la red.
7. Se repite hasta alcanzar el error mínimo de entrenamiento, realizando “m” ciclos. Se pueden establecer otros criterios de parada:
El error del entrenamiento se estabilice.
El error de validación se estabilice.
El error de validación aumente

CONCLUSIÓN
El  perceptrón multicapa pertenece a la familia de aprendizaje o entrenamiento supervisado su característica principal es la cantidad de nodos que contiene para obtener entradas de datos y dar una salida en base al modelo que tiene como función. Es uno de los modelos de redes neuronales más simples en la inteligencia artificial entonces como tal es la base fuerte para creación de nuevos modelos. 

BIBLIOGRAFÍA

Rosenblatt, F. 1961. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC
Rumelhart, D; Geoffrey E  and Williams, R. 1986. “Learning Internal Representations by Error Propagation”. David E. Rumelhart, James L. McClelland, and the PDP research
Cybenko, G. 1989. Approximation by superpositions of a sigmoidal function Mathematics of Control, Signals, and Systems, 1ra Edición, pag .303–314.


INTRODUCCION A LAS REDES NEURONALES

INTRODUCCIÓN

Desde el principio de los tiempos, los humanos siempre han pensado en cuál es su naturaleza, teniendo en cuenta cada uno de los conceptos conocidos por ellos, han ido determinando con el pasar de los años el funcionamiento de cada una de sus partes, pero para ello han tenido que esperar bastante, sin embargo esto no los detuvo en ningún momento, llegando a descubrir incluso el funcionamiento interno de las neuronas, como transportan la información recibida, como la codifican etc
Las Redes Neuronales biológicas son muy importantes dentro del desarrollo de la Inteligencia Artificial, ya que en la búsqueda del ser humano de crear maquinas inteligentes (mecanismos que simulen un comportamiento inteligente en un determinado entorno),  busca conocer cómo funciona su sistema en relación con la naturaleza, que lo diferencia de los animales y de los pequeños microorganismos. Para esto se analiza el comportamiento del cerebro humano (principalmente el referido a las neuronas y sus conexiones), para tratar de crear modelos artificiales que solucionen problemas difíciles de resolver mediante técnicas algorítmicas convencionales
En fin, en lo que se enfoca ahora es en tratar de emular o imitar, el gran funcionamiento del cerebro humano que como se menciona, lo hace por medio de impulsos, que luego son traducidos en información, y posteriormente transportado, a través de una gran red de conductores, conocidos como red de neuronas

MARCO TEORICO

REDES NEURONALES ARTIFICIALES
Las redes neuronales artificiales también denominadas RNA es una forma de aprendizaje de la función del sistema nervioso de los seres humanos y animales. Es en sí, una especie de red compuesta por neuronas, es decir muchas neuronas conectadas entre sí, que permiten la entrada, procesamiento y salida de información.

FUNDAMENTOS BIOLÓGICOS DE LAS REDES DE NEURONAS
El Sistema Nervioso está considerado como la estructura única más compleja del universo. Su principal función es, junto con el sistema endocrino, asegurar el control y la comunicación dentro del organismo.
De alguna forma, una neurona es un procesador de información muy simple:
Canal de entrada: dendritas (Reciben los estímulos).
Procesador: Núcleo.
Canal de salida: axón (Transmite la señal de activación).
Las dendritas: Elementos de unión entre Axón y dendritas, es el espacio líquido con determinadas concentraciones iónicas (K, Na) (Izurieta, F y Saavedra, C. 2000).

El sistema de comunicación neuronal se compone de tres partes:

Los receptores, que están en las células sensoriales, recogen la información en forma de estímulos, ya sea que estos provengan del ambiente o del interior del organismo.
El Sistema Nervioso, que recibe las informaciones, las elabora, en parte las almacena y las envía en forma elaborada a los órganos efectores y a otras zonas del sistema nervioso.
Órganos diana o Efectores (glándulas, músculos, etc.), que reciben la información y la interpretan en forma de acciones motoras, hormonales, etc. 

MODELO COMPUTACIONAL
 Existen modelos muy diversos de redes de neuronas en los cuales se siguen filosofías de sueño, reglas de aprendizaje y funciones de construcción de las respuestas muy distintas. Una primera clasificación se hace en función del recorrido que sigue la información dentro de la red, y así se distinguen redes alimentadas hacia adelante y redes con retro-alimentación
Una red viene determinada por:
Un conjunto de unidades de proceso, conexiones entre las unidades, regla de propagación, para emitir señales a través de las conexiones y una regla de aprendizaje para modificar los pesos sinápticos de las conexiones.

ESTRUCTURA BÁSICA DE LA RED
En general, las neuronas suelen agruparse en unidades estructurales llamadas capas. Dentro de una capa, las neuronas suelen ser del mismo tipo. Se pueden distinguir tres tipos de capas:
De entrada: reciben datos o señales procedentes del entorno.
De salida: proporcionan la respuesta de la red a los estímulos de la entrada.
Ocultas: no reciben ni suministran información al entorno (procesamiento interno de la red) 


Generalmente las conexiones se realizan entre neuronas de distintas capas, pero puede haber conexiones intracapa o laterales y conexiones de realimentación que siguen un sentido contrario al de entrada-salida.

VENTAJAS DE LAS REDES NEURONALES
Aprendizaje adaptativo. Es una de las características mas atractivas de las redes neuronales, es la capacidad de aprender a realizar tareas básicas en un entrenamiento o una experiencia inicial
Auto-organización. Una Red Neuronal Artificial puede crear su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Esta auto-organización provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente.
Tolerancia a fallos. Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeño error en memoria, en las redes neuronales, si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento se ve influenciado, sin embargo no sufre una caída repentina
Operación en tiempo real. Los computadores neuronales pueden ser realizados en paralelo, se diseñan y se fabrican máquinas con hardware especial para obtener esta capacidad
APLICACIONES
En Biología, como aprender más acerca del cerebro y otros sistemas, obtención de retinas entre otros
En el Medio Ambiente, como analizar tendencias y patrones, identificación de falsificaciones, robots automatizados y sistemas de control
En la Medicina, analizadores del habla para la ayuda de audición; diagnóstico y tratamientos a partir de síntomas de datos analíticos y lecturas de RayosX.
En la empresa como identificación de candidatos para posiciones especificas exploración de bases de datos, entre otras.

CONCLUSIONES

Las redes neuronales artificiales buscan imitar el comportamiento del cerebro a través de un modelo, para esto se realiza una simplificación, averiguando cuáles son los elementos relevantes del sistema,  ya que la cantidad de información que existe es mucha y esta puede ser redundante. El desarrollo de estas redes se puede aplicar a diferentes campos como la biología, medicina, finanzas etc. Ya que son una tecnología computacional emergente.


Las redes neuronales artificiales son una abstracción de las redes neuronales reales , la IA trata de simularlas inspirándose en la biología. La clasificación  es muy metódica,  también está bien distribuida   y la que más me llama la atención son  las redes neuronales  artificiales  de aprendizaje híbrido.

BIBLIOGRAFIA

García. E. 2009. Vida e inteligencia artificial. Revista ACIMED. V 19 n. (En Línea). Consultado el 1  de Diciembre 2014. Disponible en: http://scielo.sld.cu/scielo.ph
Herrán, M. 1999. Inteligencia Artificial: Simbólico versus Subsimbólico. (En Línea). Consultado, 1 de Dic 2014. Formato PDF. Disponible en:http://www.redcientifica.com/doc/doc199903130005.html
Isasi, P y Galván,I. 2004. Redes neuronales artificiales: Un enfoque práctico. 1 ed. España.  Pearson Education.
Izurieta, F y Saavedra, C. 2000. Redes Neuronales artificiales. (En línea). ES. Consultado, 1 de Dic .2014. Formato PDF. Disponible en: www.uta.cl/charlas/volumen16/Indice/Ch-csaavedra.pdf
Salas, R. 2004. Redes Neuronales artificiales. (En línea). ES. Consultado, 12 de dic .2014. Formato PDF. Disponible en:http://www.inf.utfsm.cl.
Teahan, W. 2010. Artificial Intelligence – Agents and Environments. (En Línea).  EC. Consultado, 1 de Dic 2014. Formato PDF. Disponible en: http://www.bookboon.com.
Párraga, J; Anzules, M; Ramírez, C; Santander, L. 2013.        Implementación en C# de una Red Neuronal Artificial en el control locomotor de una hormiga robótica. Guayaquil, EC. Revista Tecnológica ESPOL – RTE. Vol. 26. Num. 2. p 16-27.

Universidad Carlos III de Madrid. S/f.  Introducción a las Redes de Neuronas. Departamento de Informática. (En línea). ES. Consultado, 1 de Dic .2014. Formato PDF. Disponible en:http://eva.evannai.inf.uc3m.es/et/docencia/rn-inf/documentacion/Tema1-ntroduccion.pdf.