Función de activación

En redes computacionales, la Función de Activación de un nodo define la salida de un nodo dada una entrada o un conjunto de entradas. Se podría decir que un circuito estándar de computador se comporta como una red digital de funciones de activación al activarse como "ON" (1) u "OFF" (0), dependiendo de la entrada. Esto es similar al funcionamiento de un Perceptrón en una Red neuronal artificial.

En las redes neuronales inspiradas sobre la biología, la función de activación es usualmente una abstracción representando una tasa de potencial de activación gatillándose en la celda. En su forma simplificada, esta función es binaria, esto es, se activa la neurona o no. La función se ve como ${displaystyle phi (v_{i})=U(v_{i})}$, donde ${displaystyle U}$ es la función escalón. En este caso, un gran número de neuronas deben ser usadas en computación más allá de la separación lineal de las categorías.

Una función rampa también puede ser usada para reflejar el incremento del potencial de activación que ocurre cuando la entrada se incrementa. La función podría ser de la forma ${displaystyle phi (v_{i})=mu v_{i}}$, donde ${displaystyle mu }$ es la pendiente. Esta función de activación es lineal, y por consiguiente tiene los mismos problemas que la función binaria. En adición, las redes neuronales construidas usando este modelo tienen convergencia inestable porque a la larga, las entradas a la neurona tienden a incrementarse sin límite, esta función no es normalizable.

Los problemas mencionados anteriormente, pueden ser manejados usando una función de activación sigmoidal. Un modelo realista permanece en cero hasta que una entrada es recibida, en este punto la frecuencia de activación se incrementa rápidamente, pero gradualmente llega a ser asíntota cuando la frecuencia es 100%. Matemáticamente, esto se ve como ${displaystyle phi (v_{i})=U(v_{i}) anh(v_{i})}$, donde la función de tangente hiperbólica puede también ser cualquier función sigmoidal. Esta conducta es realísticamente reflejada en la neurona, ya que las neuronas no pueden físicamente activarse más rápido que una cierta tasa.

El modelo final que es usado en perceptrones multicapa es el modelo de activación sigmoidal en la forma de tangente hiperbólica. Dos formas de esta función son comúnmente usados: ${displaystyle phi (v_{i})= anh(v_{i})}$ cuyos rangos son normalizados desde -1 hasta 1, y ${displaystyle phi (v_{i})=(1+exp(-v_{i}))^{-1}}$ es verticalmente normalizado desde 0 a 1. El último modelo es frecuentemente considerado más biológicamente realista, pero tiene dificultades teóricas y experimentales en ciertos tipos de problemas computacionales.

Una clase especial de funciones de activación conocidas como funciones de base radial (RBFs) son usadas en Redes de neuronas de base radial, las cuales son extremadamente eficientes como funciones universales de aproximación. Esas funciones de activación pueden tomar cualquier forma, pero usualmente se encuentran una de estas tres:

donde ${displaystyle c_{i}}$ es el vector representando la función central y ${displaystyle a}$ y ${displaystyle sigma }$ son parámetros affectando la magnitud del radio.

Máquinas de vectores de soporte (SVMs) pueden efectivamente utilizar una clase de funciones de activación que incluyen funciones sigmoidales y funciones de base radial. En este caso, el vector de entrada es transformado para reflejar un límite de decisión hiplerplano basado en unas pocas entradas de entrenamiento llamadas vectores de soporte ${displaystyle x}$. La función de activación para las capas ocultas de esas máquinas son referidas como producto del núcleo interno, ${displaystyle K(v_{i},x)=phi (v_{i})}$. Los vectores de soporte son representados como los centros en RBFs con el núcleo igual a la función de activación, pero toman una forma única en el perceptrón como :${displaystyle ,phi (v_{i})= anh left(eta _{1}+eta _{0}sum _{j}v_{i,j}x_{j} ight)}$, donde ${displaystyle eta _{0}}$ y ${displaystyle eta _{1}}$ deben satisfacer ciertas condiciones de convergencia. Esas máquinas también pueden aceptar funciones de polinomios de orden arbitrario donde:${displaystyle ,phi (v_{i})=left(1+sum _{j}v_{i,j}x_{j} ight)^{p}}$.^[1]​