Neural Net

Las redes neuronales tienen como objetivo imitar la forma en que funcionan las neuronas del cerebro humano. La principal ventaja sobre un modelo lineal es que las redes neuronales pueden modelar relaciones no lineales más complejas. La arquitectura general consiste en una capa de entrada, una o más capas ocultas y una capa de salida de neuronas. Cada neurona tiene un coeficiente de peso wiy un coeficiente de sesgo bi, junto con la entrada a la neurona zi y una función no lineal como la función sigmoidea

calcular un valor de salida s (zi)s(zi). Cada neurona está conectada a todas las neuronas de la capa siguiente, lo que significa que una neurona con múltiples entradas tendrá una suma de varios wizi‍términos en el exponente. El papel de la función sigmoidea aquí a menudo se denomina función de activación, y se utilizan comúnmente otras opciones además del sigmoide.

Al agregar varias capas ocultas entre la entrada y la salida, es posible crear un modelo muy flexible. Una vez definido el modelo, los datos pasan a través de él y el resultado se compara con el valor real. Al calcular el gradiente de la función de error, es posible ajustar las ponderaciones y los sesgos hacia una dirección que reduzca el error. Este proceso de optimización se denomina descenso de gradiente. Todo el proceso de ajustar los coeficientes a los datos a menudo se denomina formación el modelo y los datos utilizados para hacerlo se denominan datos de entrenamiento.

Con toda la flexibilidad que se ofrece, el mayor desafío es evitar ajustar demasiado el modelo a los datos, lo que significa que el modelo se vuelve extremadamente bueno para describir los datos de entrenamiento, pero cuando se le presentan nuevas observaciones, tendrá dificultades. Resolver esto es una cuestión de investigación abierta, pero existen muchas técnicas útiles.

Un ejemplo es simplemente pasar una muestra aleatoria de los datos a través del modelo en cada iteración, lo que resulta en la técnica de optimización denominada descenso de gradiente estocástico. Además, los datos suelen dividirse en dos partes, una que se utiliza para la formación y otra para la validación. El modelo nunca puede usar el conjunto de validación para el entrenamiento, pero después de un número determinado de iteraciones, el modelo se evalúa comparándolo con el conjunto de validación. De esta forma, es posible detener el proceso de entrenamiento tan pronto como el error de validación comience a aumentar. La ventaja de esto es que el modelo se entrenará para que sea lo más específico posible con respecto a los datos, sin dejar de ser relevante para datos similares que no estén presentes en el conjunto de entrenamiento.

Con un modelo lo suficientemente grande y suficientes datos de entrenamiento, es posible modelar estructuras muy complicadas. Un ejemplo de ello son los modelos lingüísticos de gran tamaño que pueden imitar el lenguaje humano al predecir qué palabra es más probable que aparezca después de la secuencia actual que el modelo ha recibido como entrada.

Series temporales y redes neuronales

Para modelar una serie temporal Yt utilizando una red neuronal, la pp valores retrasados Yt−1, ... ,Yt−pse utilizan como entradas y la red neuronal se entrena para explicar el valor actual Yt. A continuación, se puede crear una previsión utilizando Yt, ... ,Yt−p+1 como entradas para predecir Yt+1. Luego, esto se puede repetir de forma recursiva utilizando el valor de pronóstico justo como entrada, creando un pronóstico de la longitud deseada.

¿Cómo se ajusta Indice a un modelo neuronal?

Un modelo de regresión lineal se puede ajustar a los datos de manera predictiva, por lo que un solo modelo casi siempre será suficiente. Una red neuronal puede terminar con muchos conjuntos diferentes de coeficientes derivados de la naturaleza estocástica de la SGD, entre otros factores. Para minimizar la varianza en los modelos, Indicio crea una serie de modelos que luego se promedian al hacer las previsiones.

‍