GRU

Le modèle GRU (Gated Recurrent Unit) multivarié est un modèle d'apprentissage automatique qui est un type de réseau neuronal récurrent. Indicio propose une sélection de modèles d'apprentissage automatique, le plus fondamental étant le modèle neuronal univarié. La généralisation multivariée de ce modèle est le modèle de réseau neuronal artificiel (ANN). Le modèle GRU, étant un réseau neuronal récurrent, est plus sensible au temps car il permet aux informations de circuler entre les nœuds de la même couche, dans le sens des décalages les plus élevés vers les plus faibles.

Séries chronologiques multivariées et réseaux neuronaux

Pour modéliser un ensemble de kk séries chronologiques Y1, ... ,Ykà l'aide d'un réseau neuronal, le p⋅k des valeurs décalées sont utilisées comme entrées et le réseau neuronal est entraîné pour expliquer le courant p valeurs des séries chronologiques incluses. Tout comme dans le cas d'une variable univariée, une prévision peut ensuite être créée en utilisant yt, ... ,yt−p+1 comme entrées pour prédire yt+1. Notez que nous sommes en train d'écrire ytpour désigner le vecteur de k valeurs à la fois t, ce qui signifie que le modèle créera des prévisions pour tous variables incluses. Cela peut ensuite être répété de manière récursive en utilisant les seules valeurs de prévision comme entrée, créant ainsi une prévision de la longueur souhaitée. Le modèle GRU diffère d'un réseau neuronal général en ce qu'il est récurrent, ce qui implique qu'il est mieux adapté au traitement de données séquentielles telles que les séries chronologiques. L'autre réseau neuronal récurrent disponible dans Indicio est le modèle de mémoire à long terme (LSTM), qui est plus complexe mais en même temps plus sujet au sur-ajustement. Le GRU a été développé pour simplifier le modèle LSTM et il a été démontré que ses performances étaient similaires.

Comment s'adapte Indicio à un modèle GRU ?

À mesure que le nombre d'entrées et de sorties d'un modèle augmente, la taille requise des couches cachées augmente également, et avec elle, la complexité du modèle. Cela représente un défi car un modèle complexe risque toujours d'être suradapté aux données. Pour y remédier, les données sont divisées en un ensemble de trains et un ensemble de validation.

Le modèle est entraîné sur les données d'entraînement à l'aide de la méthode Stochastic Gradient Descent (SGD). Seules quelques observations sont utilisées à chaque itération, ce qui signifie qu'après un certain nombre d'itérations, l'algorithme SGD aura examiné toutes les données. Chacun de ces ensembles d'itérations est appelé époque. Après chaque époque, le modèle est utilisé pour créer une prévision dans l'ensemble de validation, et l'erreur de prévision hors échantillon est calculée. Le modèle fait également partie du processus d'apprentissage qui produit des prévisions dans l'échantillon, appelées valeurs ajustées, à partir desquelles l'erreur de prévision dans l'échantillon peut être calculée.

Cela créera deux séries d'erreurs de prévision, dans l'échantillon et hors échantillon par époque. Indicio applique ce que l'on appelle l'arrêt précoce, ce qui signifie que lorsque la précision hors échantillon commence à se détériorer sur plusieurs périodes, le processus d'apprentissage est interrompu et le modèle est considéré comme terminé.

‍