LSTM

Le modèle multivarié de mémoire à long terme (LSTM) est un modèle d'apprentissage automatique qui est un type de réseau neuronal récurrent. Indicio propose une sélection de modèles d'apprentissage automatique, le plus élémentaire étant le modèle neuronal univarié (voir Avancé : Neural). La généralisation multivariée de ce modèle est le modèle de réseau neuronal artificiel (ANN) (Advanced : ANN). Le modèle LSTM, étant un réseau neuronal récurrent, est plus sensible au temps car il permet aux informations de circuler entre les nœuds de la même couche, dans le sens des décalages les plus élevés vers les plus faibles.

Séries chronologiques multivariées et réseaux neuronaux

Pour modéliser un ensemble de kk série chronologique Y1,... , Royaume-UniY1, ... ,Ykà l'aide d'un réseau de neurones, le p⋅kp⋅k des valeurs décalées sont utilisées comme entrées et le réseau neuronal est entraîné pour expliquer le courant pp valeurs des séries chronologiques incluses. Tout comme dans le cas d'une variable univariée, une prévision peut ensuite être créée en utilisant yt,... , yt−p+1yt, ... ,yt−p+1 comme entrées pour prédire yt+1yt+1. Notez que nous sommes en train d'écrire ytytpour désigner le vecteur de kk valeurs au temps tt, ce qui signifie que le modèle créera des prévisions pour tous variables incluses. Cela peut ensuite être répété de manière récursive en utilisant les seules valeurs de prévision comme entrée, créant ainsi une prévision de la longueur souhaitée. Le modèle LSTM diffère d'un réseau neuronal général en ce qu'il est récurrent, ce qui implique qu'il est mieux adapté à la gestion de données séquentielles telles que les séries chronologiques. L'autre réseau neuronal récurrent disponible dans Indicio est le modèle Gated Recurrent Unit (GRU) (Advanced : GRU), qui est une version moins paramétrée du LSTM. Le GRU a été développé pour simplifier le modèle LSTM et il a été démontré que ses performances étaient similaires.

Comment s'adapte Indicio à un modèle LSTM ?

À mesure que le nombre d'entrées et de sorties d'un modèle augmente, la taille requise des couches cachées augmente également, et avec elle, la complexité du modèle. Cela représente un défi car un modèle complexe risque toujours d'être suradapté aux données. Pour y remédier, les données sont divisées en un ensemble de trains et un ensemble de validation.

Le modèle est entraîné sur les données d'entraînement à l'aide de la méthode Stochastic Gradient Descent (SGD). Seules quelques observations sont utilisées à chaque itération, ce qui signifie qu'après un certain nombre d'itérations, l'algorithme SGD aura examiné toutes les données. Chacun de ces ensembles d'itérations est appelé époque. Après chaque époque, le modèle est utilisé pour créer une prévision dans l'ensemble de validation, et l'erreur de prévision hors échantillon est calculée. Le modèle fait également partie du processus d'apprentissage qui produit des prévisions dans l'échantillon, appelées valeurs ajustées, à partir desquelles l'erreur de prévision dans l'échantillon peut être calculée.

Cela créera deux séries d'erreurs de prévision, dans l'échantillon et hors échantillon par époque. Indicio applique ce que l'on appelle l'arrêt précoce, ce qui signifie que lorsque la précision hors échantillon commence à se détériorer sur plusieurs périodes, le processus d'apprentissage est interrompu et le modèle est considéré comme terminé.

‍