GRU

Das multivariate Gated Recurrent Unit (GRU) -Modell ist ein Modell für maschinelles Lernen, bei dem es sich um eine Art rekurrentes neuronales Netzwerk handelt. Indicio bietet eine Auswahl an Modellen für maschinelles Lernen, wobei das grundlegendste das univariate neuronale Modell ist. Die multivariate Verallgemeinerung dieses Modells ist das Artifical Neural Network (ANN) -Modell. Das GRU-Modell ist ein rekurrendes neuronales Netzwerk. Es ist zeitsensibler, da es den Informationsfluss zwischen Knoten derselben Schicht in Richtung höherer zu niedrigerer Verzögerung ermöglicht.

Multivariate Zeitreihen und neuronale Netze

Um einen Satz von k zu modellierenk Zeitreihen Y1, ... ,Ykunter Verwendung eines neuronalen Netzwerks p⋅k verzögerte Werte werden als Eingaben verwendet und das neuronale Netzwerk wird trainiert, um den Strom zu erklären p Werte der eingeschlossenen Zeitreihe. Genau wie im univariaten Fall kann dann eine Prognose erstellt werden, indem yt, ... ,yt−p+1 als Eingabe für die Vorhersage yt+1. Beachten Sie, dass wir jetzt schreiben ytum den Vektor von zu bezeichnen k Werte zur Zeit t, was bedeutet, dass das Modell Prognosen erstellt für alles enthaltene Variablen. Dies kann dann rekursiv wiederholt werden, wobei nur die Prognosewerte als Eingabe verwendet werden, wodurch eine Prognose der gewünschten Länge erstellt wird. Das GRU-Modell unterscheidet sich von einem allgemeinen neuronalen Netzwerk dadurch, dass es wiederkehrend ist. Dies hat zur Folge, dass es besser auf die Verarbeitung sequentieller Daten wie Zeitreihen zugeschnitten ist. Das andere rekurrente neuronale Netzwerk, das in Indicio verfügbar ist, ist das Long Short-Term Memory (LSTM) -Modell, das komplexer ist, aber gleichzeitig anfälliger für Überanpassungen ist. GRU wurde als Vereinfachung des LSTM-Modells entwickelt und weist nachweislich eine ähnliche Leistung auf.

Wie passt Indicio zu einem GRU-Modell?

Wenn die Anzahl der Ein- und Ausgänge eines Modells zunimmt, steigt auch die erforderliche Größe der versteckten Ebenen und damit die Komplexität des Modells. Dies stellt eine Herausforderung dar, da bei einem komplexen Modell immer die Gefahr besteht, dass es zu stark an die Daten angepasst wird. Um dem abzuhelfen, werden die Daten in einen Zugsatz und einen Validierungssatz aufgeteilt.

Das Modell wird anhand der Trainingsdaten mit Stochastic Gradient Descent (SGD) trainiert. Bei jeder Iteration werden nur wenige der Beobachtungen verwendet, was bedeutet, dass der SGD-Algorithmus nach einer bestimmten Anzahl von Iterationen alle Daten durchgegangen ist. Jeder dieser Sätze von Iterationen wird als bezeichnet Zeitalter. Nach jeder Epoche wird das Modell verwendet, um eine Prognose für den Validierungssatz zu erstellen, und der Prognosefehler außerhalb der Stichprobe wird berechnet. Das Modell ist auch Teil des Trainingsprozesses und erstellt Prognosen innerhalb der Stichprobe, die als angepasste Werte bezeichnet werden, anhand derer der Prognosefehler bei der Stichprobe berechnet werden kann.

Dadurch entstehen pro Epoche zwei Serien von Prognosefehlern, d. h. innerhalb der Stichprobe und außerhalb der Stichprobe. Indicio wendet ein sogenanntes frühes Stoppen an. Das bedeutet, dass, wenn die Genauigkeit der Stichprobe über mehrere Epochen hinweg abnimmt, der Trainingsprozess gestoppt wird und das Modell als abgeschlossen betrachtet wird.

‍