ANN

Het multivariate Artificial Neural Network (ANN) -model is een Machine Learning-model dat kan worden gezien als een multivariate versie van het univariate neurale model (zie Advanced: Neural). Het duidelijke verschil is dat het ANN-model in staat is om meerdere tijdreeksen samen te modelleren.

Multivariate tijdreeksen en neurale netwerken

Om een set van k te modellerenk tijdreeks Y1,... , YkY1, ... ,Ykmet behulp van een neuraal netwerk, de p⋅kp⋅k achterblijvende waarden worden gebruikt als invoer en het neurale netwerk wordt getraind om de huidige p te verklarenp waarden van de opgenomen tijdreeksen. Net als in het univariate geval kan dan een voorspelling worden gemaakt met behulp van yt,... , yt−p+1yt, ... ,yt−p+1 als input om yt+1 te voorspellenyt+1. Merk op dat we nu aan het schrijven zijnytom de vector van k aan te duidenk waarden op tijdstip tt, wat betekent dat het model voorspellingen zal maken voor allemaal variabelen inbegrepen. Dit kan vervolgens op een recursieve manier worden herhaald met alleen de prognosewaarden als invoer, waardoor een voorspelling van de gewenste lengte wordt gemaakt.

Hoe past Indicio in een ANN-model?

Naarmate het aantal in- en uitgangen van een model toeneemt, neemt ook de vereiste grootte van de verborgen lagen toe, en daarmee de complexiteit van het model. Dit vormt een uitdaging omdat een complex model altijd het risico loopt dat het te veel wordt aangepast aan de gegevens. Om dit te verhelpen, worden de gegevens opgesplitst in een treinset en een validatieset.

Het model is getraind op de trainingsgegevens met behulp van Stochastic Gradient Descent (SGD). Bij elke iteratie worden slechts enkele van de waarnemingen gebruikt, wat betekent dat na een bepaald aantal iteraties het SGD-algoritme alle gegevens heeft doorgenomen. Elke dergelijke reeks iteraties wordt aangeduid als een tijdperk. Na elk tijdperk wordt het model gebruikt om een prognose op te stellen in de validatieset, en de voorspellingsfout die buiten de steekproef valt, wordt berekend. Het model maakt ook deel uit van het trainingsproces en produceert voorspellingen in de steekproef, die aangepaste waarden worden genoemd, op basis waarvan de voorspellingsfout tijdens de steekproef kan worden berekend.

Dit zal leiden tot twee reeksen voorspellingsfouten, in de steekproef en buiten de steekproef per tijdperk. Indicio past iets toe dat early stopping wordt genoemd, wat betekent dat wanneer de nauwkeurigheid van de steekproef over meerdere tijdperken verslechtert, het trainingsproces wordt stopgezet en het model als voltooid wordt beschouwd.

‍