VARX elastisch net

Het VARX Elastic Net-model is een uitbreiding van het VARX Lasso-model dat in plaats van een gewone Lasso-penalty een Elastisch net straf. De Lasso-straf wordt gedefinieerd als

waarbij de straf afhangt van de som van de absolute waarden van de coëfficiënten. In hoogdimensionale datasets met gecorreleerde variabelen heeft Lasso de neiging om één variabele te selecteren, terwijl andere die daarmee gecorreleerd zijn, worden genegeerd. Gerelateerd aan Lasso hebben we Ridge-regressie die dezelfde straf gebruikt

waarbij de absolute waarden worden vervangen door het kwadraat van de coëfficiënten. Dit heeft tot gevolg dat de coëfficiënten naar nul dalen, net als bij een Lasso-straf. Ridge-regressie vermindert de multicollineariteit door de coëfficiënten naar nul te verlagen zonder ze op exact nul te zetten. Hoewel het betrekking heeft op multicollineariteit, biedt het niet per definitie variabele selectie.

Als we deze twee straffen bij elkaar optellen, krijgen we de Elastic Net-straf als

waarbij de parameter αα wordt gebruikt om het mengsel tussen Lasso- en Ridge-regressie te bepalen. Dankzij deze combinatie kan Elastic Net multicollineariteit zoals Ridge aan en stimuleert het tegelijkertijd schaarste zoals Lasso. Het zorgt voor een evenwicht tussen de selectie van variabelen en het behouden van gecorreleerde voorspellers.

Samenvattend heeft Elastic Net de voorkeur boven Lasso- of Ridge-regressie als het gaat om hoogdimensionale datasets die gecorreleerde variabelen bevatten. Het zorgt voor een evenwicht tussen variabele selectie en multicollineariteitsbeperking, waardoor het een veelzijdige keuze is voor scenario's waarin beide zorgen relevant zijn. De keuze hangt echter uiteindelijk af van de specifieke kenmerken van de gegevens.