Gebruikt u deze dure
en ontoereikende voorspellingsmethoden?

Een beoordeling van bestaande prognoseprocessen

We hebben het voorspellingsproces bij een groot industrieel bedrijf beoordeeld en hun historische voorspellingsnauwkeurigheid vergeleken met de top 10 internationale voorspellingsexperts. Aan het einde van het project hadden we een statistisch model toegevoegd en waren verbaasd over het resultaat: het statistische model presteerde beter dan alle modellen. Waar kwamen de nauwkeurigheidsafwijkingen vandaan en hoe konden ze worden voorkomen?

Na gesprekken met voorspellers in de industrie en de banksector
We ontdekten dat de bedrijven die de kwalitatieve methode gebruikten, vertrouwden op individuele besluitvorming. Dit kwam als een verrassing gezien het feit dat deze methode sterk blootgesteld is aan vooroordelen bij het nemen van beslissingen, zoals de conjunctiemisvatting. Het uitvoeren van de voorspelling als onderdeel van een groepsbeslissing zou de impact van deze vooroordelen verminderen en individuele vooroordelen helpen verminderen.

Het argument om meerdere voorspellingsmethoden te gebruiken
Naast het gebruik van groepsbeslissingen, zagen we dat een andere manier om vooringenomenheid te verminderen is door meerdere voorspellingsmethoden te gebruiken, zoals tijdreeksanalyse, omdat voorspellingen elkaar kunnen bevestigen. Op basis van de lessen die we hebben opgedaan, hebben we Indicio gebouwd. Maar de bovengenoemde problemen zijn slechts een deel van het probleem. Als we uitzoomen en naar het grotere geheel kijken, zien we talloze tekortkomingen in de manier waarop prognoses tegenwoordig worden uitgevoerd.

Niet uitblinken met Excel

Wat statistische modellen en prognoses betreft, kan Excel tot nu toe slechts een statisticus krijgen.

Als u Excel gebruikt voor prognoses, wordt er indirect van uitgegaan dat spreadsheets als databases worden gebruikt; Excel die plicht vragen is een van de meest beruchte redenen voor zakelijke inefficiënties. Om toonaangevende indicatoren te identificeren, moet correlatie worden gebruikt om causale verbanden te vinden. Als je dit in Excel doet, kan er ruimte zijn voor grappige correlaties, wat de nachtmerrie van een voorspeller is.

Een grappig/onechte correlatie treedt op wanneer het statistische model een causaal verband vindt tussen twee schijnbaar losgekoppelde correlaties die niets met elkaar te maken hebben. Als gevolg hiervan is het ontvangen van grappige correlaties niets minder dan een ramp als u streeft naar een nauwkeurige voorspelling.

Voorbeelden van grappige correlaties

De impact van onvolwassenheid van data science op de nauwkeurigheid van voorspellingen

Toen organisaties ongeveer 60 jaar geleden begonnen met het verzamelen van gegevens, werden die gegevens opgeschoond en gepresenteerd in standaardrapporten die uiteindelijk werden gedigitaliseerd in wat we tegenwoordig ERP-software (Enterprise Resource Planning) en BI (Business Intelligence) noemen.

De eerste fungeert als verzamelaar van gegevens en het laatste is de analyse van de verzamelde gegevens. Wat de twee gemeen hebben, is dat ze ingebouwde voorspellingsmodellen hebben, maar die zijn alleen gebouwd om de historische ontwikkeling te beschrijven, waardoor ze minder nauwkeurig zijn. Daartegenover staat de opkomst van machine learning die voorspellende modellen mogelijk heeft gemaakt die geoptimaliseerd zijn om de toekomst te beschrijven en daardoor nauwkeuriger zijn.

Veel organisaties gebruiken tegenwoordig een soort ERP/IB-constellatie, die inzicht kan geven in gebeurtenissen uit het verleden en er zo inzichten uit kan putten om de productie en het budget dienovereenkomstig aan te passen, maar helaas dwingen het gebrek aan voorspellende maatregelen en de lage nauwkeurigheid gebruikers om inzichten te verkrijgen op basis van ontoereikende nauwkeurigheid in vergelijking met feitelijke voorspellende gegevens.

Statistische modellen programmeren in R -
het goede, het slechte en het lelijke

Het programmeren van statistische modellen in R om te voorspellen is vrij gebruikelijk. Veel bedrijven huren daarvoor een statisticus in. Het kan echter snel een kostbare en tijdrovende klus worden, aangezien alle gebruikte modellen moeten worden onderzocht en alle variabelen moeten worden getest. Het is ook niet gegarandeerd dat een statisticus dit in zijn eentje zou kunnen doen, tenzij hij kennis heeft van zowel programmeren als statistiek.

Het is ook een voordeel om een ervaren wiskundige te zijn om te begrijpen of nieuwe theorieën en modellen hiervoor nuttig zijn. Maar het is zeldzaam om iemand te vinden die zowel veel kennis heeft van veel onderwerpen als die tegelijkertijd marktfactoren begrijpt. Voor risicomijders is het verstandig om niet slechts één werknemer in dienst te hebben, aangezien het voor iemand moeilijk is om de code die door iemand anders is gemaakt volledig te begrijpen.

Een platform zoals Indicio is gebouwd met de gebruiker in gedachten — om prognoses te vereenvoudigen. De interface is gebaseerd op machine learning en stelt u in staat om moeiteloos voorspellingen te doen op basis van de nieuwste onderzoeken en geavanceerde statistische modellen uit te voeren en tegelijkertijd big data te integreren.

Het kiest de meest geschikte algoritmen voor machine learning en optimaliseert vervolgens automatisch de voorverwerking van gegevens, feature engineering en afstemmingsparameters voor elk algoritme om uiterst nauwkeurige modellen te creëren en te rangschikken. Vervolgens wordt de best gewogen set modellen aanbevolen die moet worden ingezet voor de data- en voorspellingsdoelstelling van het bedrijf.

Dus in plaats van statistische modellen te creëren die een statisticus maanden nodig zou hebben om te ontwikkelen, kan Indicio honderden modellen bouwen en binnen enkele uren het best presterende model implementeren.