Hoe kunnen machines leren?
"Leren is het inwinnen van kennis door studie door ervaring of door het ontvangen van les..."
Bij machines gaat het vaak / meestal / altijd om het gebruik van algoritmes die structurele beschrijvingen [structural descriptions] ontvangen van gegevens voorbeelden. Een computer kan iets leren van de structuur die deze informatie vertegenwoordigt in de ruwe data.
structural descriptions is niets anders dan een andere term voor de modellen wie we bouwen om de informatie die de ruwe dat bevat te containen, en die structuren of modellen kunnen gebruikt worden om onbekende data te voorspellen.
[Dat voorspellen is de essentie van AI en Deep Learning. Je hebt een tekst zoals een beginnende zin en die eindigt waarop het algorithme moet voorspellen welk woord het volgende is in die zin. Dat kan met een aantal mogelijkheden die elk een bepaalde kans hebben]
Structurele beschrijvingen kunnen een aantal vormen hebben, zoals
- beslissingsdiagram (decision trees)
- lineaire regressie
- neurale netwerk gewichten
Elk systeem gebruikt eigen regels om het onbekende te voorspellen. De eerste (BD) maken een set van regels in de vorm van een diagram structuur. Lineaire modellen creëren een set van parameters die de input data vertegenwoordigen.
Neurale netwerken gebruiken parameter vector die de gewichten van de verbindingen in de nodes [dat zijn kunstmatige neuronen] van een netwerk vertegenwoordigen.
Data Mining is een concept dat veel eenvoudiger is en de meeste mensen - zoals ik - wel bekend was. Je hebt een set aan dat b.v. van bedrijven of aandelen koersen en uit die data destilleer je informatie.
Wat is het verschil tussen Machine Learning en Data Mining? Bij DataMining gaat het om vooraf programmeren, zodat die onbekende kennis bovenkomt. Bij Machine Learning gaat het om [computers de mogelijkheid te bieden] te leren zonder expliciet (vooraf) te programmeren.
De moderne grootvaders van AI zijn Stuart Russell en Peter Norvig (van het boek, AI a modern appraoch)...
De AI neurons of nodes werken gelijksoortig aan de biologische wortels door:
- input op te nemen. deze input wordt deels of geheel doorgegeven aan andere nodes, vaak met transformaties.
- de nodes kunnen net als ons brein getrained worden om enkel informatie (signalen) door te geven die bruikbaar zijn bij/in het grotere doel van het brein.
Dan Deep Learning. De definitie van DL is aan verandering onderhevig geweest. Een definitie is die van "een neuraal netwerk met meer dan twee lagen." De evolutie heeft te maken met de ontwikkeling in: meer neuronen dan eerdere n. netwerken, meer complexe manieren van connecties van lagen en neuronen, explosie van computer kracht, automatische feature extractie [dit is specifiek een grote eigenschap die DL van ML doet onderscheiden]...
Qua architectuur zijn er verschillende vormen
- - pretrained netwerken zonder supervisie
- - convolutionele neurale netwerken
- - recurrent neurale netwerken
- - recursieve neurale netwerken
Een volgende vraag is: kunnen machines creatief zijn? [dit is voor later..]
Belangrijke vragen om een doel van kennis te ontwikkelen zijn:
- - wat is de input data waarvan we informatie willen extraheren (het model)?
- Welke soort model is het beste beschikbaar?
- welk antwoord willen we kiezen voor nieuwe data uit dit model?
De achter- of onderliggende wiskunde van ML is lineaire algebra. Vectoren spelen hierbij een centrale rol. Een groep van vectoren kan samengevoegd worden tot een Matrix. Een Tensor is een meer algemene wiskundige structuur dan een vector, waarvan een vector een subklasse is. Hyperplanes is een subruimte / onderdeel van een dimensie kleiner dan de omgevingsruimte. IN een drie-dimensionele ruimte meet een hyperplane twee dimensies. Hyperplanes verdeelt -n-dimensies in afzonderlijke onderdelen. Deze zijn daardoor handig bij / voor classificatie.
Het oplossen van lineaire vergelijkingen heeft meestal de vorm van Ax = b. A is de matrix en b de column vector voor elk label in de vector van de A matrix. Het oplossen van lineaire algebra kan op twee manieren:
- de directe methode hier zijn er een vast aantal mogelijke berekeningen. Gaussiaanse eliminatie (1) en Nomale Vergelijking (2) zijn twee verschillende vormen van oplossing sets.
- iteratieve methode. Hier worden benaderingen en condities gebruikt om de parameter van vector x te berekenen.
Bij Machine Learning is de achterliggende wiskunde: Statistiek. Kansberekening, distributies en Likelyhoods. Beschrijvende statistiek - daarvan - gaat om: histograms, boxplots, scatterplots, Mean, standaard afwijking, correlatie coëfficiënt.
Inferential statistiek gaat om generaliseren van een sample tot een gehele populatie. Dit kan met p-values of credibility intervallen.
Het grote verschil tussen beide is:
- Waarschijnlijkheid (statistiek) gaat van de populatie naar de sample (test via deductieve argumentatie). [ET: top-down?]
- Inferential Statistiek gaat van het sample naar de populatie [eigen toevoeging: bottom up]
Econometrie, Statistiek en ML versus DL
Econometrie is een gebied dat statistische methoden toepast op economische gegevens om empirische inhoud te geven aan economische relaties. Het omvat vaak regressieanalyse, hypothese testen, en andere statistische technieken om economische fenomenen te analyseren.
Bij het vergelijken van machine learning en deep learning in de context van econometrie, zijn hier enkele belangrijke punten te overwegen:
Machine learning
- **Statistische Stichtingen**: Veel machine learning algoritmes, zoals lineaire regressie, beslissingsbomen, en ondersteuning vector machines, hebben sterke statistische grondslagen. Ze zijn vaak afhankelijk van concepten uit statistieken, zoals hypothese testen, betrouwbaarheidsintervallen, en model evaluatie metrics.
- **Interpreteerbaarheid**: Machine learning modellen kunnen vaak meer interpreteerbaar zijn dan deep learning modellen. Bijvoorbeeld, lineaire regressie biedt coëfficiënten die direct kunnen worden geïnterpreteerd in termen van hun effect op de afhankelijke variabele, die belangrijk is in econometrie.
- **Feature Engineering**: Machine learning zorgt voor significante feature engineering, die vaak nodig is in econometrische analyse om de relaties in de data effectief vast te leggen.
### Deep Learning
- ** Complexiteit en Niet-lineairheid**: Deep learning modellen, zoals neurale netwerken, kunnen complexe niet-lineaire relaties in data vastleggen. Ze vereisen echter vaak grote hoeveelheden data en computational resources.
- **Minder interpretatie**: Deep learning modellen worden over het algemeen beschouwd als "zwarte dozen," waardoor het moeilijk is om de resultaten te interpreteren in de context van economische theorie of beleid.
- **Statistische Rigor**: Hoewel diep leren kan worden toegepast op econometrische problemen, kan het niet altijd vasthouden aan dezelfde statistische rigor die traditionele econometrische methoden doen. Dit kan een nadeel zijn bij het proberen om causale gevolgtrekkingen te maken.
Conclusie
Samengevat, **machine learning** is over het algemeen dichter bij econometrie dan diep leren, voornamelijk door zijn statistische grondslagen, interpreteerbaarheid en afstemming met traditionele econometrische methoden. Hoewel diep leren kan worden toegepast op econometrische problemen, ontbreekt het vaak aan de interpreteerbaarheid en statistische rigor die centraal staan bij econometrie.
Als uw doel is om statistische methoden toe te passen op economische gegevens met behoud van interpreteerbaarheid en rigor, machine learning technieken zou waarschijnlijk meer geschikt zijn. Echter, als je te maken hebt met zeer grote datasets en complexe relaties, diep leren zou de moeite waard zijn te overwegen, rekening houdend met de trade-offs in interpretability (Gpt 4o)
Reacties