Basis van machine learning
Welke beschrijving van het verschil tussen bagging (random forests en dergelijke) en boosting bij ensemble learning is juist?
- ABagging traint modellen onafhankelijk van elkaar op meerdere trainingssets die door trekken met teruglegging zijn gemaakt en combineert de resultaten door middelen of meerderheidsstemming, terwijl boosting modellen een voor een toevoegt zodat elk de fouten van de vorige compenseert
- BBagging voegt modellen een voor een toe en legt daarbij de nadruk op de gegevens die het vorige model fout had, terwijl boosting onderling onafhankelijke modellen parallel traint op gegevens die met teruglegging zijn getrokken en een meerderheidsstemming houdt
- CZowel bagging als boosting bouwt één grote beslisboom en snoeit daarna overbodige takken weg om overfitting te voorkomen
Antwoord en toelichting tonen
Antwoord: A. Bagging traint modellen onafhankelijk van elkaar op meerdere trainingssets die door trekken met teruglegging zijn gemaakt en combineert de resultaten door middelen of meerderheidsstemming, terwijl boosting modellen een voor een toevoegt zodat elk de fouten van de vorige compenseert
Bagging maakt licht verschillende trainingssets door willekeurig uit de oorspronkelijke gegevens te trekken waarbij herhalingen zijn toegestaan (bootstrapping), en combineert de voorspellingen van de vele daarop getrainde modellen door middelen of meerderheidsstemming. De modellen zijn onafhankelijk en kunnen dus parallel worden getraind; het belangrijkste effect is een kleinere variantie. Een random forest is een baggingmethode die ook de kenmerken voor het splitsen willekeurig kiest en zo de verscheidenheid van de beslisbomen vergroot. Boosting voegt na elkaar zwakke modellen toe die elk de fouten van de tot dan toe gebruikte modellen compenseren, en verlaagt vooral de bias.