Re-Paper

The no-free-lunch theorems of supervised learning

Autor(en)
Tom F. Sterkenburg, Peter D. Grünwald
Tags
Daten Tag entfernen Bias Tag hinzufügen KI-Theorie Tag hinzufügen
Artikeldetails
Intro verfasst von
Solveig Klepper
Intro

„There ain’t no such thing as a free lunch“, zu deutsch: „Es gibt nichts umsonst.“ Diese Aussage gilt auch für maschinelles Lernen. David Wolpert und William G. Macready formalisierten diese Aussage zwischen 1992 und 1996 in Form der „No-Free-Lunch“-Theoreme. Eine häufige Interpretation der Theoreme ist, dass maschinelles Lernen unmöglich ist und alle Lernalgorithmen gleich schlecht sind. Sterkenburg und Grünwald beleuchten Kritik, Erweiterungen und Interpretationen der Theoreme und argumentieren, dass modernes maschinelles Lernen und dessen theoretische Grundlagen nicht im Widerspruch zu den „No-Free-Lunch“-Theoremen stehen. 

Bei te.ma veröffentlicht
Apr 14, 2023

Veröffentlichungsdatum
Jun 04, 2020
Quelle
Synthese
Band
199
Nummer
3
DOI des Papers
https://doi.org/10.1007/s11229-021-03233-1

‘tag:daten’ hat 16 Treffer:

In Artikelintro

weißt, wie der Kaffee die letzten Tage geschmeckt hat, versuchst du auf diesen Erfahrungen beruhend

nichts anderes: Sie lernen auf Basis von Daten (Erfahrungen) Vorhersagen zu treffen. Aber geht

dass unter der Annahme, dass alle möglichen Daten gleich wahrscheinlich sind, kein Lernalgorithmus bessere Vorhersagen

müssen Annahmen über die Struktur der zugrundeliegenden Daten getroffen werden. In unserer Realität treffen

Erst unter bestimmten Annahmen über unsere Daten kann ein Lernalgorithmus überhaupt etwas lernen. Damit

besser?“ wird zu „Welche Annahmen beschreiben unsere Daten besser?“. Theoretisch betrachtet gibt es auf diese

Struktur unserer Daten können wir nicht wissen, welche der beiden Funktionen die Daten besser beschreibt

diesem Minimalbeispiel annehmen, dass unsere Daten einen linearen Zusammenhang haben, also einer Geraden folgen, dann

treffen. Ob die Annahme einer Geraden unsere Daten am besten beschreibt, können wir jedoch nicht

keine (richtigen) Annahmen über unsere Daten treffen können. Nach Sterkenburg und Grünwald sind

modernen maschinellen Lernen sind nicht nur die Daten relevant, sondern auch das Modell

Modelle treffen implizit immer Annahmen über unsere Daten – eine lineare Funktion kann zum Beispiel

Funktionen beschränken, gibt es Geraden, die unsere Daten besser beschreiben als andere. Die Tatsache, dass

unsere Daten besser?“ wird zu „Welches Modell beschreibt implizit die Struktur unserer Daten besser

Meistens wissen wir nicht, welche Struktur unsere Daten haben. Zudem sind Modelle für maschinelles Lernen

Beispiel, ein solches Modell für die meisten Tage das richtige Ergebnis liefert, könnte es morgen