Effiziente Technik verbessert die Maschine

Bilder zum Herunterladen auf der Website des MIT News-Büros werden nichtkommerziellen Unternehmen, der Presse und der Öffentlichkeit unter einer Creative Commons-Lizenz „Namensnennung, nicht kommerziell, keine Bearbeitung“ zur Verfügung gestellt. Sie dürfen die bereitgestellten Bilder nicht verändern, außer sie auf die richtige Größe zuzuschneiden. Bei der Reproduktion von Bildern muss eine Kreditlinie in Anspruch genommen werden; Wenn dies unten nicht angegeben ist, nennen Sie die Bilder „MIT“.

Vorheriges Bild Nächstes Bild

Leistungsstarke Modelle für maschinelles Lernen werden eingesetzt, um Menschen bei der Bewältigung schwieriger Probleme wie der Identifizierung von Krankheiten in medizinischen Bildern oder der Erkennung von Straßenhindernissen für autonome Fahrzeuge zu helfen. Aber Modelle für maschinelles Lernen können Fehler machen. Daher ist es in Umgebungen mit hohem Risiko von entscheidender Bedeutung, dass Menschen wissen, wann sie den Vorhersagen eines Modells vertrauen können.

Die Unsicherheitsquantifizierung ist ein Werkzeug, das die Zuverlässigkeit eines Modells verbessert. Das Modell erzeugt zusammen mit der Vorhersage eine Bewertung, die ein Konfidenzniveau dafür ausdrückt, dass die Vorhersage korrekt ist. Während die Quantifizierung der Unsicherheit nützlich sein kann, erfordern bestehende Methoden in der Regel eine Neuschulung des gesamten Modells, um ihm diese Fähigkeit zu verleihen. Beim Training werden einem Modell Millionen von Beispielen gezeigt, damit es eine Aufgabe erlernen kann. Für die Umschulung sind dann Millionen neuer Dateneingaben erforderlich, die teuer und schwer zu beschaffen sein können und außerdem enorme Mengen an Rechenressourcen in Anspruch nehmen.

Forscher am MIT und am MIT-IBM Watson AI Lab haben nun eine Technik entwickelt, die es einem Modell ermöglicht, eine effektivere Unsicherheitsquantifizierung durchzuführen und dabei weitaus weniger Rechenressourcen als andere Methoden und keine zusätzlichen Daten zu verbrauchen. Ihre Technik, bei der ein Benutzer kein Modell neu trainieren oder ändern muss, ist für viele Anwendungen flexibel genug.

Die Technik beinhaltet die Erstellung eines einfacheren Begleitmodells, das das ursprüngliche Modell des maschinellen Lernens bei der Schätzung der Unsicherheit unterstützt. Dieses kleinere Modell soll verschiedene Arten von Unsicherheit identifizieren, was Forschern dabei helfen kann, die Grundursache ungenauer Vorhersagen genauer zu ermitteln.

„Die Quantifizierung der Unsicherheit ist sowohl für Entwickler als auch für Benutzer von Modellen für maschinelles Lernen von entscheidender Bedeutung. Entwickler können Unsicherheitsmessungen nutzen, um bei der Entwicklung robusterer Modelle zu helfen, während sie für Benutzer eine weitere Ebene des Vertrauens und der Zuverlässigkeit bei der Bereitstellung von Modellen in der realen Welt hinzufügen kann. Unser.“ „Die Arbeit führt zu einer flexibleren und praktischeren Lösung für die Unsicherheitsquantifizierung“, sagt Maohao Shen, ein Doktorand der Elektrotechnik und Informatik und Hauptautor einer Arbeit über diese Technik.

Shen schrieb die Arbeit zusammen mit Yuheng Bu, einem ehemaligen Postdoc am Research Laboratory of Electronics (RLE), der jetzt Assistenzprofessor an der University of Florida ist; Prasanna Sattigeri, Soumya Ghosh und Subhro Das, Forschungsmitarbeiter am MIT-IBM Watson AI Lab; und der leitende Autor Gregory Wornell, der Sumitomo-Professor für Ingenieurwissenschaften, der das Signals, Information, and Algorithms Laboratory RLE leitet und Mitglied des MIT-IBM Watson AI Lab ist. Die Forschung wird auf der AAAI Conference on Artificial Intelligence vorgestellt.

Unsicherheit quantifizieren

Bei der Unsicherheitsquantifizierung generiert ein maschinelles Lernmodell mit jeder Ausgabe eine numerische Bewertung, um sein Vertrauen in die Genauigkeit dieser Vorhersage widerzuspiegeln. Die Einbeziehung der Unsicherheitsquantifizierung durch die Erstellung eines neuen Modells von Grund auf oder die Umschulung eines vorhandenen Modells erfordert in der Regel große Datenmengen und teure Berechnungen, was oft unpraktisch ist. Darüber hinaus haben bestehende Methoden manchmal die unbeabsichtigte Folge, dass sich die Qualität der Modellvorhersagen verschlechtert.

Die Forscher des MIT und des MIT-IBM Watson AI Lab haben sich daher auf das folgende Problem konzentriert: Wie können sie ein vorab trainiertes Modell in die Lage versetzen, eine effektive Unsicherheitsquantifizierung durchzuführen?

Sie lösen dieses Problem, indem sie ein kleineres und einfacheres Modell, ein sogenanntes Metamodell, erstellen, das an das größere, vorab trainierte Modell angehängt wird und die Funktionen nutzt, die das größere Modell bereits gelernt hat, um es bei der Durchführung von Unsicherheitsquantifizierungsbewertungen zu unterstützen.

„Das Metamodell kann auf jedes vorab trainierte Modell angewendet werden. Es ist besser, Zugriff auf die Interna des Modells zu haben, da wir viel mehr Informationen über das Basismodell erhalten können, aber es funktioniert auch, wenn man nur eine endgültige Ausgabe hat.“ „Ich kann immer noch einen Konfidenzwert vorhersagen“, sagt Sattigeri.

Sie entwerfen das Metamodell, um die Unsicherheitsquantifizierungsausgabe mithilfe einer Technik zu erzeugen, die beide Arten von Unsicherheit umfasst: Datenunsicherheit und Modellunsicherheit. Datenunsicherheit wird durch beschädigte Daten oder ungenaue Beschriftungen verursacht und kann nur durch Korrigieren des Datensatzes oder Sammeln neuer Daten verringert werden. Aufgrund der Modellunsicherheit ist sich das Modell nicht sicher, wie es die neu beobachteten Daten erklären soll, und macht möglicherweise falsche Vorhersagen, was höchstwahrscheinlich darauf zurückzuführen ist, dass es nicht genügend ähnliche Trainingsbeispiele gesehen hat. Dieses Problem ist ein besonders herausforderndes, aber häufiges Problem bei der Bereitstellung von Modellen. In realen Umgebungen stoßen sie häufig auf Daten, die sich vom Trainingsdatensatz unterscheiden.

„Hat sich die Zuverlässigkeit Ihrer Entscheidungen geändert, wenn Sie das Modell in einer neuen Umgebung verwenden? Sie möchten eine Möglichkeit haben, sicher zu sein, ob es in diesem neuen Regime funktioniert oder ob Sie Trainingsdaten für diese bestimmte neue Umgebung sammeln müssen“, sagt Wornell sagt.

Validierung der Quantifizierung

Sobald ein Modell einen Unsicherheitsquantifizierungswert erzeugt, benötigt der Benutzer immer noch eine gewisse Sicherheit, dass der Wert selbst korrekt ist. Forscher validieren die Genauigkeit oft, indem sie einen kleineren Datensatz erstellen, der aus den ursprünglichen Trainingsdaten besteht, und das Modell dann anhand der zurückgehaltenen Daten testen. Allerdings funktioniere diese Technik bei der Messung der Unsicherheitsquantifizierung nicht gut, da das Modell eine gute Vorhersagegenauigkeit erreichen könne, während es dennoch zu sicher sei, sagt Shen.

Sie entwickelten eine neue Validierungstechnik, indem sie Rauschen zu den Daten im Validierungssatz hinzufügten – diese verrauschten Daten ähneln eher Daten außerhalb der Verteilung, die zu Modellunsicherheiten führen können. Die Forscher verwenden diesen verrauschten Datensatz, um Unsicherheitsquantifizierungen auszuwerten.

Sie testeten ihren Ansatz, indem sie sahen, wie gut ein Metamodell verschiedene Arten von Unsicherheit für verschiedene nachgelagerte Aufgaben erfassen kann, einschließlich der Erkennung von Verteilungsfehlern und Fehlklassifizierungen. Ihre Methode übertraf nicht nur alle Basislinien in jeder nachgelagerten Aufgabe, sondern erforderte auch weniger Schulungszeit, um diese Ergebnisse zu erzielen.

Diese Technik könnte Forschern dabei helfen, mehr Modelle für maschinelles Lernen in die Lage zu versetzen, die Unsicherheitsquantifizierung effektiv durchzuführen, und letztendlich Benutzern dabei zu helfen, bessere Entscheidungen darüber zu treffen, wann sie Vorhersagen vertrauen sollten.

In Zukunft wollen die Forscher ihre Technik an neuere Modellklassen anpassen, etwa an große Sprachmodelle, die eine andere Struktur als ein traditionelles neuronales Netzwerk haben, sagt Shen.

Die Arbeit wurde teilweise vom MIT-IBM Watson AI Lab und der US National Science Foundation finanziert.

Vorheriger Artikel Nächster Artikel