In diesem Papier haben Forscher fünf Eigenschaften definiert, die Merkmale für Personen, die maschinelle Lernsysteme und Modelle der künstlichen Intelligenz verwenden, interpretierbar machen. Dazu gehören Laien, Experten, Praktiker des maschinellen Lernens und von maschinellen Lernmodellen betroffene Benutzer. Anschließend bieten sie Anleitungen zur Umwandlung von Merkmalen an, um sie für ein breites Spektrum von Benutzern interpretierbar zu machen. Sie hoffen, dass ihre Arbeit die Modellentwickler dazu anregt, von Anfang an interpretierbare Merkmale zu verwenden.
Interpretierbarkeit
Interpretierbarkeit bezieht sich auf die Eigenschaft, verstehen zu können, was ein Modell oder System des maschinellen Lernens tut. Ein maschinelles Lernsystem oder -modell trifft Entscheidungen auf der Grundlage der Daten, die es erhält. Daher kann es schwierig sein, kausale Beziehungen zwischen Variablen zu verstehen. Ein maschinelles Lernsystem kann zum Beispiel Korrelationen erkennen, aber es kann Ihnen nicht sagen, was diese Korrelationen verursacht hat.
Die Interpretierbarkeit von Modellen und Systemen des maschinellen Lernens ist ein wichtiger Aspekt, der bei der Entwicklung von Algorithmen und Modellen berücksichtigt werden muss. Diese Systeme müssen transparent, fair und nachvollziehbar sein. Wenn ein maschinelles Lernsystem oder -modell nicht interpretierbar ist, kann es voreingenommen sein und zu unbeabsichtigten und schädlichen Ergebnissen führen. Um die Interpretierbarkeit von Modellen und Systemen des maschinellen Lernens zu gewährleisten, ist es wichtig, sie als Systeme und nicht als separate Einheiten zu konzipieren.
Die Interpretierbarkeit kann auf verschiedene Weise erreicht werden. Eine Möglichkeit ist die Verwendung der schichtweisen Relevanzausbreitung. Mit dieser Technik werden die Eingangsmerkmale identifiziert, die am meisten zur Ausgabe eines neuronalen Netzes beitragen. Diese Technik kann auch zur Interpretation eines Deep-Learning-Modells verwendet werden. Dazu müssen Einschränkungen definiert werden, die eine Reihe verschiedener Relevanzfortpflanzungsfunktionen festlegen. Ein dritter Weg zur Verbesserung der Interpretierbarkeit von Modellen des maschinellen Lernens führt über die Untersuchung der Generalisierung.
Wenn Menschen ein maschinelles Lernmodell oder -system verstehen können, können sie seinen Ergebnissen vertrauen. Die Interpretierbarkeit eines Modells oder Systems hängt von seinem Input und Output ab. Ein lineares Modell ist zum Beispiel leicht zu verstehen, weil seine Ausgabe eine gewichtete Summe der Eingangsmerkmale ist. Wenn jedoch ein Merkmal schwer zu interpretieren ist, ist ein interpretierbares Modell nutzlos.
Anfechtbarkeit
Das Konzept der Anfechtbarkeit der algorithmischen Entscheidungsfindung wird häufig qualitativ konzipiert. Das Konzept der Anfechtbarkeit algorithmischer Entscheidungsfindung wird auch häufig verwendet, um das Potenzial eines bestimmten maschinellen Lernmodells oder -systems zu beschreiben, das als Alternative zu einem bestehenden Algorithmus verwendet werden kann. Eine Stellungnahme ist ein umfassender Überblick über die Perspektiven der verschiedenen Interessengruppen, einschließlich des öffentlichen und privaten Sektors, Forschungsinstitute und Universitäten, Industrieverbände und Einzelpersonen. Die Beiträge in diesem Bericht spiegeln eine Vielzahl von Perspektiven wider, darunter die von australischen und internationalen Einrichtungen sowie von Einrichtungen, die in Zukunft wahrscheinlich Anfechtungsverfahren einführen werden.
Die Anfechtbarkeit ist eine Möglichkeit, algorithmische Systeme zu verbessern und eine verantwortungsvolle Nutzung zu fördern. Sie ermutigt zur Interaktion zwischen Experten und Algorithmen und fördert eine Kultur der gemeinsamen Verantwortung. Sie kann auch als eine Form der Governance betrachtet werden. Mit anderen Worten: Es ist wichtig sicherzustellen, dass algorithmische Entscheidungen mit den Ansichten derjenigen übereinstimmen, die von ihnen betroffen sind.
Das Konzept der Anfechtbarkeit algorithmischer Entscheidungen wird zunehmend anerkannt, doch gibt es derzeit nur wenige Leitlinien zur Gewährleistung der Anfechtbarkeit von Algorithmen. Da die ethischen Grundsätze von KI-Systemen oft vage sind, ist es schwierig, die Anforderungen zu definieren, die ein Algorithmus erfüllen sollte. Nichtsdestotrotz enthält das australische AI Ethics Framework die Anfechtbarkeit als ein zentrales ethisches Prinzip.
Obwohl die Anfechtbarkeit ein wichtiger ethischer Grundsatz sein kann, ist die Debatte über ihre wahre Natur noch lange nicht entschieden. Während einige Beiträge sie als Selbstzweck betrachten, sehen andere sie als eine wichtige Dimension anderer ethischer Prinzipien. Unabhängig davon, wie man sie betrachtet, gehen die Auswirkungen der Anfechtbarkeit weit über die Anfechtbarkeit als Mittel zum Zweck hinaus.
Schichtenweise Relevanzfortpflanzung
Die schichtenweise Relevanzfortpflanzung ist eine der wichtigsten Methoden des erklärbaren maschinellen Lernens und wurde auf eine Vielzahl von KI-Modellen angewandt, darunter tiefe neuronale Netze und Kernelmaschinen. Diese Methode basiert auf dem Prinzip der Relevanzerhaltung und nutzt die Struktur des Modells, um die Vorhersage zu zerlegen.
Die schichtweise Relevanzfortpflanzung wird häufig in faltigen neuronalen Netzen verwendet, um die vom Netz getroffenen Entscheidungen zu visualisieren. Dabei wird eine Heatmap des Eingaberaums erstellt, die den Beitrag jedes Voxels zur Klassifizierung anzeigt. Auf diese Weise kann die Qualität der Erklärung bestimmt werden, indem die Variation der Vorhersageergebnisse nach der Störung der wichtigsten Eingangsvariablen untersucht wird.
Das Zusammenspiel zwischen maschinell erzeugten und wissensbasierten Erklärungen wird mit diesem Ansatz viel deutlicher. Die schichtweise Relevanzfortpflanzung in maschinellen Lernsystemen hat viele Vorteile gegenüber der CNN-Methode, darunter eine leicht erkennbare Erklärung und eine bessere Korrelation mit wissensbasierten Erklärungen. Sie kann auch den atomaren Einfluss bei Protein-Ligand-Interaktionen besser identifizieren.
Da LRP ein konservatives Verfahren ist, bleibt die Größe der Ausgabe y durch den Backpropagation-Prozess erhalten. Infolgedessen wird die Relevanz eines Neurons j durch den Einfluss seiner Ausgabe auf alle Neuronen in der darüber liegenden Schicht bestimmt.
Die schichtweise Relevanzausbreitung ist bei der Krankheitsdiagnose nützlich. Diese Methode ermöglicht es medizinischen Experten, die wichtigsten Faktoren einer bestimmten Krankheit zu identifizieren und eine bessere Entscheidung zu treffen. Sie ermöglicht auch eine anschaulichere Erklärung der klinischen Diagnose. Sie macht es einfacher zu verstehen, wie die in einem bestimmten Datensatz vorhandenen Informationen zu nutzen sind.
Die Konstruktion erklärungsfähiger Deep-Learning-Modelle stellt eine große Herausforderung dar und ist ein aktives Forschungsgebiet. Die schichtweise Relevanzfortpflanzung versucht, dieses Problem zu lösen, indem sie Klassifizierungsentscheidungen in kleinere Schritte zerlegt. Darüber hinaus wird die endgültige Vorhersageausgabe rückwärts durch das Netzwerk verteilt, wobei jeder Eingabevariablen relevante Werte zugewiesen werden.
LRP ist nützlich für die Diagnose und Erkennung von Krankheiten und kann auch zur Erstellung von Vorhersagemodellen für verschiedene Zustände verwendet werden. Mit dieser Methode können Forscher Biomarker in bestimmten Bereichen finden. Dies kann zur Entwicklung neuer Medikamente und einer verbesserten Diagnose führen. So kann ein Modell beispielsweise ein krankheitsbedingtes Symptom erkennen, indem es Hochrisikoregionen identifiziert.
Ähnliche Themen
