Randbasierte Klassifizierung ist in der Welt des maschinellen Lernens und der Statistik für Klassifikationsaufgaben weit verbreitet. Unter den zahlreichen Klassifikatoren gibt es harte Klassifikatoren und weiche Klassifikatoren. Weiche Klassifikatoren schätzen explizit die bedingte Klassenwahrscheinlichkeit und führen anschliessend eine Klassifizierung basierend auf dieser Schätzung durch. Harte Klassifikatoren hingegen fokussieren direkt auf die Entscheidungsgrenze für die Klassifizierung, ohne Wahrscheinlichkeitsschätzungen zu generieren. Diese beiden Kategorien von Klassifikatoren basieren auf unterschiedlichen Ansätzen und jede bietet spezifische Vorteile.
Klassifizierung ist ein äusserst wertvolles statistisches Instrument zur Gewinnung von Erkenntnissen aus Daten. Als überwachte Lernmethode besteht das Ziel der Klassifizierung darin, ein Klassifikationsmodell auf Basis eines Trainingsdatensatzes zu entwickeln, der sowohl erklärende Variablen als auch Klassenlabels enthält. Dieses Modell kann dann verwendet werden, um die Klasse neuer Objekte anhand ihrer erklärenden Variablen vorherzusagen.
Es existiert eine umfassende Literatur zu diversen Klassifizierungsmethoden, von etablierten Ansätzen wie Fishers linearer Diskriminanzanalyse (LDA) und logistischer Regression bis hin zu modernen Machine-Learning-Techniken wie Support Vector Machines (SVM) und Boosting. Innerhalb dieser Methoden lassen sich zwei Hauptkategorien unterscheiden: weiche und harte Klassifizierung. Die Konzepte von weicher und harter Klassifizierung ähneln den Definitionen nach Wahba (1998) und Wahba (2002). Im Detail schätzt ein weicher Klassifikator typischerweise explizit die bedingte Klassenwahrscheinlichkeit und trifft anschliessend eine Klassenzuweisung basierend auf der höchsten geschätzten Wahrscheinlichkeit. Im Gegensatz dazu verzichtet die harte Klassifizierung auf die Schätzung der Klassenwahrscheinlichkeit und fokussiert direkt auf die Bestimmung der Entscheidungsgrenze. Zu den typischen weichen Klassifikatoren zählen distributionbasierte Methoden wie LDA und logistische Regression. Randbasierte Methoden wie SVM, die in der Regel ohne Verteilungsannahmen auskommen, gehören hingegen zur Kategorie der harten Klassifikatoren.
Bei einer spezifischen Klassifizierungsaufgabe stellt sich unweigerlich die Frage nach dem geeigneten Klassifikatortyp. Trotz der Vielzahl verfügbarer Klassifikatoren gibt es keine Universallösung, die für alle Probleme optimal ist. Die Wahl des Klassifikators hängt massgeblich von der Beschaffenheit des Datensatzes und dem primären Lernziel ab. Wahba (2002) lieferte wertvolle Einsichten in den Vergleich zwischen weicher und harter Klassifizierung. Insbesondere demonstrierte sie, dass sowohl penalisierten logistischen Regression (PLR) als auch SVM in Optimierungsprobleme im Reproduzierenden-Kernel-Hilbert-Raum (RKHS) eingebettet werden können. Dennoch bleibt die Entscheidung zwischen PLR und SVM für viele praktische Anwendungen komplex. Jüngste Fortschritte in der statistischen Analyse hochdimensionaler Daten (High-Dimensional Data Analysis) werfen zusätzliches Licht auf diese Problematik. Angesichts der wachsenden Verfügbarkeit hochdimensionaler Daten mit geringer Stichprobengrösse (HDLSS) werden effiziente statistische Verfahren zur Analyse von HDLSS-Daten immer wichtiger. Traditionelle Methoden wie LDA sind in Situationen, in denen die Dimension die Stichprobengrösse übersteigt, nicht direkt anwendbar. Hier sind Transformationen oder Dimensionsreduktionsverfahren erforderlich, um LDA nutzen zu können. Randbasierte Methoden wie SVM bieten einen fundamental anderen Ansatz als wahrscheinlichkeitsbasierte Methoden. SVM beispielsweise verzichtet auf Verteilungsannahmen und konzentriert sich ausschliesslich auf die Entscheidungsgrenze. SVM hat sich als effektives Werkzeug für HDLSS-Daten erwiesen und in zahlreichen Anwendungsbereichen beachtliche Erfolge erzielt. Marron et al. (2007) wiesen kürzlich darauf hin, dass SVM in HDLSS-Kontexten aufgrund der nicht-differenzierbaren Hinge-Loss-Funktion das Phänomen der «Datenkonzentration» aufweisen kann. Konkret bedeutet dies, dass bei der Projektion von Trainingsdaten auf den Normalenvektor der trennenden Hyperebene linearer SVM in hochdimensionalen Problemen viele Projektionen identisch sind. Als Alternative schlugen sie die Distance Weighted Discrimination (DWD) vor, eine SVM-Variante, die dieses Problem der Datenkonzentration vermeidet.
Von den beiden Klassifikatortypen bietet die weiche Klassifizierung mehr Informationen als die harte Klassifizierung und ist daher in bestimmten Situationen, in denen probabilistische Informationen von Vorteil sind, wünschenswert. Wenn jedoch die Klassenwahrscheinlichkeitsfunktion in komplexen Szenarien schwer zu modellieren ist, kann die harte Klassifizierung präzisere Ergebnisse liefern, indem sie sich direkt auf die Entscheidungsgrenze konzentriert. Die Wahl zwischen einem harten und einem weichen Klassifikator ist in der Praxis oft schwierig, und idealerweise sollten beide Ansätze kombiniert werden, da jeder seine spezifischen Vorzüge hat.
Weiche Klassifikatoren zeigen tendenziell bessere Leistungen, wenn die zugrunde liegende bedingte Klassenwahrscheinlichkeitsfunktion relativ gleichmässig verläuft oder wenn das Klassensignal eher schwach ist. Harte Klassifikatoren hingegen sind oft vorteilhafter, wenn die bedingte Klassenwahrscheinlichkeitsfunktion unregelmässiger ist, wenn die Klassen gut separierbar sind, also ein starkes Klassensignal vorliegt, oder wenn die Dimensionalität im Verhältnis zur Stichprobengrösse hoch ist.