Mustererkennung

Automatische Zuordnung von Mustern (Merkmalsvektoren oder strukturellen Beschreibungen) zu Klassen, mit deterministischen, statistischen oder lernenden Klassifikatoren bis hin zu künstlichen neuronalen Netzen.

Grundbegriffe

• Muster: ein aussagewichtiger Bildteil, quantitativ als Merkmalsvektor oder strukturell (z.B. als Zeichenkette oder Baum) beschrieben. Deskriptoren sind die einzelnen Merkmale → Merkmalsextraktion.
• Klasse: Teilmenge zusammengehöriger Objekte. Ihre Vektoren bilden einen Cluster im Merkmalsraum.
• Klassifikator: Algorithmus, der einen Merkmalsvektor einer Klasse zuordnet. Mögliche Ausgänge: Erkennung, Fehlklassifikation, Rückweisung.
• Stichprobe: klassifiziert (für überwachtes Lernen) oder unklassifiziert (für unüberwachtes Lernen) (Quelle - Bildverarbeitung Zusammenfassung).

Merkmalsauswahl

Ein gutes Merkmal hat eine grosse Differenz der Klassenmittelwerte bei kleiner Streuung. Oft trennen Merkmale erst gemeinsam. Beispiel aus der Quelle: Kartoffeln und Steine lassen sich weder nach Volumen noch nach Gewicht allein trennen, im 2D-Raum aus Volumen und Gewicht aber schon (Dichte).

Klassifikationsverfahren

• Deterministisch: Cluster sind durch Trennfunktionen (Hyperflächen) sauber trennbar, die Klassen also separierbar. In der Praxis ist das selten, weil Muster gestört oder Merkmale unzureichend sind.
• Minimum-Distance: Abstand zum Klassenprototyp. Bei zwei Klassen ist die Trennlinie die Mittelsenkrechte.
• Nächster Nachbar: kleinster Abstand zu irgendeinem Prototyp, ergibt stückweise lineare Trennflächen.
• Statistisch:
  • Bayes-Klassifikator: minimiert die erwarteten Kosten einer Fehlklassifikation (Kostenfunktion) und ist in diesem Sinn optimal.
  • Maximum Likelihood: berücksichtigt die Form und Ausdehnung der Cluster, nicht nur deren Zentren.
• Clusteranalyse (unüberwacht): Gruppen ähnlicher Muster finden (class discovery). Hierarchisch dargestellt als Dendrogramm, z.B. mit der Minimum-Methode (die nächsten Cluster werden verschmolzen).
• Syntaktisch / symbolisch → Wissensbasierte Bildanalyse

Künstliche neuronale Netze (KNN)

Das Vorbild ist das Gehirn, stark vereinfacht: viele einfache, parallel arbeitende, stark vernetzte Elemente. Sie werden nicht programmiert, sondern trainiert (Quelle - Bildverarbeitung Zusammenfassung).

• Neuron: gewichtete Eingänge → Erregung net = Σ wₖ·eₖ → Aktivierungsfunktion (Sprung, Schwelle, Sigmoid) → Ausgabe.
• Zweischichtige Netze: nur Ein- und Ausgabeschicht.
• Backpropagation-Netze: mehrschichtig, feedforward, mit verborgenen Schichten und einer ableitbaren (sigmoiden) Aktivierung. Der Algorithmus in drei Schritten: (1) Muster vorwärts propagieren, (2) Fehler an der Ausgabe berechnen (Delta-Regel), (3) Gewichte rückwärts Schicht für Schicht anpassen (Gradientenabstieg).

Ausführlich mit Rechenbeispielen und einem eigenen Netz für handgeschriebene Ziffern: Künstliches neuronales Netz, Backpropagation, Gradientenverfahren und Aktivierungsfunktion (Quelle - Neuronale Netze selbst programmieren). Das Einzelneuron mit Schwelle und Delta-Regel steht in Perzeptron.

Nächster Nachbar heute: Quelle - Neuronale Netze programmieren mit Python programmiert im Python-Anhang einen k-nächste-Nachbarn-Klassifikator: die Klasse, die unter den k nächsten bekannten Punkten am häufigsten vorkommt. Mit k = 3 und k = 5 ergeben sich für denselben Punkt verschiedene Klassen (S. 460–464). Die Bewertung von Klassifikatoren mit Konfusionsmatrix und ROC-Kurve steht in Maschinelles Lernen.

Aktueller Stand (2026)

2004 galten künstliche neuronale Netze als eine Klassifikationsmethode unter vielen. Der Durchbruch kam 2012: Das tiefe Convolutional Neural Network (CNN) AlexNet gewann die ImageNet-Challenge (1,2 Millionen Bilder, 1000 Klassen) mit 15,3 % Top-5-Fehler, 10,8 Prozentpunkte vor dem nächstbesten Verfahren. Danach folgten VGG, GoogLeNet und ResNet (Quelle - Recherche - Bildverarbeitung heute 2026).

• Aufbau, Training und Beispiele der Faltungsnetze: Faltungsnetz, zum Wettbewerb ImageNet.
• CNNs lernen die Merkmale selbst (Kanten, Texturen, Objektteile), statt dass sie wie in Merkmalsextraktion von Hand bestimmt werden. Die unteren Schichten sind gelernte Faltungsfilter, vergleichbar den Bildfiltern der Quelle.
• Der Vision Transformer (ViT, Google 2020) klassifiziert ganz ohne Faltung. Er zerlegt das Bild in Patches von z.B. 16×16 Pixeln und verarbeitet sie wie Wörter als Token-Folge. Bei grossen Datenmengen ist er gleichauf mit CNNs oder besser.

Aus den Abbildungen der Quelle

• Merkmalsraum (S. 73): Ein Muster f liegt als Vektor nahe seinem Klassenprototyp, Störungen Δf verschieben ihn. Beim deterministischen Modell trennt eine Gerade g₁₂ die Cluster sauber, beim Wahrscheinlichkeitsmodell überlappen sie, und die Entscheidung folgt den Wahrscheinlichkeitsdichten P(c|f).
• Merkmalsauswahl (S. 75–77): Vier Verteilungsbeispiele zeigen, wann ein einzelnes Merkmal zwei Klassen trennt: bei grossem Mittelwertabstand und kleiner Streuung. Beispiel „Kartoffeln vs. Steine“: Volumen allein und Gewicht allein trennen nicht, beide zusammen bilden im 2D-Merkmalsraum getrennte Cluster. Die Projektion auf eine geeignete Richtung C_D trennt sie.
• Überwacht vs. unüberwacht (S. 78): Bei überwachtem Lernen werden aus einer Stichprobe Musterklassen gebildet und damit neue Bilder segmentiert. Bei unüberwachtem Lernen zeigen vier Beispiele, wie schwierig Cluster zu finden sind (verschachtelte, gebogene, sich durchdringende Cluster).
• Minimum-Distance-Klassifikator (S. 79): Die Trenngerade g_rs ist die Mittelsenkrechte zwischen den Klassenprototypen f_r und f_s.
• Hierarchische Clusteranalyse (S. 81): Dendrogramm Tiere → Hunde (gross: Bernhardiner, Labrador / klein) und Katzen (Langhaar / Kurzhaar) über fünf Ebenen.
• Künstliches Neuron (S. 83): gewichtete Eingänge wᵢ·eᵢ → Erregung net = Σ wₖ·eₖ → Aktivierungsfunktion f_act (Sprung, Schwellwert oder Sigmoid) → Ausgabefunktion f_o, meist die Identität o = act.
• Backpropagation-Netz (S. 85): Eingabeschicht (ohne Gewichte, reicht nur weiter), mindestens eine verdeckte Schicht, Ausgabeschicht, meist voll verbunden. Die Aktivierung muss ableitbar sein, darum ist sie meist sigmoid.

Verwandt

• Merkmalsextraktion – liefert die Merkmalsvektoren
• Maschinelles Lernen – Lernarten, k-NN, Konfusionsmatrix und ROC im heutigen Sprachgebrauch
• Faltungsnetz – Klassifikation mit selbst gelernten Merkmalen
• Feature Engineering – Merkmale aufbereiten und auswählen
• Wissensbasierte Bildanalyse – nutzt Klassifikation als Baustein und geht darüber hinaus
• Bildsegmentierung – vorgelagerter Schritt
• Claude – moderner Nachfahre der neuronalen Netze
• Wissensrepräsentation damals und heute – symbolische vs. lernende Verfahren
• Digitale Bildverarbeitung – Überblick und Stufenmodell
• Zugriffskontrolle – biometrische Erkennung nutzt dieselbe Kette (Merkmalsextraktion → Vergleich → Schwelle)
• Netzwerksicherheit – Signatur- und Anomalieerkennung bei Virenscannern und IDS
• Wahrscheinlichkeitsrechnung – bedingte Wahrscheinlichkeit und Satz von Bayes
• Künstliches neuronales Netz – Hauptseite zu neuronalen Netzen, mit Aufbau, Training und MNIST-Experimenten
• Linearer Klassifikator – der einfachste lernende Klassifikator und seine Grenze bei XOR