TensorFlow

Open-Source-Framework von Google für maschinelles Lernen und neuronale Netze. Seit Version 2 ist die einfache Keras-Schnittstelle fest integriert, Berechnungen laufen standardmässig sofort (Eager Execution), und ein ganzes Ökosystem deckt Training, Speicherung und Einsatz bis aufs Handy ab.

Merkmale

Laut Quelle - Neuronale Netze programmieren mit Python (S. 67, 485–495):

• Datenflussgraph: Rechenoperationen sind Knoten, Daten (Tensoren) fliessen über die Kanten. Daran sieht TensorFlow, was sich parallel auf CPU, GPU oder TPU rechnen lässt. Gerechnet wird in C++.
• Tensor: Zahl (Stufe 0), Vektor (Stufe 1), Matrix (Stufe 2) und höherstufige Felder (S. 456).
• Eager Execution (Standard seit Version 2): Ausdrücke werden sofort ausgewertet. In Version 1 musste man erst einen Graphen bauen und ihn dann in einer Session ausführen. @tf.function wandelt eine Python-Funktion bei Bedarf wieder in einen Graphen um (S. 424, 488–489).
• Ökosystem: tf.data (Daten), Keras (Modelle), Distribution Strategy (mehrere GPUs, z.B. MirroredStrategy), TensorBoard (Trainingsverlauf ansehen), SavedModel und TensorFlow Hub (Modelle speichern und teilen), TensorFlow Serving (Cloud), TensorFlow Lite (Handys, Raspberry Pi) und TensorFlow.js (Browser). Auf mobilen Geräten wird nur ausgewertet, nicht trainiert (S. 485–492).
• TPU: Googles eigener Chip speziell für maschinelles Lernen (S. 44, 487).

Keras

Eine Bibliothek von François Chollet, ursprünglich als einheitliche Oberfläche für mehrere Backends (Theano, CNTK, MXNet, TensorFlow). Seit TensorFlow 2 als tensorflow.keras fest integriert (S. 67, 235, 492). Drei Arten, Modelle zu bauen:

• Sequential API: Schichten nacheinander mit model.add(...), für die meisten Beispiele im Buch ausreichend.
• Functional API: Schichten als Funktionen verketten, erlaubt Verzweigungen, mehrere Ein- und Ausgänge und Zugriff auf Zwischenschichten.
• Model Subclassing: volle Kontrolle, eher für die Forschung.

Typischer Ablauf: Modell bauen, model.compile(loss=…, optimizer=…, metrics=…), model.fit(...) mit Epochen und Batchgrösse, model.evaluate(...), model.save(...) (S. 239–248). Vortrainierte Netze wie Inception-v3 oder ResNet50 stehen unter tensorflow.keras.applications bereit (siehe Faltungsnetz, ImageNet).

Verwandt

• PyTorch – das andere grosse Framework
• Faltungsnetz – mit Keras gebaute CNN
• Hugging Face – vortrainierte Modelle, die auch mit TensorFlow laufen
• Künstliches neuronales Netz – was TensorFlow baut und trainiert
• Backpropagation – wird automatisch berechnet (GradientTape)