PyTorch

PyTorch-Programmierung professionell! Das meistbenutzte Deep-Learning-Framework in der Praxis: Lernen Sie für spezifische Aufgaben aus realen Projektszenarien, wie Sie mit PyTorch KI-Modelle trainieren, optimieren und produktiv einsetzen. Bert Gollnick zeigt Ihnen in diesem Buch alle einschlägigen Verfahren inklusive Python-Implementierung, von linearer Regression über große Sprachmodelle bis zur Kombination mehrerer Verfahren. Die Anwendungen beinhalten Computer Vision, RAG-Systeme, Zeitreihenanalysen und vieles mehr. Sie evaluieren und deployen Ihre Modelle mit modernsten Methoden und lernen dafür Tools wie FlowML, TensorBoard und FastAPI kennen.

Profitieren Sie von vollständigen Codebeispielen, die auf handelsüblicher Hardware lauffähig sind, und entdecken Sie das Zusammenspiel mit PyTorch Lightning, HuggingFace und weiteren Tools.

• Deep Learning von der Datenaufbereitung über Training und Fineturing bis zum Deployment
• Vielfältige Architekturen wie Autoencoder, RNNs, LLMs, RAG-Systeme etc.
• Inkl. PyTorch Lightning, TensorBoard, LangChain, FastAPI u. v. m.

Aus dem Inhalt:

• Installation des Frameworks
• Deep-Learning-Grundkonzepte
• Vortrainierte Modelle verwenden
• Daten vorbereiten
• Klassifizierungsaufgaben
• Computer Vision
• Empfehlungssysteme
• Graph Neural Networks
• Große Sprachmodelle (LLMs)
• Zeitreihen-Vorhersagen
• PyTorch Lightning
• LangChain
• Cloud-Deployment mit Heroku
• FlowML, TensorBoard und WandB
• Lokaler Einsatz mit FastAPI

1. Vorwort . . . 13

1. 1 . . . An wen richtet sich dieses Buch? . . . 15

1. 2 . . . Voraussetzungen . . . 15

1. 3 . . . Die Struktur des Buches . . . 16

1. 4 . . . Wie Sie dieses Buch effektiv nutzen . . . 16

1. 5 . . . Konventionen in diesem Buch . . . 17

1. 6 . . . Der Code zum Herunterladen und weitere Materialien . . . 18

1. 7 . . . Systemeinrichtung . . . 18

1. 8 . . . Danksagung . . . 25

2. Einführung in das Deep Learning . . . 27

2. 1 . . . Was ist Deep Learning? . . . 28

2. 2 . . . Wofür kann Deep Learning verwendet werden? . . . 29

2. 3 . . . Wie funktioniert Deep Learning? . . . 33

2. 4 . . . Historische Entwicklung . . . 35

2. 5 . . . Perzeptron . . . 36

2. 6 . . . Netzwerkaufbau und -schichten . . . 37

2. 7 . . . Aktivierungsfunktionen . . . 38

2. 8 . . . Verlustfunktion . . . 41

2. 9 . . . Optimierer und Parameter-Update . . . 43

2. 10 . . . Umgang mit Tensoren . . . 45

2. 11 . . . Zusammenfassung . . . 53

3. Unser erstes PyTorch-Modell . . . 55

3. 1 . . . Datenvorbereitung . . . 56

3. 2 . . . Modell-Erstellung . . . 66

3. 3 . . . Modellklasse und Optimierer . . . 74

3. 4 . . . Batches . . . 78

3. 5 . . . Dataset und DataLoader . . . 83

3. 6 . . . Modelle speichern und laden . . . 88

3. 7 . . . Data Sampling . . . 91

3. 8 . . . Zusammenfassung . . . 100

4. Klassifizierungsmodelle . . . 103

4. 1 . . . Klassifizierungstypen . . . 104

4. 2 . . . Konfusionsmatrix . . . 105

4. 3 . . . ROC-Kurve . . . 108

4. 4 . . . Binäre Klassifizierung . . . 110

4. 5 . . . Multi-Class-Klassifizierung . . . 124

4. 6 . . . Zusammenfassung . . . 137

5. Computer-Vision . . . 139

5. 1 . . . Wie werden Bilder in Modellen behandelt? . . . 141

5. 2 . . . Netzwerkarchitekturen . . . 142

5. 3 . . . Bildklassifizierung . . . 147

5. 4 . . . Objekterkennung . . . 177

5. 5 . . . Semantische Segmentierung . . . 193

5. 6 . . . Stiltransfer . . . 204

5. 7 . . . Zusammenfassung . . . 213

6. Empfehlungssysteme . . . 215

6. 1 . . . Konzepte . . . 215

6. 2 . . . Coding: Empfehlungssystem . . . 218

6. 3 . . . Zusammenfassung . . . 236

7. Autoencoder . . . 237

7. 1 . . . Architektur . . . 238

7. 2 . . . Autoencoder-Implementierung . . . 239

7. 3 . . . Variational Autoencoder . . . 248

7. 4 . . . Coding: Variational Autoencoder . . . 249

7. 5 . . . Zusammenfassung . . . 259

8. Graph Neural Networks . . . 261

8. 1 . . . Einführung in die Graphentheorie . . . 261

8. 2 . . . Coding: Aufbau eines Graphen . . . 266

8. 3 . . . Coding: Training eines GNN . . . 271

8. 4 . . . Zusammenfassung . . . 280

9. Zeitreihen . . . 281

9. 1 . . . Modellierungsansätze . . . 281

9. 2 . . . Coding: Eigenes Modell . . . 286

9. 3 . . . Coding: Nutzung von PyTorch Forecasting . . . 301

9. 4 . . . Zusammenfassung . . . 310

10. Sprachmodelle . . . 311

10. 1 . . . Nutzung von LLMs mit Python . . . 312

10. 2 . . . Modellparameter . . . 328

10. 3 . . . Modellauswahl . . . 331

10. 4 . . . Nachrichtentypen . . . 335

10. 5 . . . Prompt-Templates . . . 336

10. 6 . . . Chains . . . 340

10. 7 . . . Strukturierte Outputs . . . 343

10. 8 . . . Deep Dive: Wie funktionieren Transformer? . . . 346

10. 9 . . . Zusammenfassung . . . 353

11. Vortrainierte Netzwerke und Finetuning . . . 355

11. 1 . . . Vortrainierte Netzwerke mit Hugging Face . . . 356

11. 2 . . . Transferlernen . . . 359

11. 3 . . . Coding: Finetuning eines Computer-Vision-Modells . . . 362

11. 4 . . . Coding: Finetuning eines Sprachmodells . . . 370

11. 5 . . . Zusammenfassung . . . 376

12. PyTorch Lightning . . . 377

12. 1 . . . Vergleich zwischen PyTorch und PyTorch Lightning . . . 378

12. 2 . . . Coding: Modelltraining . . . 379

12. 3 . . . Callbacks . . . 386

12. 4 . . . Zusammenfassung . . . 389

13. Modellevaluierung, Logging und Monitoring . . . 391

13. 1 . . . TensorBoard . . . 392

13. 2 . . . MLflow . . . 401

13. 3 . . . Weights and Biases (WandB) . . . 406

13. 4 . . . Zusammenfassung . . . 413

14. Deployment . . . 415

14. 1 . . . Deployment-Strategien . . . 415

14. 2 . . . Lokales Deployment . . . 418

14. 3 . . . Heroku . . . 424

14. 4 . . . Microsoft Azure . . . 431

14. 5 . . . Zusammenfassung . . . 440

Index . . . 443