Das eBook.de Hörbuch Abo - jederzeit, überall, für nur 7,95 € monatlich!
Jetzt entdecken
mehr erfahren
Sie wollen generative KI gewinnbringend und sicher in die Unternehmens-IT integrieren? Dann sind Sie hier richtig. Dieses Buch zeigt Ihnen, wie Sie eine komplette KI-Infrastruktur mit Open-Source-Tools aufbauen und dabei die volle Kontrolle über Ihre Daten behalten. Ingmar Stapel führt Sie durch einen kuratierten Stack für digitale Souveränität: von Ollama als KI-Motor über Open WebUI als professionelles Cockpit bis hin zu RAGFlow für komplexes Firmenwissen. Mit detaillierter TCO-Analyse, Schritt-für-Schritt-Anleitungen und Integration über MCP bauen Sie Ihre eigene KI-Infrastruktur auf - lokal, kontrolliert und EU AI Act-konform.
Aus dem Inhalt:
Inhaltsverzeichnis
Materialien zum Buch . . . 17
Geleitwort . . . 18
Herzliche Danksagung . . . 20
Vorwort . . . 21
Für wen ist dieses Buch? . . . 22
TEIL I. Verstehen . . . 25
1. Souveräne KI im Unternehmen: Die strategische Notwendigkeit . . . 27
1. 1 . . . Die drei Säulen der Souveränität: Das Fundament Ihrer KI-Strategie . . . 27
1. 2 . . . Risikomanagement: Public Cloud vs. lokaler Betrieb . . . 29
1. 3 . . . Eine europäische Antwort: Die Schwarz Digits Group als Wegweiser . . . 32
1. 4 . . . Der wirtschaftliche Vorteil: Ihr souveräner Vorsprung . . . 33
1. 5 . . . Das »Warum« Ihrer eigenen KI-Strategie . . . 35
TEIL II. Planen . . . 39
2. Das souveräne Fundament: Hardware, Architektur und die Total Cost of Ownership (TCO) . . . 41
2. 1 . . . Das physische Fundament: Die Hardware-Philosophie . . . 42
2. 2 . . . Konfigurationsstufen: Vom Allrounder zum dedizierten Server . . . 48
2. 3 . . . Hardware-Souveränität im Klartext -- das Experten-Interview mit der MIFCOM GmbH . . . 49
2. 4 . . . Exkurs: Alternative Architektur -- die DGX-Spark-Plattform . . . 54
2. 5 . . . TCO: Die Wirtschaftlichkeitsberechnung . . . 57
2. 6 . . . Referenzarchitektur: Die souveräne KI-Infrastruktur für den Mittelstand . . . 69
TEIL III. Aufbau der eigenen KI-Werkstatt . . . 73
3. Praktische Umsetzung: Die Transformation der Hardware zu einem Inferenzserver . . . 75
3. 1 . . . Das Schichtenmodell der Souveränität: Von der Hardware zur Anwendung . . . 75
3. 2 . . . Linux als souveräne Basis: Der Performance- und Kontrollvorteil . . . 76
3. 3 . . . Installation der NVIDIA-Treiber und des CUDA-Toolkits . . . 77
3. 4 . . . System-Isolation: Container als souveräne Enklaven . . . 78
3. 5 . . . Die CUDA-Architektur der Kontrolle: Containerisierung als strategische Basis . . . 80
3. 6 . . . Projekt-Isolation: Virtuelle Umgebungen für Entwicklung und Training . . . 81
3. 7 . . . Hybride Nutzung und Lastspitzen . . . 82
3. 8 . . . SSH-Tunnel: Der sichere Geheimgang zu Ihrem Server . . . 83
3. 9 . . . Die extra Meile im Netzwerk -- sprechende Namen . . . 85
3. 10 . . . Den KI-Wegweiser erstellen und gestalten . . . 94
3. 11 . . . Zusammenfassung . . . 97
4. Der globale Marktplatz: KI-Modelle und Lizenzen richtig auswählen . . . 99
4. 1 . . . Die gezielte Suche: Filter für Souveränität und Leistung . . . 100
4. 2 . . . Die Model Card: Qualität, Herkunft und Trainingshintergrund bewerten . . . 101
4. 3 . . . Das Schlüsselformat für On-Premises: GGUF . . . 102
4. 4 . . . Die Spielregeln: Lizenzen und das unternehmerische Risiko . . . 104
4. 5 . . . Fazit und klare Handlungsempfehlung . . . 106
5. Die lokale KI-Werkstatt für Sprachmodelle . . . 107
5. 1 . . . Die Qual der Wahl? Nein, die Freiheit der Entscheidung! . . . 108
5. 2 . . . Das unsichtbare Fundament: llama. cpp als Motor der lokalen KI . . . 110
5. 3 . . . LM Studio: Der Allrounder für Einsteiger . . . 112
5. 4 . . . Ollama: Der einfache Weg, um Sprachmodelle im Netzwerk zu betreiben . . . 117
5. 5 . . . vLLM: Die anspruchsvolle Lösung für Unternehmen . . . 131
5. 6 . . . Fazit: Der strategische Gewinn . . . 139
6. Das Chat-Cockpit: Die professionelle Weboberfläche für Ihr Team . . . 141
6. 1 . . . Open WebUI: Der ideale Partner für Ollama . . . 142
6. 2 . . . AnythingLLM: Der All-in-one-Spezialist für Dokumente . . . 158
6. 3 . . . LibreChat: Die strukturierte Enterprise-Alternative . . . 170
6. 4 . . . Gegenüberstellung der drei Chat-Cockpits . . . 176
6. 5 . . . KI-Werkstatt -- den Wegweiser weiter ausbauen . . . 177
7. Assistive Tools: Die lokale Lösung für assistives agentisches Arbeiten . . . 179
7. 1 . . . Welches Werkzeug passt zu Ihnen? . . . 179
7. 2 . . . Visual Studio Code mit Ollama und Cline . . . 181
7. 3 . . . Sicherheitshinweis für agentische Programmierwerkzeuge . . . 185
7. 4 . . . Mistral-Vibe mit Ollama . . . 185
7. 5 . . . OpenCode mit Ollama . . . 196
7. 6 . . . Hermes Agent mit Ollama . . . 207
7. 7 . . . Claude Code mit Ollama . . . 235
7. 8 . . . Fazit: Anspruch und Wirklichkeit der lokalen Autonomie . . . 243
8. OpenClaw: Das universelle Agenten-Gateway . . . 247
8. 1 . . . Was macht OpenClaw so besonders? . . . 247
8. 2 . . . Die »spicy« Seite der Autonomie: Ein Wort zur Sicherheit . . . 248
8. 3 . . . Installation und erste Schritte . . . 250
8. 4 . . . Den OpenClaw-System-Dienst verwalten . . . 254
8. 5 . . . Wenn Agenten »Meatwads« buchen: Die Rückkehr des Menschen als Hardware . . . 256
8. 6 . . . Fazit: Das Agenten-Gateway als nächste Evolutionsstufe . . . 257
9. Die Kunst des Dialogs: Effektives Prompt-Engineering . . . 259
9. 1 . . . Die Kunst des Befehls: Was ist ein Prompt und warum ist »Prompt-Engineering« wichtig? . . . 259
9. 2 . . . Werkzeuge des Dialogs: Wichtige Prompting-Techniken . . . 260
9. 3 . . . Rollen-Prompting in der Praxis . . . 261
9. 4 . . . Der Aufbau macht den Unterschied: Struktur in Prompts . . . 263
9. 5 . . . Der iterative Prozess: Vom ersten Entwurf zum fertigen Code . . . 264
9. 6 . . . Realistische Erwartungen und Ihre Rolle als Entwickler . . . 264
9. 7 . . . Von Prompts zu Skills: Prompt-Engineering im Zeitalter der Agenten . . . 265
10. Mehr als nur chatten: Die Power-Features der Chat-Cockpits . . . 267
10. 1 . . . Retrieval-Augmented Generation . . . 268
10. 2 . . . Warum RAG-Projekte scheitern und wie Sie es besser machen . . . 274
10. 3 . . . Praxiskurs: Der RAG-Service in Open WebUI . . . 276
11. RAGFlow: Die Expertenlösung für ein umfangreiches Firmenwissen . . . 285
11. 1 . . . Die RAGFlow-Installation mit Docker Compose . . . 286
11. 2 . . . RAGFlow einrichten -- Ollama Anbindung konfigurieren . . . 287
11. 3 . . . RAGFlow-Datenquelle und Chat anlegen . . . 291
11. 4 . . . RAGFlow-Agents und -Workflows . . . 295
11. 5 . . . Datenablage und Verwaltung . . . 296
11. 6 . . . Update-Anleitung für RAGFlow . . . 297
11. 7 . . . Die Vorteile in der Praxis: Warum RAGFlow? . . . 298
12. MCP: Die integrierte Wissensplattform . . . 301
12. 1 . . . Das Model Context Protocol -- eine Einführung sowie eine Abgrenzung zu RAG . . . 302
12. 2 . . . Die souveräne Plattform: RAGFlow als Ressourcenprovider . . . 306
12. 3 . . . Exkurs: Wie MCP die IT-Architektur in Unternehmen verändert . . . 315
12. 4 . . . Abschluss: Die souveräne Plattform ist mehr als die Summe Ihrer Teile . . . 318
12. 5 . . . Meilenstein und strategisches Fazit: Vom Anwender zum Architekten zum KI-Betriebssystem . . . 318
TEIL IV. Automatisierung mit KI meistern . . . 321
13. Die GenAI-Workflow-Tools: Prozesse neu denken und GenAI tief integrieren . . . 323
13. 1 . . . Langflow: Das visuelle Kraftwerk für komplexe KI-Architekturen . . . 324
13. 2 . . . n8n: Die universelle Schaltzentrale für die systemübergreifende Prozessautomatisierung . . . 332
13. 3 . . . Flowise: Der Spezialist für die Low-Code-Entwicklung von KI-Agenten . . . 350
13. 4 . . . Zusammenfassung: Vom Werkzeugbesitzer zum Prozessarchitekten . . . 362
14. LLaMA-Factory: Das Trainingslager für Ihre individuellen Sprachmodelle . . . 365
14. 1 . . . Einordnung: Warum wir Modelle veredeln, anstatt sie neu zu trainieren . . . 365
14. 2 . . . Vom Anwender zum LLM-Optimierer . . . 367
14. 3 . . . Die Installation: LLaMA-Factory im Docker-Container . . . 368
14. 4 . . . Die Finetuning-Daten: Das Lernmaterial erstellen . . . 373
14. 5 . . . Das praktische QLoRA-Finetuning . . . 374
14. 6 . . . Das Ergebnis testen und anwenden . . . 380
14. 7 . . . Den LoRA-Adapter in Ollama anwenden: Der Spezialist im Praxiseinsatz . . . 381
14. 8 . . . Update-Anleitung für LLaMA-Factory . . . 382
14. 9 . . . Ausblick: Die Revolution der Spezialisten -- ein Praxisbeispiel . . . 383
14. 10 . . . Fazit: Vom Modell-Nutzer zum Modell-Schöpfer . . . 385
15. Das souveräne Kreativ-Studio: Theorie, Installation und Anwendung von ComfyUI . . . 387
15. 1 . . . Grundlagen: Stable Diffusion und die Sprache der Bild-KI . . . 387
15. 2 . . . Die architektonische Wahl: Automatic1111 vs. ComfyUI . . . 390
15. 3 . . . Praxis-Guide: Installation und Inbetriebnahme . . . 391
15. 4 . . . Für Power-User: Mehrere GPUs effizient nutzen . . . 400
15. 5 . . . Update-Anleitung für ComfyUI . . . 402
16. Fortgeschrittene Anwendungsfälle mit ComfyUI . . . 405
16. 1 . . . Open-WebUI-Bild-Generierung mit ComfyUI . . . 405
16. 2 . . . Text zu Video mit ComfyUI und LTX 2. 0 . . . 409
16. 3 . . . Ollama in ComfyUI für die dynamische Prompt-Generierung und Überprüfung einbinden . . . 411
16. 4 . . . Audio-Generierung in ComfyUI mit ACE-Step 1. 5 . . . 414
16. 5 . . . Fazit zu ComfyUI und der Kreativwerkstatt . . . 416
17. Stable Diffusion: LoRAErweiterungen finetunen . . . 417
17. 1 . . . Die Installation des AI Toolkits via Docker Compose . . . 418
17. 2 . . . Das Trainings-Set: Die Vorbereitung der Bilder . . . 421
17. 3 . . . Das AI Toolkit als Hintergrunddienst einrichten (systemd-Service) . . . 428
17. 4 . . . Update-Anleitung: Das AI Toolkit aktuell halten . . . 430
17. 5 . . . Fazit: Vom Anwender zum KI-Finetuner . . . 431
18. OpenAI Whisper: Die Grundlage für die Audioverarbeitung . . . 433
18. 1 . . . Die Installation: einfach und zukunftssicher per Skript . . . 434
18. 2 . . . Demo-Whisper-Webanwendung . . . 434
18. 3 . . . Fazit und Anwendungsfälle für Ihr Unternehmen . . . 437
19. Vision Language Model: Cosmos-Reason2 von NVIDIA . . . 439
19. 1 . . . Schritt-für-Schritt: Installation von Cosmos-Reason2 . . . 443
19. 2 . . . Cosmos-Reason2 im Einsatz: Inferenz und Deployment . . . 444
19. 3 . . . Cosmos-Reason2: Das Web-Frontend für die Praxis . . . 449
19. 4 . . . Autostart von Cosmos-Reason2: Den Inferenzserver als Systemdienst einrichten . . . 451
19. 5 . . . Der Aufbruch in die physische KI . . . 454
20. Ausblick: Vom KI-Betreiber zum KI-Innovator . . . 455
20. 1 . . . Ihr Weg zum KI-Innovator . . . 456
20. 2 . . . Technologie-Ausblick: Wohin die Reise geht . . . 456
20. 3 . . . Die Transformation der Arbeitskultur durch KI . . . 458
20. 4 . . . Der AI Augmented Professional: Die Evolution der Arbeitsrolle . . . 459
20. 5 . . . Menschliche Kernkompetenzen in der KI-Ära . . . 459
20. 6 . . . AI Literacy und der Citizen Developer . . . 460
20. 7 . . . Schlusswort . . . 460
Index . . . 462
Es wurden noch keine Bewertungen abgegeben. Schreiben Sie die erste Bewertung zu "Souveräne KI" und helfen Sie damit anderen bei der Kaufentscheidung.