Moderne KI/ML-Modelle stellen hohe Anforderungen an die Infrastruktur. Die Verarbeitung der Daten bei Deep Learning und Analysen ist hochkomplex und erfordert moderne, spezialisierte Recheneinheiten, wie sie NVIDIA mit den Datacenter-GPUs anbietet. Oliver Liebel zeigt in diesem Wegweiser, wie Sie abseits der Hypes resiliente, hochautomatisierte und autoskalierbare Systeme für Produktiv-Workloads aufbauen.
Sie erfahren, wie Sie NVIDIAs Datacenter-GPUs nahtlos in Hypervisoren und moderne Container-Infrastrukturen integrieren, sie Operator-gestützt mit Kubernetes bzw. OpenShift verwalten und daraus praxistaugliche Setups machen, die im Unternehmenseinsatz und echten Business Cases bestehen.
Betrachtet wird der ganze Infrastruktur-Stack, mit Fokus auf effizienter Vollautomation: Von On-Premises-Installationen auf vSphere oder Cloud-Setups auf GCP und AWS über Plattform-Automation per IaaS/IaC sowie den GPU- und Network-Operatoren bis hin zu einem Ausblick auf AI End-to-End-Tool-Stacks.
Container-Cluster für Machine Learning und KI
Best Practices für Planung und Umsetzung
Wenn große Datenmengen verarbeitet werden müssen und teure Investitionen anstehen, ist durchdachte Planung unabdingbar. Mit Hintergrundwissen und fundierten Markteinschätzungen treffen Sie richtige Entscheidungen für zukunftssichere KI/ML-Projekte und haben alle Kostenfaktoren im Blick.
Setzen Sie auf Industriestandards
In enger Zusammenarbeit mit NVIDIA wurden die vorgestellten Setups getestet und evaluiert. Sie profitieren von dieser Praxiserfahrung und erfahren, wie Sie GPUs in Kubernetes- und OpenShift-Cluster integrieren.
Zuverlässig und automatisiert skalieren
Operator-gestützte Vollautomation ist ein Muss, um KI/ML-Infrastrukturen skalierbar, resilient und kosteneffizient zu betreiben. Zahlreiche Beispiele führen Sie durch praxisnahe Konfigurationen, die für aktuelle und zukünftige Anforderungen gerüstet sind.
Aus dem Inhalt
KI/ML: Grundlagen und Use Cases
Infrastruktur planen: Cloud, On-Premises oder Hybrid?
Technischer Background: KI/ML mit NVIDIA-GPUs
GPU-Modi: Passthrough-MIG, MIG-backed vGPU und vGPU
Datacenter-taugliche GPUs werden nach wie vor in grafische Workloads eingesetzt, darüber hinaus gibt es aber zahlreiche verschiedene Möglichkeiten, deren Rechenleistung einzusetzen. Diese Leseprobe befasst sich mit dem technischen Hintergrund der GPUs im Hinblick auf mögliche skalierbare Bereitstellungsarten. Insbesondere die Partitionierung einer physikalischen GPU ist besonders effizient für Workloads, die die Rechenkapazität nicht vollständig auslasten würden.
Wer hat's geschrieben?
Dipl.-Ing. Oliver Liebel ist LPI-zertifizierter Linux-Enterprise-Experte, Partner von Red Hat und SUSE und steht in engem Kontakt mit NVIDIAs EGX-Abteilung. Er ist seit vielen Jahren als Dozent, Autor, Berater und Systemarchitekt für namhafte Unternehmen, internationale Konzerne und Institutionen auf Landes- und Bundesebene tätig. Der Spezialist für skalierbare und GPU-beschleunigte Container-Cluster auf Kubernetes-/OpenShift-Basis, High-Availability Cluster, Verzeichnisdienste und Software-Defined Storage greift dabei auf eine 30-jährige Berufserfahrung zurück.
