Large Language Models selbst programmieren
Mit Python und PyTorch ein eigenes LLM entwickeln
dpunkt.verlag |
|
Autor:in |
|
414 Seiten, Softcover |
|
Erschienen |
07/2025 |
978-3-98889-044-3 9783988890443 |
LLMs selbst programmieren und verstehen
Large Language Models (LLMs) sind die treibende Kraft hinter modernen KI-Anwendungen. Doch wie funktionieren sie eigentlich? Mit diesem Buch tauchen Sie tief in die Welt der generativen KI ein und bauen Ihr eigenes LLM – Schritt für Schritt und ohne fertige Bibliotheken.
Bestsellerautor Sebastian Raschka führt Sie verständlich und praxisnah durch den gesamten Prozess: Vom Programmieren eines Basismodells über die Entwicklung eines Textklassifikators bis hin zur Erstellung eines eigenen Chatbots. Ihr persönlicher KI-Assistent entsteht direkt auf Ihrem Laptop – und Sie verstehen jedes Detail seiner Funktionsweise.
Praktische KI-Entwicklung von Grund auf
Dieses Buch bietet mehr als nur Theorie: Sie lernen, wie Sie Datensätze für das LLM-Training vorbereiten, Ihr Modell mit eigenen Daten optimieren und menschliches Feedback nutzen, um die Präzision zu verbessern. Zudem erfahren Sie, wie Sie vortrainierte Gewichte laden und das LLM gezielt anpassen.
Durch das eigenständige Entwickeln, Trainieren und Tunen Ihres LLMs gewinnen Sie ein tiefes Verständnis für die aktuell wichtigste KI-Technologie. Wer wirklich verstehen will, wie LLMs funktionieren, kommt an diesem Buch nicht vorbei!
Aus dem Inhalt
- LLMs verstehen
- Mit Textdaten arbeiten
- Attention-Mechanismen programmieren
- Ein GPT-Modell von Grund auf neu erstellen, um Text zu generieren
- Vortraining mit ungelabelten Daten
- Feintuning zur Klassifizierung
- Feintuning, um Anweisungen zu befolgen
- Anhänge
- Einführung in PyTorch
- Referenzen und weiterführende Literatur
- Lösungen zu den Übungen
- Die Trainingsschleife mit allem Drum und Dran
- Parametereffizientes Feintuning mit LoRA
Stimmen zum Buch
"Wirklich inspirierend! Das Buch motiviert Sie, Ihre neuen Fähigkeiten in die Tat umzusetzen."
— Benjamin Muskalla, Senior Engineer, GitHub
In dieser Leseprobe erläutert Sebastian Raschka die grundlegenden Konzepte großer Sprachmodelle (Large Language Models, kurz LLMs) und wie Sie ein solches Modell selbst mit Python und PyTorch programmieren. Er erklärt die Grundlagen neuronaler Netze, die Transformer-Architektur und den Trainingsprozess eines LLM – von der Datenvorbereitung über das Vortraining bis zum Feintuning.
Wer hat's geschrieben?
Sebastian Raschka ist Staff Research Engineer bei Lightning AI, wo er an der Forschung zu großen Sprachmodellen (LLMs) arbeitet und Open-Source-Software entwickelt. Seit über einem Jahrzehnt beschäftigt er sich intensiv mit den Themen Machine Learning und Künstliche Intelligenz. Neben seiner Forschung begeistert ihn besonders die Wissensvermittlung.
Seinen Doktortitel erlangte er an der Michigan State University. Sein wissenschaftlicher Fokus liegt auf der rechnergestützten Analyse biologischer Phänomene und maschinellen Lernverfahren. Im Sommer 2018 wurde er Assistant Professor für Statistik an der University of Wisconsin-Madison, wo er sich insbesondere mit der Entwicklung neuer Deep-Learning-Architekturen für biometrische Anwendungen befasste.
dpunkt.verlag |
|
Autor:in |
|
414 Seiten, Softcover |
|
Erschienen |
07/2025 |
978-3-98889-044-3 9783988890443 |