Reinforcement Learning ist ein Teilgebiet des Machine Learnings. Hierbei werden selbstständig lernende Agenten programmiert, deren Lernvorgang ausschließlich durch ein Belohnungssystem und die Beobachtung der Umgebung gesteuert wird. In diesem umfassenden Praxis-Handbuch zeigt Ihnen Maxim Lapan, wie Sie diese zukunftsweisende Technologie in der Praxis einsetzen.
Sie lernen, wie Sie passende RL-Methoden für Ihre Problemstellung auswählen und mithilfe von Deep-Learning-Methoden Agenten für verschiedene Aufgaben trainieren wie zum Beispiel für das Lösen eines Zauberwürfels, für Natural Language Processing in Microsofts TextWorld-Umgebung oder zur Realisierung moderner Chatbots.
Alle Beispiele sind so gewählt, dass sie leicht verständlich sind und Sie diese auch ohne Zugang zu sehr großer Rechenleistung umsetzen können. Unter Einsatz von Python und der Bibliothek PyTorch ermöglicht Ihnen der Autor so einen einfachen und praktischen Einstieg in die Konzepte und Methoden des Reinforcement Learnings wie Deep Q-Networks, Wertiteration, Policy Gradients, Trust Region Policy Optimization (TRPO), genetische Algorithmen und viele mehr.
Es werden grundlegende Kenntnisse in Machine Learning und Deep Learning sowie ein sicherer Umgang mit Python vorausgesetzt.
Aus dem Inhalt
Implementierung komplexer Deep-Learning-Modelle mit RL in tiefen neuronalen Netzen
Ermitteln der passenden RL-Methoden für verschiedene Problemstellungen, darunter DQN, Advantage Actor Critic, PPO, TRPO, DDPG, D4PG und mehr
Bauen und Trainieren eines kostengünstigen Hardware-Roboters
NLP in Microsofts TextWorld-Umgebung für interaktive Spiele
Diskrete Optimierung für das Lösen von Zauberwürfeln
Trainieren von Agenten für Vier Gewinnt mittels AlphaGo Zero
Die neuesten Deep-RL-Methoden für Chatbots
Moderne Explorationsverfahren wie verrauschte Netze und Netz-Destillation
Machine Learning besitzt eine verborgene und somit oft übersehene zeitliche Dimension. Das heißt, ein Klassifizierer, der heute gute Ergebnisse liefert, wird mit der Zeit schlechter, wenn bei einer Gesichtserkennung beispielsweise Personen altern oder sich die Frisur ändert. Maxim Lapan zeigt in dieser Leseprobe, wie Reinforcement Learning diesem Problem begegnet. Dieses Wissen bildet zugleich die Grundlage für das Verständnis der nachfolgenden Teile des Buchs.
Wer hat's geschrieben?
Maxim Lapan ist Deep-Learning-Enthusiast und unabhängiger Forscher. Er verfügt über 15 Jahre Erfahrung als Softwareentwickler und Systemarchitekt. Er hat Linux-Kernel-Treiber entwickelt und verteilte Anwendungen entworfen und optimiert, die auf Tausenden Servern laufen. Er besitzt umfangreiche Erfahrung mit Big Data, Machine Learning und großen HPC- und Nicht-HPC-Systemen und hat das Talent, komplizierte Dinge in einfacher Sprache und mit anschaulichen Beispielen zu erklären. Derzeit beschäftigt er sich insbesondere mit praktischen Anwendungen des Deep Learnings, wie der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) und Deep Reinforcement Learning.
Maxim lebt mit seiner Familie in Moskau.
