CUDA by Example: An Introduction to General-Purpose GPU Programming [Englisch] [Taschenbuch]

Parallele Algorithmen waren mal ein "esoterisches" Thema für theoretische Informatiker. Mit CUDA kann jetzt jeder massiv parallel programmieren und 10- bis zu 100-fache Geschwindigkeitssteigerungen erreichen.

Es gibt diese Bücher - gerade bei neuen Themen - bei denen man den Eindruck hat, die Autoren haben die Dokumentation abgeschrieben und nur ein wenig ausgeschmückt. Das ist hier definitiv nicht der Fall.

Dieses Buch ist der perfekte Start in CUDA für Einsteiger. Aber auch manche Fortgeschrittene und Profis könnten Ihre Freude an den guten Erklärungen und Beispielen haben.

Der Buchtitel "CUDA by Example" sagt es schon: Anhand von Beispielen soll gelernt werden. Und da numerische Algorithmen, wie z. B. Vektoraddition, Matrizen-Multiplikation zwar auch behandelt werden, aber von vielen nicht als "Spaß" empfunden werden, haben die Autoren graphische Beispiele zusammengestellt: Julia-Mengen, einen einfachen Ray Tracer, Wärmeübertragung .

Die Parallelität wird schrittweise, langsam und behutsam eingeführt und immer ausführlich erklärt. Ausgangspunkt ist sequentieller Code für die CPU, der dann umgeformt wird.

Das Ziel des Buches, ist es, dem Leser die Grundlagen von CUDA beizubringen, damit er selber darin entwickeln kann. Die Theorie paralleler Algorithmen wird nicht behandelt, wird aber im Rahmen des Buches auch nicht benötigt.

Als parallele Lektüre und als Nachschlagewerk benötigt man den "NVIDIA CUDA Programming Guide" und die "NVIDIA CUDA Best Practices", die beide von NVIDA mit dem CUDA Toolkit mitgeliefert werden.

Allerdings ist es ein Einsteigerbuch und die folgenden fortgeschrittenen Themen werden nicht behandelt.

- Performance-Optimierung von Kerneln
- Optimierung von Speicherzugriffen ("coalescing")
- CUDA Arrays, 3D-Speicher
- CUDA Hardware im Detail, z. B. Warp-Scheduling
- Vermeidung von Divergenz
- Neuerungen bei Fermi, z. B. Caching
- CUDA Driver API

Fortgeschrittene Kenntnisse in C oder C++ sind notwendig, d.h. man sollte schon Programme geschrieben und gelesen haben. Auch sind Erfahrungen auf der Kommandozeile oder einer C-Entwicklungsumgebung von Vorteil. Grundwissen über parallele Algorithmen ist nicht schlecht, aber nicht unbedingt notwendig.

Und hier noch eine stichwortartige Auflistung, um die Bewertung 4 von 5 zu rechtfertigen.

Positiv
- Gute Beispiele, gute Erklärungen, langsames Tempo
- Die Autoren benutzen erst Grid-Blöcke und im zweiten Schritt Thread-Blöcke, um Parallelität einzuführen. Das ist eine gute Idee und das pädagogisch Sinnvollste.
- Schöne Beispiele zum Anschauen, wie z. B. Julia-Mengen, Ray Tracer als Beispiel für konstanten Speicher, Shared Memory und Bitmaps, Wärmeübertragung für 1D- und 2D-Texturen
- Schöne Einleitung mit Historie und Anwendungsbeispielen
- Installation des Treibers, des Toolkits und des SDKs werden erklärt
- Der Quellcode ist herunterladbar und funktioniert (meistens) auch
- Gutes Beispiele für atomare Operationen im Anhang (Hash-Tabelle)

Negativ
- Der Code wurde immer vollständig abgedruckt. Hier kommt es im Laufe des Buchs zu Wiederholungen. Für Einsteiger mag diese Entscheidung richtig sein, den Fortgeschrittenen nervt es, eine Funktionsdefinition mehr als einmal lesen zu müssen. Ganz schlimm ist dieses bei den Ereignisse / Events, wenn der gesamte Ray Tracer noch zweimal abgedruckt wird (einmal mit globalem, einmal mit konstantem Speicher).
- Sehr schnell veraltende Informationen wurden abgedruckt, z. B. die Liste der Devices auf S. 15f.
- Die Dateinamen der Beispielprogramme stehen nicht im Buch. Man muss daher manchmal ein wenig suchen.
- Abschnitt 3.3 'Querying Devices' ist zu diesem Zeitpunkt zu ausführlich. Das will man nicht alles wissen. Man kann auch zu diesem Zeitpunkt mit 95% der Begriffe nichts anfangen. Da hätte auch ein Verweis zur Dokumentation genügt.
- Für Anfänger wäre ein kurzer Abschnitt über grundlegende Design-Patterns bzw. parallele Algorithmen sehr praktisch.

Fazit

Wer CUDA lernen will, findet in diesem Buch die beste Einleitung, die es momentan gibt.

Ich spiel mich schon seit einiger Zeit mit dem Gedanken ein CUDA Programm zu schreiben. Bisher fehlte mir das passende Problem dafür. Ich habe aber nun eine nichtlineare (und nicht konvexe) Portofolio-Optimierung mit Hilfe der Differential Evolution Heuristik geschrieben. Die könnte einen Speedup brauchen und sollte auch parallelisierbar sein.

Im Vorwort schreibt BLAS-Papst J.Dongarra "This book is required reading for anyone working with accelerator-based computing systems". Wahrscheinlich kann man CUDA-Programming auch mit der sehr guten SDK-Dokumentation lernen. Dieses Buch ist aber sicher nützlich. Die Autoren beginnen wie es sich gehört mit "Hello World" und enden mit einem für massiv-paralles Computing garstigen Problem: Einer Hashtabelle. Das war eines der Hauptprobleme beim massiv-parallelen Schachprogramm Hydra (siehe [1]).
Die Beispiele sind sehr gut aufgebaut, die Autoren haben eine didaktische Ader. Nachdem sie aus dem CUDA-Developer Team stammen kennen sie sich auch aus. Bei massiv-paralleler Programmierung kämpft man immer gegen die Kommunikations- und Memory-Latenz. Wie beschäftigt man die im Überfluss vorhandenen Recheneinheiten? Ohne auf die - sich ohnehin ändernden - Details der GPU-Hardware einzugehen behandeln die Autoren diesen zentralen Aspekt mit steigenden Schwierigkeitsgrad. Um dann im Anhang am Beispiel der Hashtabelle aufzuzeigen, dass sich manche Probleme einfach nicht effektiv parallelisieren lassen (es gibt allerdings gefinkelte Lösungen für das Problem. Das würde aber den Rahmen eines Lehrbuchs sprengen).
Besonders gefallen hat mir, dass der Kode vollständig abgedruckt ist. Ich will nicht zwischen Buch und dem Bildschirm hin- und herspringen. Die Autoren kommentieren ihn auch mit Akribie.
Der Inhalt des Buches dient auch als (Video-)Skriptum für universitäre CUDA-Kurse. Die etwas flapsige Sprache ist diesem Zielpublikum angepasst. Mir gefällt der etwas subtilere Humor von D.Knuth besser. Die Autoren werden aber nie peinlich.

Sehr viele Programmierbücher sind heutzutage zu Bildl-Anklick Anleitungen verkommmen. Als Bücher- und Programmiernarr erfreut es mein Herz, dass noch richtige Bücher für richtige Programmierer geschrieben werden. Möglicher Weise liegt es daran, dass CUDA auch nix für Bildl-Anklicker ist.
Nachdem ein Problem vorhanden ist gibt es nach dem Studium dieses Buches keine Ausrede mehr die Ärmel hochzukrempeln und mit richtiger CUDA-Programmierung loszulegen. Werma segn obs was wird.
Ein sehr gutes weiterführendes Buch ist [2].

[1] Chrilly Donninger, Ulf Lorenz: The Chess Monster Hydra.
[2] D.Kirk, Wen-Mei Hwu: Programming Massively Parallel Processors.

P.S.: Ich habe das Problem nun (6.12.2011) parallelisiert. Eine direkte CUDA-Portierung brachte auf einer nicht sehr leistungsstarken Silent-NVIDIA-GPU nur Speedup 1.1. Man kämpft - wenig überraschend - gegen die Memory-Latenz. Durch Cachen und entsprechende Umorganisation der Berechnung ist der Speedup der GPU-Routine 25. Die Gesamtanwendung ist natürlich nicht 25x so schnell geworden. Da kämpft man auch gegen Amdahls Law. Aber es erfüllt meine Vorgaben.

Wer ernsthaft CUDA lernen möchte und Neuling in der parallelen Programmierung ist, sollte zu diesem Buch greifen! Eine derart systematische Einführung in dieses Thema habe ich in keinem anderen Buch oder Online-Tutorial gesehen!
Wer allerdings schon ein bisschen Erfahrung gesammelt hat, der kann getrost die erste Hälfte des Buches skippen.

Der Code der Demos ist online verfügbar und lässt sich problemlos kompilieren und ausführen! Auch eine Leseprobe (Kapitel 4) ist online verfügbar.