Der Machtwechsel vom CPU zum GPU - Warum liebt KI 'Matrizen'?

Vor einigen Jahren bedeutete die Aussage "Ich habe eine gute Grafikkarte (GPU) gekauft" gleichbedeutend mit "Ich werde hochauflösende Spiele spielen" oder "Ich habe mit der Videobearbeitung begonnen". Das Gehirn eines typischen Computers war immer der CPU, während die GPU nur ein Hilfsgerät war, das den Bildschirm ansprechend darstellte.

Doch mit dem Aufkommen von generativer KI und Deep Learning hat sich das Blatt völlig gewendet. Jetzt sind leistungsstarke GPUs unverzichtbar, um KI-Modelle auf einem PC auszuführen oder zu trainieren. Dies ist auch der Grund, warum NVIDIA zum wertvollsten Unternehmen der Welt aufgestiegen ist.

Warum also hat die einfache Arbeiter-GPU, die den intelligenten Doktor CPU beiseite gedrängt hat, die Hauptrolle in der Ära der KI übernommen? Das Geheimnis liegt in den 'Vektoren' und 'Matrizen', die wir im Mathematikunterricht der Oberstufe gelernt haben, sowie in der 'linearen Algebra', die wir an der Universität studiert haben.

1. Wie man einem Computer 'Äpfel' und 'Bananen' beibringt: Vektoren (Vector)

Wenn wir denken "Äpfel sind rot und rund", "Bananen sind gelb und lang", wie versteht der Computer dieses Konzept? Computer verstehen nur 0 und 1, also Zahlen. Daher haben Informatiker und Mathematiker beschlossen, alle Konzepte der Welt in eine Ansammlung von Zahlen, also Vektoren, umzuwandeln.

Stellen wir uns zum Beispiel vor, die Eigenschaften von Obst werden als dreidimensionaler Vektor [Farbe, Form, Süße] ausgedrückt. (Rot=1, Gelb=10 / Rund=1, Lang=10)

• Apfel: $[1, 1, 8]$

• Banane: $[10, 10, 9]$

• Grüner Apfel: $[2, 1, 7]$

Wenn die Daten auf diese Weise in Vektoren umgewandelt werden, geschieht etwas Überraschendes. Wir können direkt die "Ähnlichkeit" berechnen.

Im Raum sind die Koordinaten von Apfel und grünem Apfel nahe beieinander, während die Banane weit entfernt ist. Die Grundlage, auf der die KI entscheidet, dass "Apfel und grüner Apfel ähnlich sind!" ist genau die Berechnung der Distanz im Vektorraum.

2. Ein riesiger Würfel aus Vektoren: Tensoren (Tensor)

Aber die Daten, die die KI verarbeiten muss, bestehen nicht aus nur drei Obstsorten.

Denken wir an ein Farbbild mit einer Auflösung von 1000x1000 Pixeln. Für jedes Pixel sind drei Zahlen R, G und B erforderlich, also besteht ein Bild aus $1000 \times 1000 \times 3$ Zahlen.

• Skalar (Scalar): Eine Zahl (z.B. 5)

• Vektor: Eine einzeilige Anordnung von Zahlen (z.B. [1, 2])

• Matrize (Matrix): Eine zweidimensionale Tabelle von Zahlen (Excel-Tabelle)

• Tensor: Eine Ansammlung von Zahlen in drei Dimensionen oder mehr (Würfelform)

Der Grund, warum das KI-Framework von Google 'TensorFlow' genannt wird, liegt genau hier. KI ist eine Maschine, die ständig mit diesen großen Ansammlungen von Zahlen (Tensoren) rechnet.

3. Die Essenz der KI: Unendliches Multiplizieren und Addieren (Matrixoperationen)

Wenn man von Deep Learning spricht, könnte man glauben, es handele sich um etwas extrem Komplexes. Doch bei näherer Betrachtung besteht es in der Tat aus einfachen, rudimentären Matrixmultiplikationen, die wiederholt werden.

Die lineare Algebra-Formel $Y = WX + b$, bei der Eingabedaten (X) mit Gewichtungen (W) multipliziert und ein Bias (b) addiert wird, wird Milliarden- oder Billionenmal wiederholt.

Das Problem ist nicht die Schwierigkeit der Berechnungen, sondern die 'Menge'.

• Die Methode des CPUs: "Okay, berechne die erste Zeile... Hast du das fertig? Dann die zweite Zeile..." (sequentielle Verarbeitung)

• Die Anforderungen der KI: "Mach jetzt sofort 100 Millionen Multiplikationen gleichzeitig!"

Hier gerät der geniale Mathematiker (CPU) in Schwierigkeiten. So klug er auch sein mag, mit nur einem Körper kann er nicht 100 Millionen Aufgaben gleichzeitig erledigen.

4. Der Pinsel, der Pixel malte, wird zum Gehirn der KI

Hier kommt der Retter: GPU (Graphics Processing Unit). Ursprünglich wurde die GPU entwickelt, um Bilder auf dem Bildschirm zu zeichnen.

Denken Sie an den Monitor. Ein FHD-Bildschirm hat etwa 2 Millionen Pixel. Wenn man ein 3D-Spiel spielt, muss die GPU für jeden dieser 2 Millionen Pixel gleichzeitig berechnen: "Welche Farbe sollst du haben?" und "Da du ein Schatten bist, mach dich etwas dunkler!"

• CPU: Eine kleine Anzahl sehr intelligenter Kerne (4-16 Doktoren) → optimiert für komplexe logische und sequenzielle Aufgaben

• GPU: Tausende von Kernen, die nur einfache Berechnungen durchführen können (5.000 Grundschüler) → optimiert für die gleichzeitige Verarbeitung (parallele Verarbeitung) einfacher wiederholter Berechnungen

Die Entwickler erkannten:

"Moment mal, das Berechnen der Pixelkoordinaten und das gleichzeitige Färben in einem 3D-Spiel ist mathematisch genau dasselbe wie das gleichzeitige Ausführen von Matrixmultiplikationen in der KI-Deep Learning... oder? "

Die große parallele Verarbeitungsfähigkeit der GPU, die sich zur Grafikverarbeitung entwickelt hat, stimmt zufälligerweise (oder vielleicht zwangsläufig) hervorragend mit Matrixoperationen des Deep Learning überein. Aus der Perspektive der GPU bedeutet dies, anstelle von Pixeln auf dem Bildschirm sah sie sich nun AI-Daten an, wobei die durchgeführten Operationen (Matrixoperationen) gleich blieben.

5. Fazit: Der Matheunterricht in der Schule war nicht umsonst

Zusammengefasst sieht es folgendermaßen aus:

1. Informatiker und Mathematiker haben Informationen in Vektoren und Tensoren umgewandelt, um mathematisch die Welt zu verstehen (oder sie den Maschinen verständlich zu machen).

2. Um diesen Tensor zu verarbeiten, war lineare Algebra (Matrixoperationen) erforderlich.

3. Die GPU, die bereits für die gleichzeitige Berechnung von Tausenden von Pixeln optimiert war, war bereit für diese Matrixoperationen.

Diese drei Aspekte trugen zur Ermöglichung der heutigen KI-Revolution bei.

Haben Sie in der Schule „Wozu lernen wir Vektoren und Skalar?“ gefragt und sich während des Studiums über die Matrixmultiplikation in der linearen Algebra den Kopf zerbrochen? Ich erinnere mich daran, dass ich im ersten Studienjahr die lineare Algebra so schrecklich langweilig fand, dass ich nicht lernte und miserable Noten bekam. Im dritten Jahr nahm ich es erneut und konnte meine Noten wiederherstellen. Das zweite Mal habe ich hart gearbeitet, aber trotzdem fand ich die lineare Algebra im Vergleich zu Differentialgleichungen weiterhin furchtbar langweilig. Doch erstaunlicherweise wurde diese frustrierende Mathematik 20 Jahre später zum Schlüssel, um die intelligenteste künstliche Intelligenz in der Geschichte der Menschheit zu erschaffen, und es bringt mich dazu, ein wenig nostalgisch zu werden.

An der Schnittstelle zwischen der Theorie der Mathematiker und der Technologie der Hardware-Ingenieure stehen genau GPU und AI.

🚀 Ausblick auf den nächsten Beitrag

Jetzt wissen wir, wie sich CPU und GPU unterscheiden. Aber was ist mit dem NPU (Neural Processing Unit), von dem man in den Nachrichten oft hört? Lassen Sie uns die Identität des NPU erkunden, das angeblich noch besser für KI optimiert ist als die GPU.