Groq-Gründer Jonathan Ross: Warum der Bedarf an Rechenleistung endlos ist
Jonathan Ross, Gründer von Groq, erklärt im Interview die LPU-Architektur, hybride GPU-LPU-Systeme und warum Agentic AI den Compute-Bedarf exponentiell steigert.
Ein Erfolgsdesaster bei Google
Jonathan Ross kennt das Problem aus erster Hand. Als er bei Google an TPUs arbeitete, scheiterte die Speech-Recognition-Abteilung an einem unerwarteten Hindernis: Sie hatten zu wenig Rechenleistung. Ihr Modell war besser als jeder menschliche Transkribierer, doch sie konnten es nicht in Produktion bringen.
Die Deployment-Strategie war eine Notlösung. Das Modell lief nur auf Nexus-Phones, nicht weil es ein Feature war, sondern weil die Infrastruktur nur diese kleine Nutzerbasis bedienen konnte. Ross portierte das Modell als 20-Prozent-Projekt auf einen FPGA. Jeff Dean erkannte das Potenzial und empfahl einen ASIC. Daraus wurde der TPU.
Dieses Muster wiederholt sich. Bessere Modelle erzeugen mehr Nachfrage. Mehr Nachfrage überlastet die Infrastruktur. Ross nennt das einen Erfolgsdesaster.
Die LPU-Architektur von Groq
Ross verließ Google und gründete Groq. Das Ziel: Eine Chip-Architektur, die speziell auf LLM-Inference optimiert ist. Das Ergebnis ist die LPU – die Language Processing Unit.
Der zentrale Unterschied zu GPUs liegt im Speicher. GPUs sind bei der Inference speichergebunden. Sie nutzen langsamen DRAM und benötigen große Batch-Größen, um wirtschaftlich zu arbeiten. Die LPU setzt stattdessen auf SRAM – deutlich schneller, aber teurer pro Byte.
Groq umgeht dieses Problem durch eine verteilte Architektur. Das Modell wird über mehrere Chips gespreizt, ohne externen Speicher. Jeder Chip arbeitet mit schnellem SRAM. Das Ergebnis: schnellere Token-Generierung bei niedrigeren Kosten pro Token.
Statische Planung statt dynamischer Kernel
Ein weiteres Alleinstellungsmerkmal ist das statische Scheduling. Bei der LPU wird die Reihenfolge der Operationen zur Compile-Zeit festgelegt. Ross vergleicht das mit Kalender-Terminen.
Ein kurzes Meeting von 15 Minuten muss präzise geplant werden. Jeder Teilnehmer muss pünktlich sein. Ein fünfstündiges Meeting dagegen verzeiht Verspätungen. Bei der Inference mit niedriger Latenz und kleinen Batch-Größen ist diese Präzision entscheidend. Jede Verzögerung blockiert nachfolgende Berechnungen.
Für Training ist statisches Scheduling weniger relevant. Für Inference ist es ein entscheidender Vorteil.
Mixture-of-Experts auf der LPU
Moderne LLMs nutzen zunehmend Mixture-of-Experts-Architekturen. Bei jeder Anfrage werden unterschiedliche Experten aktiviert. Das stellt herkömmliche Chips vor Probleme.
Beim Lesen aus dem DRAM muss der Kosten-Nachteil über viele Berechnungen amortisiert werden. Das erfordert Batch-Größen von mehreren hundert. Die LPU benötigt dank SRAM nur Batch-Größen von etwa zehn. Weniger Wartezeit, höhere Effizienz.
Ross bezeichnet die LPU als nahezu perfekt für Expert-Modelle. Der kleinere Batch-Größen-Bedarf reduziert die Latenz erheblich.
GPU und LPU als hybrides System
Groq konkurriert nicht mit Nvidia. Die beiden Architekturen ergänzen sich. Ross nutzt die Analogie von 18-Rad-Lkw und Lieferwagen.
Der GPU ist der 18-Rad-Lkw. Er transportiert viele Token gleichzeitig, braucht aber Zeit zum Beladen. Die LPU ist der Lieferwagen. Weniger effizient im Volumen, aber ideal für die letzte Meile.
In der Praxis bedeutet das: Prefill – das Lesen und Verarbeiten des Eingabetextes – läuft auf GPUs. Diese Phase ist hochparallel und nicht so latenzkritisch pro Token. Decode – die sequenzielle Token-Generierung – profitiert von der LPU.
Für kostenbewusste Anwendungen mit freien Nutzern genügt GPU-basiertes Decode. Für professionelle Anwendungen mit Speed-Anforderungen empfiehlt sich die GPU-LPU-Kombination. Extrem latenzkritische Workloads laufen sogar vollständig auf der LPU.
Agentic AI und exponentieller Compute-Bedarf
Der Begriff Agentic AI wird oft als Buzzword verwendet. Ross definiert ihn präzise: Es geht um die Zerlegung von Aufgaben in parallele Teilaufgaben.
Ein einzelner Agent arbeitet sequenziell. Er wartet auf Ergebnisse und kann nur eine Sache gleichzeitig tun. Agentic AI bricht diese Abhängigkeiten auf. Mehrere Kontext-Fenster arbeiten parallel an verschiedenen Teilproblemen.
Dabei nutzt KI selbst wieder KI. Ein Agent delegiert Aufgaben an andere Agenten. Diese delegieren weiter. Das Ergebnis ist ein exponentielles Wachstum der Compute-Nachfrage. AI using AI using AI.
Die Qualität der Antworten verbessert sich mit der Anzahl unabhängiger Subtasks. Mehr Checks, bessere Informiertheit, robustere Ergebnisse.
Jevons-Paradoxon und endloser Bedarf
Ross zitiert das Jevons-Paradoxon. Jede Effizienzsteigerung führt zu höherem Gesamtverbrauch. Der Ökonom William Stanley Jevons beobachtete dies im 19. Jahrhundert bei Dampfmaschinen.
Effizientere Motoren senkten die Kosten pro Einheit. Neue Anwendungen wurden wirtschaftlich. Der Gesamtverbrauch an Kohle stieg. Bei KI verhält es sich identisch.
Sinkende Kosten pro Token ermöglichen neue Use-Cases. Bisher unrentable Anwendungen werden profitabel. Mehr Experimente, mehr Anwendungen, mehr Nachfrage.
Ross zieht eine klare Linie: Solange Krebs nicht geheilt ist, solange Menschen altern, solange Zivilisation ungelöste Probleme hat, wird es Bedarf an mehr Rechenleistung geben.
Hardware-Design im KI-Zeitalter
LLMs vereinfachen das Schreiben von RTL-Code – der Hardware-Beschreibungssprache für Chips. Die Einstiegshürde sinkt. Ross erwartet mehr Player im Chip-Design.
Doch der Weg zur Produktion bleibt hart. Chips sind physisch. Sechs bis sieben Schichten chemischer Abscheidung. Jede Schicht braucht einen Tag oder länger. Vom Tape-Out bis zum Test liegen vier bis sechs Monate.
Ein Fehler kostet Millionen. Schlimmer: Kunden müssen sechs Monate auf einen Fix warten. Ross nennt das das Baby-Turtle-Problem. Viele versuchen es, wenige überleben.
Kunden werden auf bewährte Anbieter setzen. Die Risiken sind für Experimente zu hoch.
KI verwischt die Grenzen zwischen Disziplinen
Hardware-Ingenieure fragten früher Software-Ingenieure nach Test-Code. Heute generiert ein LLM den Code sofort. Der Ingenieur sieht das Ergebnis, erkennt Probleme und passt das Hardware-Design an.
Die Trennung zwischen Hardware- und Software-Entwicklung löst sich auf. Disziplinen verschmelzen. Ingenieure arbeiten selbstständig in Nachbardisziplinen. Das beschleunigt Iterationen erheblich.
Bessere Fragen statt bessere Antworten
Ross gibt eine klare Empfehlung für die Bildung. Das aktuelle System lehrt, Antworten auf gegebene Fragen zu finden. Mit KI dreht sich das um.
Die Fähigkeit, die richtige Frage zu stellen, wird zum entscheidenden Skill. KI kann Antworten liefern. Sie kann keine Fragen formulieren, die das Problem wirklich treffen.
Ross rät: Kinder sollten lernen, bessere Fragen zu stellen. Bildung sollte fragenzentriert werden. Wenn Kinder Probleme zu leicht lösen, weil sie Fragen in KI eingeben, lernen sie nicht für die Zukunft. Gebt ihnen Probleme, bei denen sie selbst die Fragen finden müssen.
Fachbegriffe in diesem Artikel
- Statisches Scheduling
- Eine Technik bei der die Reihenfolge aller Rechenoperationen bereits beim Übersetzen des Programms festgelegt wird. Im Gegensatz zum dynamischen Scheduling zur Laufzeit reduziert dies Wartezeiten und erhöht die Effizienz bei der Inferenz.
- Mixture-of-Experts
- Mixture-of-Experts (MoE) ist ein Verfahren, bei dem ein KI-Modell aus vielen spezialisierten Untermodulen besteht. Pro Schritt werden nur die Module aktiviert, die für die aktuelle Aufgabe relevant sind. Das spart Rechenleistung, ohne die Gesamtgröße des Modells zu begrenzen.
- Jevons-Paradoxon
- Ein ökonomisches Phänomen, benannt nach William Stanley Jevons. Es beschreibt, dass technologische Effizienzsteigerungen nicht zu weniger, sondern zu mehr Ressourcenverbrauch führen, weil neue Anwendungsfälle wirtschaftlich werden.
- Agentic AI
- Ein Ansatz bei dem KI-Systeme komplexe Aufgaben in unabhängige Teilaufgaben zerlegen und mehrere KI-Agenten parallel arbeiten lassen. Dies führt zu einer exponentiell steigenden Nachfrage nach Rechenleistung.
- RTL-Code
- Register Transfer Level ist eine Hardware-Beschreibungssprache, mit der die logische Struktur und Funktionsweise von Chips definiert wird. Sie ist vergleichbar mit Programmcode für Software, beschreibt aber physische Schaltkreise.
- Prefill
- Die erste Phase bei der Ausführung eines Sprachmodells, in der der eingegebene Text verarbeitet wird. Diese Phase ist stark parallelisierbar und weniger empfindlich gegenüber Latenz pro Token, weshalb sie ideal auf GPUs läuft.
- Decode
- Die sequenzielle Phase bei der Ausführung eines Sprachmodells, in der Token für Token generiert wird. Da jeder Token vom vorherigen abhängt, ist diese Phase stark latenzkritisch und profitiert von spezialisierten Chips wie der LPU.
- Token
- Die kleinste Verarbeitungseinheit eines LLMs. Ein Token kann ein Wort, Wortteil oder Zeichen sein. Die Länge eines Textes wird in Tokens gemessen.
- ASIC
- Ein anwendungsspezifischer integrierter Schaltkreis ist ein Chip, der für eine ganz bestimmte Aufgabe entworfen wird. Im Gegensatz zu universellen Prozessoren erreicht er dadurch höhere Effizienz, ist aber nicht flexibel einsetzbar.
- DRAM
- Dynamischer Arbeitsspeicher ist der in Computern übliche Hauptspeicher. Er ist günstiger und dichter als SRAM, aber deutlich langsamer. GPUs nutzen DRAM, was bei der Inferenz zu Engpässen führen kann.
- FPGA
- Ein feldprogrammierbarer Gate-Array ist ein Hardware-Chip, der nach der Herstellung noch für verschiedene Aufgaben konfiguriert werden kann. Er wird oft als Prototyp verwendet, bevor ein finaler ASIC entwickelt wird.
- SRAM
- Statischer Arbeitsspeicher ist eine besonders schnelle Art von Speicher, der direkt auf dem Chip verbaut wird. Er ist deutlich schneller als DRAM, benötigt aber mehr Platz und ist teurer pro gespeichertem Bit.
- AST
- Abstract Syntax Tree – eine Baumstruktur, die den syntaktischen Aufbau von Quellcode repräsentiert. Sicherheitswerkzeuge nutzen AST-Analyse, um gefährliche Code-Aufrufe wie exec(), eval() oder subprocess zu erkennen.
- LPU
- Die Language Processing Unit ist ein von Groq entwickelter Spezialchip für die Ausführung von Sprachmodellen. Er nutzt schnellen SRAM-Speicher und statisches Scheduling, um Token deutlich schneller zu generieren als herkömmliche GPUs.
- RAG
- Retrieval-Augmented Generation – Ein Verfahren, bei dem ein LLM vor der Antwortrelevante Informationen aus einer externen Wissensdatenbank abruft, um seine Antworten zu verbessern.
- TPU
- Die Tensor Processing Unit ist ein von Google entwickelter Spezialchip für maschinelles Lernen. Er wurde ursprünglich für das Training und die Inferenz von neuronalen Netzen entworfen und war Vorläufer der LPU-Architektur von Groq.
Häufige Fragen
Was ist eine LPU?
Eine Language Processing Unit ist ein spezieller Chip von Groq, der auf schnelle und kosteneffiziente LLM-Inference optimiert ist. Er nutzt SRAM statt DRAM und statisches Scheduling für niedrige Latenz.
Unterschied zwischen GPU und LPU?
GPUs sind auf hohen Durchsatz mit großen Batch-Größen optimiert und nutzen DRAM. LPUs arbeiten mit SRAM, statischem Scheduling und kleineren Batch-Größen für niedrigere Latenz bei der Inference.
Was ist Agentic AI?
Agentic AI bezeichnet Systeme, die Aufgaben in parallele Teilaufgaben zerlegen und mehrere KI-Kontext-Fenster gleichzeitig arbeiten lassen. Dies führt zu exponentiell steigendem Compute-Bedarf.
Was besagt das Jevons-Paradoxon?
Das Jevons-Paradoxon beschreibt, dass Effizienzsteigerungen nicht zu weniger, sondern zu mehr Gesamtverbrauch führen, da neue Anwendungen wirtschaftlich werden und die Nachfrage steigt.
Warum kombiniert man GPU und LPU?
GPUs sind ideal für den Prefill-Phase (hohe Parallelität), LPUs für die Decode-Phase (niedrige Latenz). Zusammen bieten sie die beste Kosten-effizienz bei jeder gewünschten Geschwindigkeit.