Inflection AI baut mit Nvidia milliardenteuren KI-Supercomputer
Die unter anderem von Bill Gates, Eric Schmidt und Nvidia finanzierte Firma will ihren KI-Chatbot „Pi“ auf 22.000 H100-Beschleunigern trainieren.
Rechenzentrum mit Nvidia-Technik (Symbolbild)
(Bild: Nvidia)
Das erst 2022 im Silicon Valley gegründete Startup-Unternehmen Inflection AI hat weitere 1,3 Milliarden US-Dollar Risikokapital eingeworben. Damit baut es zusammen mit Partnern einen KI-Supercomputer mit rund 22.000 Rechenbeschleunigern vom Typ Nvidia H100 (Hopper) auf. Inflection AI will damit unter anderem die KI des Chatbots „Pi“ trainieren, den man unter heypi.com/talk ausprobieren kann.
Der KI-Superrechner soll bei der Verarbeitung von Gleitkommawerten im FP16-Datenformat 22 Exaflops (EFlops) Rechenleistung erreichen; bei FP64-Werten würde das System, wenn es heute schon liefe, nach Einschätzung des Unternehmens Platz 2 auf der Top500-Liste der Supercomputer erreichen.
Inflection AI hat bereits mehrere hundert Millionen US-Dollar Startkapital gesammelt und betreibt einen Cluster mit über 3000 H100-Beschleunigern. Für diesen konnte das Unternehmen vor wenigen Tagen Rekordergebnisse im KI-Benchmark MLPerf melden. Auch das Large Language Model (LLM) Inflection-1 rechnet laut Inflection AI besonders effizient.
(Bild: Nvidia)
Riesige KI-Maschinen
Inflection AI kooperiert mit Microsoft (beziehungsweise Microsoft Azure), Nvidia und dem US-Clouddienstleister CoreWeave. Letzterer betreibt in den USA an den Standorten Chicago, Las Vegas und New Jersey Rechenzentren, in denen KI-Beschleuniger laufen, vorwiegend von Nvidia. Microsoft und Nvidia sind wiederum auch Partner von CoreWeave.
Laut den MLPerf-Berichten nutzt Inflection AI Nvidia-Systeme vom Typ HGX H100, die CoreWeave betreibt, und zwar im Verbund mit Intel-Prozessoren vom Typ Xeon Platinum 8462Y+. Ein Clusterknoten kombiniert dabei typischerweise acht H100-Module (SXM5, je 80 GByte RAM) mit zwei CPUs. Supermicro liefert solche Systeme und packt je vier davon in ein 42- oder 48-HE-Rack, also 32 H100-Beschleuniger in einen Schrank. Für 22.000 H100 wären demnach 688 Schränke nötig.
Laut Supermicro liegt die maximale Leistungsaufnahme bei 45.000 Watt (45 kW) pro Rack, der gesamte Superrechner mit 22.000 H100 könnte dann bis zu 31 MW schlucken. Das ist deutlich mehr als die 22,7 MW, die der erste EFlops-Supercomputer Frontier laut Green500-Liste benötigt.
Listenpreis bei über 1 Milliarde US-Dollar
Würde Inflection AI Listenpreise zahlen, könnte ein Superrechner aus 22.000 H100 über 1 Milliarde US-Dollar kosten. Ein deutscher Distributor nennt für eine Nvidia DGX H100, die etwas anders aufgebaut ist als ein Server mit HGX H100, einen Listenpreis von 431.600 Euro (mit 8x H100). Universitäten bekommen demnach 30 Prozent Rabatt.
Auch Nvidia selbst baut seit 2022 einen sehr großen KI-Superrechner auf: Nvidia Eos ist ebenfalls mit H100-Beschleunigern bestückt.
Der Börsenwert von Nvidia schießt derzeit durch die Decke, weil zahlreiche KI-Superrechner mit H100-Karten geplant oder im Bau sind. So bauen derzeit beispielsweise Google Cloud und Microsoft Azure ihre KI-Rechenkapazitäten enorm aus.
Prominente Partner
Chef von Inflection AI ist der britische Experte Mustafa Suleyman, der 2010 zu den Gründern der 2014 von Google gekauften Firma DeepMind Technologies gehörte. Die Milliardäre Bill Gates, Eric Schmidt (ehemaliger Google-Chairman) und Reid Hoffman (LinkedIn-Mitgründer) haben in Inflection AI ebenso investiert wie US-Rapper will.i.am.
(ciw)
