Das Rennen um den AI-Chip wird intensiver (aber nicht wie Sie erwarten würden)
Okay, wenn Sie wie ich sind und ständig an Bots basteln und versuchen, jede letzte Leistungsreserve aus Ihrer Hardware herauszuholen, haben Sie wahrscheinlich von dem Trubel gehört. Arm hat kürzlich sein neues AI-Chip-Design, den „Ethos-U85“, angekündigt, und einige Leute nennen ihn bereits eine potenzielle Bedrohung für Nvidias dominante Position im AI-Markt. Als jemand, der viel Zeit damit verbringt, AI tatsächlich zu erstellen und bereitzustellen, kann ich Ihnen sagen, dass Arms Schritt zwar interessant ist, aber nicht der seismische Wandel, den einige vorhersagen, insbesondere nicht für Nvidia.
Das Schlachtfeld verstehen: Edge vs. Rechenzentrum
Lasst uns das aufschlüsseln. Nvidias Stärke, insbesondere mit seinen GPUs und spezialisierten AI-Beschleunigern, liegt hauptsächlich im Rechenzentrum. Denken Sie an das Training massiver Sprachmodelle, das Ausführen komplexer Simulationen und das Bewältigen der schweren Lasten für cloudbasierte AI-Dienste. Das sind stromhungrige, leistungsstarke Aufgaben, die unglaubliche Rechenleistung und große Mengen an Speichernutzung erfordern.
Arm hingegen hat historisch im Bereich eingebetteter und mobiler Systeme, das wir als „Edge“ bezeichnen, hervorragende Leistungen erbracht. Ihre Prozessoren sind bekannt für ihre Effizienz, ihren niedrigen Stromverbrauch und ihre Eignung für Geräte wie Smartphones, Smart-Home-Gadgets und IoT-Sensoren. Hier zielt Arms neuer Ethos-U85 hin. Er ist für „Edge AI“ konzipiert, was bedeutet, dass er darauf ausgelegt ist, AI-Inferenzaufgaben direkt auf den Geräten auszuführen, anstatt Daten zur Verarbeitung an einen Cloud-Server zu senden.
Der Ethos-U85: Was er ist und was er nicht ist
Der Ethos-U85 ist eine neuronale Verarbeitungseinheit (NPU), die bis zu 4 Billionen Operationen pro Sekunde (TOPS) liefern kann. Das ist eine respektable Zahl für ein Edge-Gerät. Er ist darauf ausgelegt, Arbeitslasten des maschinellen Lernens wie Bildverarbeitung, natürliche Sprachverarbeitung und Anomalieerkennung alle lokal auf dem Gerät zu beschleunigen. Das sind großartige Neuigkeiten für Dinge wie Sicherheitskameras, die Objekte identifizieren können, ohne jedes Bild in die Cloud zu senden, oder Smart-Lautsprecher, die Sprachbefehle schneller verarbeiten können.
Allerdings sind 4 TOPS weit entfernt von den Hunderten oder sogar Tausenden von TOPS, die moderne Nvidias Rechenzentrums-GPUs bieten. Beispielsweise kann Nvidias H100-GPU über 4.000 TOPS für bestimmte AI-Aufgaben liefern. Der Unterschied im Maßstab ist enorm. Sie würden nicht versuchen, ein Modell in der Größe von GPT-4 auf einem Ethos-U85 zu trainieren, genauso wenig, wie Sie versuchen würden, ein hochauflösendes Videospiel auf einer Smartwatch zu spielen. Sie sind für grundsätzlich unterschiedliche Aufgaben ausgelegt.
Meine Einschätzung: Komplementär, nicht wettbewerbsfähig (noch nicht)
Aus meiner Perspektive als Bot-Bauer sind diese Technologien weitgehend ergänzend. Ich nutze Nvidias GPUs für die schwere Arbeit beim Training meiner Modelle – da wird die Intelligenz geschmiedet. Dann könnte ich für die Bereitstellung auf kleineren, engeren Geräten Arm-basierte Lösungen für die Inferenz in Betracht ziehen. Wenn ich beispielsweise einen Bot baue, der auf einem winzigen eingebetteten System mit strengen Leistungsgrenzen laufen muss, wäre eine Arm-basierte NPU ein starker Kandidat.
Nvidia ignoriert den Edge ebenfalls nicht; sie haben eigene Plattformen wie Jetson, die sich auf leistungsstärkere Edge-AI-Anwendungen konzentrieren. Aber der grundlegende Unterschied bleibt bestehen: Arm dringt weiter in den ultra-effizienten, niederen Leistungsbereich vor, während Nvidia weiterhin das hochleistungsfähige, hochstromverbrauchende Rechenzentrum und größere Edge-Einsätze dominiert.
Während Arms Ethos-U85 also eine willkommene Ergänzung im Bereich der Edge AI ist, wird er nicht plötzlich Nvidias Rechenzentrumsbusiness den Boden entziehen. Nvidias Aktien steigen aufgrund der unstillbaren Nachfrage nach seinen leistungsstarken Beschleunigern, die das Fundament der modernen AI bilden. Arms neuer Chip spricht einfach ein anderes, wenn auch wichtiges, Segment des AI-Markts an. Im Moment spielen sie einfach unterschiedliche Spiele auf unterschiedlichen Feldern.
🕒 Published: