La corsa ai chip AI si intensifica (ma non come ti aspetteresti)
Va bene, quindi se sei come me, che smanetti costantemente con i bot e cerchi di spremere ogni ultima goccia di prestazioni dal tuo hardware, probabilmente hai sentito i rumori. Arm ha recentemente annunciato il suo nuovo design di chip AI, l’“Ethos-U85,” e alcune persone lo stanno già definendo una potenziale minaccia per la posizione dominante di Nvidia nel mercato dell’AI. Come qualcuno che trascorre molto tempo a costruire e implementare AI, sono qui per dirti che, sebbene la mossa di Arm sia interessante, non è il cambiamento radicale che alcuni stanno prevedendo, soprattutto non per Nvidia.
Capire il campo di battaglia: Edge vs. Data Center
Analizziamo questo aspetto. La forza di Nvidia, in particolare con le sue GPU e acceleratori AI specializzati, risiede principalmente nel data center. Pensa all’addestramento di modelli linguistici massicci, all’esecuzione di simulazioni complesse e all’assunzione del peso per i servizi AI basati sul cloud. Questi sono compiti che richiedono molta energia, prestazioni elevate e una vasta quantità di banda di memoria.
Arm, d’altra parte, ha storicamente eccelso nello spazio incorporato e mobile – quello che chiamiamo “edge.” I loro processori sono noti per la loro efficienza, basso consumo energetico e idoneità per dispositivi come smartphone, gadget per la casa intelligente e sensori IoT. È qui che si propone di posizionarsi il nuovo Ethos-U85 di Arm. È progettato per l’“edge AI,” il che significa che è costruito per eseguire compiti di inferenza AI direttamente sui dispositivi, piuttosto che inviare dati a un server cloud per l’elaborazione.
Ethos-U85: cos’è e cosa non è
L’Ethos-U85 è un’unità di processamento neurale (NPU) in grado di erogare fino a 4 trilioni di operazioni al secondo (TOPS). È una cifra rispettabile per un dispositivo edge. È progettato per accelerare i carichi di lavoro di machine learning come il riconoscimento delle immagini, l’elaborazione del linguaggio naturale e il rilevamento delle anomalie, tutto localmente sul dispositivo. Questa è una buona notizia per cose come le telecamere di sicurezza che possono identificare oggetti senza inviare ogni fotogramma al cloud, o gli altoparlanti intelligenti che possono elaborare i comandi vocali più velocemente.
Tuttavia, 4 TOPS sono ben lontani dalle centinaia o addirittura migliaia di TOPS che le moderne GPU dei data center Nvidia offrono. Ad esempio, la GPU H100 di Nvidia può erogare oltre 4.000 TOPS per determinate attività AI. La differenza in scala è enorme. Non proveresti a addestrare un modello delle dimensioni di GPT-4 su un Ethos-U85, proprio come non proveresti a far girare un videogioco ad alta fedeltà su un orologio intelligente. Sono progettati per compiti fondamentalmente diversi.
La mia opinione: complementari, non competitivi (ancora)
Dalla mia prospettiva come costruttore di bot, queste tecnologie sono in gran parte complementari. Utilizzo GPU Nvidia per il pesante sollevamento dell’addestramento dei miei modelli – è lì che si forgia l’intelligenza. Poi, per l’implementazione su dispositivi più piccoli e con risorse limitate, potrei considerare soluzioni basate su Arm per l’inferenza. Ad esempio, se sto costruendo un bot che deve girare su un piccolo sistema embedded con budget energetici rigorosi, un NPU basato su Arm sarebbe un forte candidato.
Nvidia non sta ignorando nemmeno l’edge; hanno le loro piattaforme come Jetson, che si concentrano su applicazioni edge AI ad alte prestazioni. Ma la distinzione fondamentale rimane: Arm sta spingendo ulteriormente nell’ultra-efficiente e a basso consumo, mentre Nvidia continua a dominare il data center ad alta prestazione e le implementazioni più ampie edge.
Quindi, mentre l’Ethos-U85 di Arm è un’aggiunta gradita allo spazio AI edge, non porterà all’improvviso un cambiamento radicale nel business dei data center di Nvidia. Il titolo di Nvidia sta salendo a causa della domanda insaziabile per i suoi acceleratori ad alte prestazioni che sostengono le fondamenta dell’AI moderna. Il nuovo chip di Arm affronta semplicemente un segmento diverso, sebbene importante, del mercato AI. Per ora, stanno giocando partite diverse in campi diversi.
🕒 Published: