Mac Studio M5 Ultra: GPU a 64 core o 80 core per l'IA locale? L'upgrade vale la pena?

Risposta rapida

A parità di capacità di memoria, l'M5 Ultra a 64 core rappresenta la scelta più sensata in termini di valore per una configurazione LLM locale per singolo utente, a meno che il carico di lavoro non dimostri un guadagno tangibile dagli 80 core.

Entrambi i livelli di GPU offrono la stessa larghezza di banda di memoria dichiarata di 1,2 TB/s. La versione a 80 core aggiunge risorse di calcolo, non una classe di larghezza di banda superiore.

I prompt lunghi non memorizzati nella cache sono un motivo più valido per considerare gli 80 core rispetto al presupposto che ogni risposta verrà generata più rapidamente.

Non abbiamo riscontrato test sufficientemente controllati, a parità di memoria, tra la versione a 64 e quella a 80 core per poter assegnare una percentuale di miglioramento affidabile.

L'aggiornamento aggiunge il 25% di core GPU in più; ciò non si traduce in un miglioramento misurato del 25% delle prestazioni dell'IA locale.

Compatibilità accessori: i moduli MacFrost Pro e MacForge Gen3 qui sotto sono destinati ai modelli Mac mini compatibili, non al Mac Studio.

Verifica prima l'esatta configurazione della memoria

Non dare per scontato che ogni opzione di memoria sia disponibile con entrambi i chip. Apple vincola esplicitamente l'opzione da 512GB al livello a 80 core. Verifica la combinazione di RAM e SSD desiderata nel configuratore prima di trattare due preventivi come un confronto a parità di memoria.

Prefill: elaborazione dell'input

Un documento lungo o una codebase devono essere elaborati prima che il modello possa rispondere. La spiegazione tecnica della GPU M5 di Apple descrive questa fase come un lavoro di calcolo matriciale intensivo e illustra il ruolo degli acceleratori neurali all'interno dei core GPU.

La nostra deduzione: un maggiore calcolo GPU è più promettente quando il collo di bottiglia è l'elaborazione dell'input non memorizzato nella cache. Verifica il tempo di esecuzione effettivo e il percorso del modello; il solo numero di core non garantisce il risultato.

Decodifica: generazione della risposta

La spiegazione di NetworkChuck sulla lettura rispetto alla scrittura descrive perché la generazione di modelli densi a flusso singolo può essere limitata dal trasferimento dei pesi attraverso la memoria. In tal caso, più risorse aritmetiche potrebbero offrire benefici minori rispetto alla fase di prefill.

La larghezza di banda condivisa indebolisce quindi le ragioni a favore dell'acquisto di 80 core al solo scopo di velocizzare lo streaming del testo. Ciò non prova che la velocità sia identica: architettura del modello, contesto, kernel e batching continuano a essere determinanti.

Un utile esempio tra generazioni diverse, non il confronto tra livelli richiesto

Nel benchmark pubblicato da NetworkChuck, Qwen3.8 27B a 4-bit con un prompt nominale di 32K ha elaborato l'input a 388 contro 1.526 token/s confrontando M3 Ultra e M5 Ultra. La generazione è stata di 27,8 contro 42,6 token/s, mentre la latenza per il primo token è passata da 83,6 a 21,3 secondi.

I diversi incrementi illustrano la distinzione tra elaborazione dell'input e generazione dell'output. Tali risultati non possono essere trasferiti al confronto tra i 64 e gli 80 core GPU all'interno dell'M5 Ultra.

Hardware e condizioni del test

Il registro delle macchine di test elenca una GPU a 80 core in entrambi i computer: M3 Ultra con 512GB e M5 Ultra con 256GB, entrambi con 8TB di memoria. Le versioni di macOS differivano: 26.5.1 e 27.0.

La metodologia dei modelli linguistici menziona mlx-community/Qwen3.8-27B-4bit, MLX 0.32.2 e mlx-lm 0.31.3. Il caching dei prompt e il "thinking" erano disabilitati; la temperatura era a zero. Ogni test ha scartato una run di riscaldamento iniziale, seguita da cinque esecuzioni con output da 128 token.

Le limitazioni pubblicate e il file README rivelano inoltre che un processo in background occupava un core CPU dell'M3 durante la maggior parte dei test. Si è trattato di un test trasparente e utile, ma non è stato un esperimento a parità di memoria, OS e livello di GPU M5 Ultra.

Illustrazione A: la generazione domina

Supponiamo che un'attività richieda 20 secondi di prefill più 80 secondi di generazione. Se solo il prefill diventa 1,25 volte più veloce, il tempo totale diventa 16 + 80 = 96 secondi: un risparmio di tempo del 4%.

Illustrazione B: l'elaborazione dell'input domina

Supponiamo 80 secondi di prefill più 20 secondi di generazione. Con lo stesso miglioramento ipotetico, il tempo totale diventa 64 + 20 = 84 secondi: un risparmio di tempo del 16%.

Documenti lunghi, in continua evoluzione, e contesti di programmazione

Considera gli 80 core quando attendi ripetutamente nuovi input di grandi dimensioni e puoi verificare una minore latenza del primo token o di completamento sul modello che utilizzi. Testa l'analisi di repository, la revisione di documenti o il lavoro basato su tool con prompt rappresentativi.

Diverse richieste simultanee

Testa la tua reale concorrenza. Una maggiore potenza di calcolo può diventare utile quando si servono più utenti o si elaborano batch, ma il throughput aggregato è diverso dalla latenza di risposta del singolo utente. Registra entrambi; non moltiplicare un benchmark a flusso singolo per il numero di utenti.

Immagini, video o attività di training insieme agli LLM

Se queste attività fanno parte del tuo carico di lavoro, esegui il benchmarking dello specifico pipeline separatamente. Un risultato di decodifica LLM non può quantificare il valore di ulteriore calcolo GPU per la diffusione o il training. Mantieni invariati la versione del modello, la precisione, la dimensione dell'output e il software.

Quando 64 core rimangono il punto di partenza ragionevole

Prediligi il livello inferiore quando il tuo modello e il contesto si adattano comodamente, quando la maggior parte del tempo di attesa è occupata da una generazione a flusso singolo o quando non hai alcun beneficio verificato a livello di attività che giustifichi il sovrapprezzo. Questa è una decisione di spesa conservativa basata su prove incomplete, non un'affermazione che entrambi i chip abbiano prestazioni identiche.

Misurare separatamente i mancati e i riusciti tentativi di cache

Confronta una richiesta con contesto nuovo e una richiesta con prefisso ripetuto su ciascuna macchina. Non trattare un'esecuzione memorizzata nella cache come prova di un'elaborazione degli input non memorizzati più rapida. Registra i token riutilizzati così come i nuovi token.

La capacità di memoria determina cosa può essere incluso

Pianifica il budget per i pesi, la cache KV della conversazione, le allocazioni di runtime e altre applicazioni. Il fatto che un file di modello entri sul disco non garantisce che l'intero carico di lavoro entri nella memoria utilizzabile. MLX-LM avverte che i modelli grandi rispetto alla RAM disponibile possono essere lenti.

• Macchine: pari capacità di RAM e SSD, versione di macOS, impostazioni di memoria e carico di lavoro in background; dichiara entrambi i livelli di CPU.
• Modello: repository e revisione esatti, quantizzazione, tokenizer e template di chat. Non confrontare MLX a 4 bit con una quantizzazione GGUF non correlata.
• Runtime: applicazione, backend e versione build, offload GPU, implementazione dell'attenzione ed eventuale decodifica speculativa.
• Richieste: token di input identici, lunghezza dell'output, modalità di pensiero e impostazioni di campionamento. Includi input brevi, da 4K, 16K e 32K solo dove il modello li supporta.
• Cache e carico: distingui tra tempo di caricamento del modello, prefill non memorizzato e richieste con prefisso memorizzato.
• Risultati: latenza del primo token, throughput di prefill, throughput di generazione, tempo di completamento end-to-end, pressione sulla memoria e swap.
• Ripetizione: scarta un riscaldamento documentato, esegui più ripetizioni e pubblica i singoli risultati oltre a una statistica riassuntiva coerente. Testa separatamente il funzionamento sostenuto e la concorrenza reale.

Un calcolo ipotetico di ammortamento

Supponiamo che una configurazione equivalente costi 1.200 dollari in più e che il tuo test mostri un risparmio di 15 secondi su ciascuno degli 80 compiti giornalieri nell'arco di 20 giorni lavorativi. Sono 6,67 ore al mese.

A 30 dollari per ora utile, il tempo vale 200 dollari al mese, con un ammortamento semplice di sei mesi. Tutti gli input qui sono illustrativi, compresi il premio e il risparmio di tempo; non sono una quotazione Apple né un benchmark hardware.

L'M5 Ultra a 80 core fornisce risposte AI migliori?

Con lo stesso modello, precisione e impostazioni di inferenza, un numero maggiore di core GPU non costituisce un miglioramento delle capacità di base del modello. Valuta la qualità delle risposte separatamente dalla velocità e mantieni le impostazioni fisse quando confronti le macchine.

Il Neural Engine a 32 core è uguale agli acceleratori neurali della GPU?

No. Apple elenca un Neural Engine separato a 32 core su entrambi i livelli di M5 Ultra. Gli acceleratori neurali della GPU sono componenti hardware diversi all'interno dei core della GPU; il numero totale condiviso del Neural Engine non garantisce prestazioni di inferenza GPU equivalenti.

Un SSD esterno può sostituire una memoria unificata sufficiente?

Un SSD è utile per archiviare i file dei modelli, ma la capacità di archiviazione non è memoria unificata aggiuntiva. Verifica il carico di memoria dell'intero flusso di lavoro in esecuzione invece di dare per scontato che una vasta libreria di modelli significhi che ogni modello verrà eseguito senza problemi.

Dovrei acquistare più RAM o la GPU a 80 core?

Scegli prima una memoria sufficiente per il tuo modello, il contesto e la concorrenza reali. Poi valuta il valore del calcolo. Se la memoria di cui hai bisogno richiede un livello di chip superiore nel configuratore attuale, la decisione include la capacità piuttosto che essere solo un aggiornamento della GPU.

Un dissipatore per Mac mini migliorerà le prestazioni del Mac Studio M5 Ultra?

Il modulo MacFrost Pro qui presente è per modelli di Mac mini compatibili. Non dedurne la compatibilità con Mac Studio o un miglioramento misurato della velocità di Studio. La compatibilità degli accessori e le prestazioni a livello di GPU sono questioni separate.