L’article ne peut pas être activé avec JavaScript. Vous pouvez également activer JavaScript dans votre navigateur et sur la nouvelle page.
Apple a exécuté Muse Spark Open, un modèle Meta de 816 milliards de paramètres avec 42 milliards de paramètres actifs à la fois, dans quatre studios Mac et mesuré plus de 36 jetons par seconde. Les chercheurs en apprentissage automatique d’Apple affirment que le modèle « ne peut pas tenir sur une seule machine », et leurs chiffres placent quatre machines M5 Ultra le divisant en largeur à 36,73 jetons par seconde dans un contexte de 8 192 jetons, contre 15,74 pour deux machines dans un pipeline.
La mémoire est la raison pour laquelle il en faut quatre. Muse Spark Open « exigerait plus de 1,6 To de RAM dans sa précision native (BF16) pour les seuls paramètres du modèle », explique Apple, et environ 493 Go une fois quantifiés en NVFP4 4 bits, contre un plafond de 512 Go de mémoire unifiée dans un seul Mac Studio.
Apple l’appelle « le nouveau Muse Spark Open », le répertorie parmi les « LLM à poids ouvert populaires » qu’il compare et le charge dans ses propres lignes de commande à partir d’un chemin de lecture des méta-modèles/Muse-Spark-Open-816B-A42B-NVFP4. Les numéros de matériel ici sont ceux d’Apple, mesurés avec son propre outil mlx_lm.benchmark.
Thunderbolt 5 RDMA est ce qui maintient le cluster ensemble
macOS 26.2 a ajouté un pilote RDMA à faible latence sur Thunderbolt 5, et MLX v0.30.1 et versions ultérieures s’appuient sur lui avec un ensemble de collectifs de communication qu’Apple appelle jaccl, « prononcé « chacal » ». Chaque paire de machines est câblée peer to peer avec deux câbles Thunderbolt pour doubler la bande passante de la liaison, et une tâche est exécutée sur les nœuds avec une seule commande mlx.launch.
Le deuxième câble vaut un numéro. Sur quatre machines M5 Ultra dans un contexte de 65 536 jetons, Apple signale que le temps nécessaire pour obtenir le premier jeton est passé d’environ 50,5 secondes avec un câble par liaison à 40,6 secondes avec deux.
Diviser un modèle en deux manières est un cas facile, et Apple décrit le parallélisme de pipeline, qui donne à une machine la première moitié des couches et à l’autre la seconde, comme « extrêmement simple à mettre en œuvre ». Le diviser en largeur sur quatre machines est le plus difficile, car chaque couche doit diffuser ses entrées et collecter ses sorties pour chaque jeton, c’est là que le lien à faible latence gagne sa place.
La bande passante du M5 Ultra est ce qui déplace les jetons
La vitesse de génération est liée à la bande passante mémoire, et le M5 Ultra transporte 1,2 To/s de bande passante mémoire unifiée contre 819 Go/s sur le M3 Ultra. Apple rapporte que le décodage s’exécute jusqu’à 1,6 fois plus rapidement sur la puce la plus récente et que le temps nécessaire pour obtenir le premier jeton est jusqu’à 4,6 fois plus rapide, car le pré-remplissage est lié au calcul et s’appuie sur les accélérateurs neuronaux du GPU M5, sujet d’un précédent article d’Apple sur cette puce.
Le pouvoir reste domestique. La consommation maximale est d’environ 200 W pour un Mac Studio avec M3 Ultra et de 300 W avec M5 Ultra, qu’Apple décrit comme « une fraction de la puissance utilisée par un grille-pain classique ».
Les modèles plus petits n’ont besoin de rien de tout cela. Qwen 3.8 à 27 Go prend jusqu’à 68 Go et Mistral Medium 3.5 à 128 Go jusqu’à 158 Go dans un contexte de 65 536 jetons, tous deux dans une machine de 512 Go, et la même machine les exécute à 19,69 et 7,70 jetons par seconde dans le contexte le plus court.
L’expérience inverse est plus ancienne de trois jours. L’équipe Frontier Red d’Anthropic a obtenu 0,39 jeton par seconde sur un modèle de 26 milliards de paramètres répartis sur 15 boîtiers Android TV le 12 octobre, sur des boîtiers coûtant environ 55 $ chacun avec 4 Go de RAM chacun, et ce sont les chiffres d’Anthropic tirés de son propre rapport plutôt que ceux d’Apple.
Le chiffre principal d’Apple est accompagné de ses conditions : quatre Mac Studios avec M5 Ultra, le modèle divisé en largeur, un contexte de 8 192 jetons et 128 jetons générés. Dans ce contexte, quatre machines ont également réduit le temps d’obtention du premier jeton à 4,8 secondes, contre 8,2 secondes sur deux réparties de la même manière.