Metas nye AI-model Muse Spark Open kører lokalt på Mac Studio
Meta har udgivet en ny, åbent tilgængelig AI-model kaldet Muse Spark Open, som ifølge selskabet er den mest kapable amerikanske open-weight model til dato. Det særlige ved lanceringen er, at Meta har samarbejdet med Apple om at optimere modellen, så den kan køre lokalt på Mac Studio med Apples M5 Ultra-chip i stedet for i et datacenter.
Muse Spark Open er en multimodal model med en mixture-of-experts-arkitektur. Den har 816 milliarder parametre i alt, men aktiverer kun omkring 42 milliarder af dem per token, og den har et kontekstvindue på op til 1 million tokens. Meta målretter modellen mod kodning, agent-baserede opgaver og lange, flertrins ræsonnementer, skriver MacRumors.
To Mac Studio-maskiner som én computer
For at køre den fulde model skal man bruge to Mac Studio-maskiner med M5 Ultra-chip og 512 GB hukommelse hver, så der samlet er 1 terabyte hukommelse til rådighed. En 4-bit komprimeret udgave af modellen kræver stadig omkring 493 GB, men da der også skal være plads til mellemregninger under selve beregningen, kan selv den udgave ikke rummes på en enkelt maskine, skriver MacStories. Der skal mindst to Mac Studio-maskiner til, uanset om modellen er komprimeret eller ikke.
Det er muligt takket være Apples open source-framework MLX, der er bygget til at udnytte Apple-chips’ delte hukommelse. På sin forskningsblog forklarer Apple, at flere Mac Studio-maskiner kan kobles sammen via Thunderbolt 5 med RDMA, så de fungerer som én klynge. I en test med fire maskiner nåede opsætningen over 36 tokens i sekundet, og den nye M5 Ultra er ifølge Apple op til 4,6 gange hurtigere end M3 Ultra til at generere det første svar, blandt andet takket være chippens Neural Accelerators.
Apples hardwarechef John Ternus kommenterede samarbejdet på X: “Amazing to run a model of Muse Spark Open’s caliber and scale this efficiently, right from your desk. Mac Studio keeps pushing the boundaries of on-device AI,” skrev han til Metas topchef Mark Zuckerberg, ifølge MacRumors.
Mac Studio med M5 Ultra er i danske butikker, men ikke i fuld størrelse endnu
Mac Studio med M5 Ultra-chip har kunnet købes i Danmark siden den 22. september. Grundmodellen med 96 GB hukommelse og 1 TB lagerplads koster omkring 50.000 kr. hos danske forhandlere som Elgiganten og Proshop. Den konfiguration med 512 GB hukommelse, som Meta og Apple har brugt til at vise modellen frem, er derimod endnu ikke til salg. Apples danske webshop oplyser, at muligheden for 512 GB hukommelse til M5 Ultra kommer i slutningen af oktober.
Muse Spark Open er ikke en app eller funktion, som almindelige iPhone- og Mac-brugere møder direkte. Modellen er gratis at downloade med en kommerciel licens og rettet mod udviklere og virksomheder, der kan hente den via Hugging Face eller bruge den hos cloud-udbydere som Together AI og Fireworks AI. Danske udviklere, der vil afprøve den lokalt i fuld størrelse, må altså vente til slutningen af oktober, hvor 512 GB-udgaven af Mac Studio ventes i butikkerne, og selv da kræver det to af dem for at køre den fulde model.
