Wichtige Informationen
Apple-Forscher haben ein System namens Minions vorgestellt, das ungenutzte Macs in eine virtuelle GPU-Cloud verwandelt, um interne KI-Workloads zu verwalten. Durch die Verteilung von Aufgaben über ein Netzwerk von Rechnern reduziert das System die Wartezeiten für KI-Aufträge, die zuvor Warteschlangen von über 10 Stunden aufwiesen, erheblich und schließt sie oft in wenigen Minuten ab.
Die Architektur nutzt ein Pull-basiertes Ausführungsmodell, das aus einem Minion-Server, einem Executor und einem Watchdog besteht. Aufgaben werden in Teilaufgaben unterteilt, die in einer PostgreSQL-Datenbank gespeichert sind, welche einzelne Macs dann über REST-APIs abrufen. Jeder Mac verarbeitet seine zugewiesene Teilaufgabe lokal unter Verwendung von Apple Silicon für KI-Inferenz, wobei insbesondere Embeddings oder Textgenerierung über Ollama gehandhabt werden.
Die Zuverlässigkeit wird durch einen Watchdog verwaltet, der alle fünf Minuten Heartbeats überwacht. Wenn ein Rechner offline geht oder ein Benutzer sein Gerät zurückfordert, werden unfertige Teilaufgaben in die Warteschlange zurückgegeben. Während das System keine Infrastrukturkosten und eine organische Skalierung bietet, merken die Forscher an, dass es Hardwareverschleiß oder Stromverbrauch nicht berücksichtigt.
Derzeit auf die interne Nutzung beschränkt, adressiert Minions Apples Bedenken hinsichtlich begrenzter Rechenressourcen und Engpässen in der Lieferkette. Zukünftige Forschung zielt darauf ab, dieses Framework auf verteiltes Modelltraining auszudehnen, mit dem Potenzial, ungenutzte Hardware sicher über globale Gemeinschaften hinweg zu föderieren, um einen gemeinsamen GPU-Pool zu schaffen.
