要点
Appleの研究者は、アイドル状態のMacを仮想GPUクラウドに変換して社内のAIワークロードを管理する「Minions」というシステムを導入しました。 ネットワーク上の複数のマシンにタスクを分散させることで、以前は10時間以上の待ち時間が発生していたAIジョブの待機時間を大幅に短縮し、わずか数分で完了できるようになりました。
このアーキテクチャは、Minionサーバー、Executor、Watchdogで構成されるプルベースの実行モデルを利用しています。 タスクはPostgreSQLデータベースに保存されたサブタスクに分割され、各MacがREST APIを介してそれらを取得します。 各MacはAppleシリコンを使用してローカルで割り当てられたサブタスクを処理し、特にOllamaを介した埋め込みやテキスト生成を扱います。
信頼性は5分ごとにハートビートを監視するWatchdogによって管理されます。 マシンがオフラインになったり、ユーザーがデバイスを再利用したりすると、未完了のサブタスクはキューに戻されます。
このシステムはインフラコストがゼロで有機的なスケーリングが可能ですが、研究者はハードウェアの摩耗や電力消費については考慮していないと指摘しています。 現在は社内利用に限定されているMinionsは、コンピューティングリソースの制約やサプライチェーンのボトルネックに関するAppleの懸念に対処するものです。 今後の研究では、このフレームワークを分散モデルトレーニングに拡張することを目指しており、世界中のコミュニティのアイドルハードウェアを安全に統合して共有GPUプールを作成する可能性を秘めています。
