핵심 정보
Apple 연구원들은 유휴 Mac을 가상 GPU 클라우드로 변환하여 내부 AI 워크로드를 관리하는 'Minions'라는 시스템을 도입했습니다. 이 시스템은 네트워크상의 여러 기기에 작업을 분산함으로써, 이전에는 10시간 이상 대기해야 했던 AI 작업의 대기 시간을 획기적으로 줄여 단 몇 분 만에 완료할 수 있게 합니다.
이 아키텍처는 Minion 서버, Executor, Watchdog으로 구성된 풀 기반 실행 모델을 활용합니다. 작업은 PostgreSQL 데이터베이스에 저장된 하위 작업으로 분할되며, 각 Mac은 REST API를 통해 이를 가져옵니다. 각 Mac은 Apple Silicon을 사용하여 로컬에서 할당된 하위 작업을 처리하며, 특히 Ollama를 통한 임베딩 또는 텍스트 생성 작업을 수행합니다.
신뢰성은 5분마다 하트비트를 모니터링하는 Watchdog에 의해 관리됩니다. 기기가 오프라인 상태가 되거나 사용자가 기기를 다시 사용하면 완료되지 않은 하위 작업은 대기열로 반환됩니다.
이 시스템은 인프라 비용이 들지 않고 유기적인 확장이 가능하지만, 연구원들은 하드웨어 마모나 전력 소비는 고려하지 않았다고 언급했습니다. 현재 내부용으로 제한된 Minions는 컴퓨팅 자원 부족 및 공급망 병목 현상에 대한 Apple의 우려를 해결합니다. 향후 연구는 이 프레임워크를 분산 모델 학습으로 확장하는 것을 목표로 하며, 전 세계 커뮤니티의 유휴 하드웨어를 안전하게 연합하여 공유 GPU 풀을 생성할 가능성을 열어두고 있습니다.
