핵심 정보
u/AdIllustrious7246라는 Reddit 사용자가 탈옥된 PlayStation 5 콘솔에서 대규모 언어 모델을 로컬로 실행하도록 설계된 llama.cpp의 포트인 PS5LM의 포크 버전을 공개했습니다. 이번 개발은 CPU 기반 페이로드에 의존하던 이전 방식에서 크게 발전하여 콘솔의 GPU를 활용한 네이티브 실행을 가능하게 했습니다.
이 프로젝트는 RADV 그래픽 드라이버의 포트인 PS5_Vulkan을 사용하여 콘솔의 AMD 기반 GPU에 대한 표준 제한을 우회합니다. 처리를 CPU에서 GPU로 전환함으로써 시스템은 이제 Qwen3.8-27B와 같은 더 큰 모델을 초당 20토큰으로 처리할 수 있으며, Llama 3.2 3B와 같은 더 작은 모델은 초당 124토큰의 속도를 달성합니다.
네이티브 실행은 11.4 GiB의 RAM에 대한 액세스를 제공하는데, 이는 시스템 불안정을 초래할 위험이 있던 이전의 CPU 전용 페이로드의 6.25 GiB 제한보다 크게 증가한 수치입니다. 업데이트된 소프트웨어에는 전력 소비, 온도, 메모리 할당과 같은 지표를 모니터링하기 위한 대시보드가 포함되어 있으며, 외부 브라우저를 통한 상호 작용을 지원하는 웹 UI도 제공합니다.
기술적인 성과에도 불구하고, 관찰자들은 PS5 하드웨어의 제한 사항, 특히 총 RAM 및 GPU 속도와 관련하여 이것이 더 넓은 AI 산업에 영향을 미칠 가능성은 낮다고 지적합니다. 일부 댓글 작성자들은 잠재적인 하드웨어 수요에 대해 우려를 표명했지만, 이 콘솔은 전문 데이터 센터 장비의 성능 프로필을 갖추고 있지 않습니다.
