Wichtige Informationen
Ein Reddit-Nutzer namens u/AdIllustrious7246 hat einen Fork von PS5LM veröffentlicht, einem Port von llama.cpp, der darauf ausgelegt ist, große Sprachmodelle lokal auf jailbroken PlayStation 5-Konsolen auszuführen. Diese Entwicklung ermöglicht die native Ausführung durch die Nutzung der GPU der Konsole, ein bedeutender Fortschritt gegenüber früheren Methoden, die auf CPU-basierten Payloads beruhten.
Das Projekt nutzt PS5_Vulkan, einen Port des RADV-Grafiktreibers, um Standardbeschränkungen der AMD-basierten GPU der Konsole zu umgehen. Durch die Verlagerung der Verarbeitung von der CPU auf die GPU kann das System nun größere Modelle wie Qwen3.8-27B mit 20 Tokens pro Sekunde verarbeiten, während kleinere Modelle wie Llama 3.2 3B Geschwindigkeiten von 124 Tokens pro Sekunde erreichen.
Die native Ausführung bietet Zugriff auf 11,4 GiB RAM, eine bemerkenswerte Steigerung gegenüber dem 6,25 GiB-Limit, das durch frühere CPU-only Payloads auferlegt wurde, die das System instabil machen konnten. Die aktualisierte Software enthält ein Dashboard zur Überwachung von Metriken wie Stromverbrauch, Temperaturen und Speicherauslastung sowie Unterstützung für ein Web-UI, das die Interaktion über externe Browser ermöglicht.
Trotz der technischen Leistung merken Beobachter an, dass die Hardwarebeschränkungen der PS5, insbesondere in Bezug auf den gesamten RAM und die GPU-Geschwindigkeit, es unwahrscheinlich machen, dass dies Auswirkungen auf die breitere KI-Industrie haben wird. Während einige Kommentatoren Bedenken hinsichtlich der potenziellen Hardwarebelastung äußerten, fehlt der Konsole das Leistungsprofil spezialisierter Rechenzentrumsausrüstung.
