Información clave
Un usuario de Reddit identificado como u/AdIllustrious7246 ha lanzado una bifurcación de PS5LM, un puerto de llama.cpp diseñado para ejecutar modelos de lenguaje grandes localmente en consolas PlayStation 5 con jailbreak. Este desarrollo permite la ejecución nativa aprovechando la GPU de la consola, un avance significativo respecto a los métodos anteriores que dependían de cargas útiles basadas en CPU.
El proyecto utiliza PS5_Vulkan, un puerto del controlador de gráficos RADV, para eludir las restricciones estándar en la GPU basada en AMD de la consola. Al trasladar el procesamiento de la CPU a la GPU, el sistema ahora puede manejar modelos más grandes como Qwen3.8-27B a 20 tokens por segundo, mientras que modelos más pequeños como Llama 3.2 3B alcanzan velocidades de 124 tokens por segundo.
La ejecución nativa proporciona acceso a 11.4 GiB de RAM, un aumento notable sobre el límite de 6.25 GiB impuesto por las cargas útiles anteriores solo para CPU que arriesgaban la inestabilidad del sistema. El software actualizado incluye un panel para monitorear métricas como el consumo de energía, las temperaturas y la asignación de memoria, junto con soporte para una interfaz web que permite la interacción a través de navegadores externos.
A pesar del logro técnico, los observadores señalan que las limitaciones de hardware de la PS5, específicamente con respecto a la RAM total y la velocidad de la GPU, hacen poco probable que afecte a la industria de la IA en general. Si bien algunos comentaristas expresaron preocupaciones con respecto a la posible demanda de hardware, la consola carece del perfil de rendimiento de los equipos especializados de centros de datos.
