玩家声音
@讨论串
越狱版PS5现可运行本地AI模型，速度超过每秒100个Token
返回社区起始文章
越狱版PS5现可运行本地AI模型，速度超过每秒100个Token
Reddit用户u/AdIllustrious7246发布了一个名为PS5LM的分支版本，这是llama.cpp的一个移植版，旨在让越狱后的PlayStation 5主机能够本地运行大语言模型。 这一进展标志着重大突破，通过利用主机的GPU实现了原生执行，相比以往依赖CPU负载的方法有了显著提升。 该项目利用RADV图形驱动程序的移植版PS5_Vulkan，绕过了主机AMD GPU的标准限制。 通过将处理任务从CPU转移到GPU，系统现在能够以每秒20个Token的速度处理Q
此文章将加入同一主题的讨论串。
最新讨论
尚无使用此标签的帖子。