@スレッド

最初の記事

脱獄済みPS5でローカルAIモデルが毎秒100トークン以上で動作可能に

Redditユーザーのu/AdIllustrious7246氏が、脱獄済みPlayStation 5コンソール上で大規模言語モデルをローカル実行するために設計されたllama.cppのポートである「PS5LM」のフォーク版をリリースしました。 この開発により、CPUベースのペイロードに依存していた従来の手法から大きく進歩し、コンソールのGPUを活用したネイティブ実行が可能になりました。 このプロジェクトは、RADVグラフィックスドライバーのポートである「PS5_Vulkan」

この投稿は同じ話題のスレッドに追加されます。