开发者 Leonardo Alegria 开源 Garlic LLM 项目,在搭载 GoldHEN 自制系统、固件 11.52 版本的越狱 PS4 主机上,成功离线本地运行阿里 Qwen3.5-9B(90 亿参数)大语言模型,全程不用联网,普通对话生成速度 31–39 token/s,写代码场景最高可达 43 token/s;PS4 原生没有开放通用 AI 计算接口,开发者绕过官方图形驱动,直接向 AMD GCN 架构 GPU 下发底层指令,搭配 3/4bit 混合量化、推测解码 MTP 技术,把模型体积压缩到 4.5GiB,塞进 PS4 总共 8GB 的统一 GDDR5 内存里,支持 16k 上下文窗口,还配套语音识别、语音合成、简易代码执行功能,测试机型为标准版 PS4 与 PS4 Slim,PS4 Pro 暂未完成验证。
一、基础信息汇总表
| 项目 | 参数说明 |
|---|---|
| 项目名称 | Garlic LLM |
| 基座模型 | Qwen3.5-9B(90 亿参数) |
| 运行设备 | 越狱 PS4(标准版 / Slim,固件 11.52,GoldHEN) |
| 内存配置 | 8GB 统一 GDDR5 内存 |
| 量化方案 | 3bit+4bit 混合量化,KV 缓存 4bit |
| 模型占用 | 模型权重约 4.5GiB,完整安装包 5.66GB |
| 上下文窗口 | 16000 Token |
| 推理速度 | 日常对话 31~39 token/s,代码最高 43 token/s |
| 附加能力 | 7 种语言语音对话、25 种语言听写、MicroPython 代码执行 |
二、核心技术实现要点清单
- 底层 GPU 直驱:不依赖 llama.cpp、Vulkan、官方计算 SDK,手写 GCN 计算内核,通过 PM4 命令缓冲区直接调度 GPU,适配 PS4 封闭驱动环境。
- 混合量化压缩:大部分权重 4bit,超大矩阵部分降到 3bit,大幅降低显存占用,牺牲少量精度换取可运行空间。
- MTP 推测解码:利用 Qwen 原生多 token 预测能力,提前预生成并校验多个词元,提升推理速度,是达到 43token/s 的关键。
- 架构分工:CPU 负责分词、UI 渲染、音频处理;GPU 承担矩阵乘法、大模型推理主力运算。
三、安装和硬件限制
- 存储:安装至少预留 6GB 空闲空间,如果先拷贝安装包到内置硬盘,需要 12GB 空闲空间。
- 机型限制:目前只在普通版、Slim 版 PS4 验证,PS4 Pro、更高 / 更低固件版本兼容性未知。
- 性能瓶颈:8GB 内存是硬性天花板,很难再跑更大参数的模型;开启语音功能后推理速度会下降。
四、它的定位与短板
✅ 亮点:老旧游戏主机改造、完全离线本地推理、低成本趣味折腾项目,验证 GCN 老 GPU 也具备大模型推理潜力。
❌ 短板:属于爱好者自制项目,稳定性一般;对比 PC 显卡、专用 NPU,推理速度慢;越狱本身会带来主机 ban 机风险,没有商用价值。
五、上手判断步骤
- 分清性质:Garlic LLM 属于极客自制折腾项目,不是索尼官方功能,前提必须越狱主机。
- 评估风险:PS4 越狱会失去保修、联网有被 PSN 封禁的风险,不建议主力机尝试。
- 看懂速度指标:token/s 越高输出越快,写代码场景更快,日常问答稳定在 30 上下。
- 区分场景:适合离线把玩、技术验证,不适合拿来做主力 AI 生产力工具。
【相关 FAQ】
问题 1:越狱 PS4 运行 90 亿参数大模型,用的是什么项目和基座模型?
回答 1:越狱 PS4 本地运行 90 亿参数大模型依靠 Garlic LLM 开源项目,基座是阿里 Qwen3.5-9B,采用 3bit+4bit 混合量化压缩之后才能装进 PS4 的 8GB 内存。
问题 2:越狱 PS4 跑这个 90 亿参数大模型,为什么需要绕过 PS4 官方驱动?
回答 2:PS4 系统没有对外开放通用 GPU 计算接口、机器学习库,Garlic LLM 只能绕开原生图形驱动,直接给 AMD GCN GPU 下发底层 PM4 指令完成大模型矩阵运算。
问题 3:PS4 越狱运行 90 亿参数大模型,普通玩家直接装会有什么风险?
回答 3:想要在 PS4 上跑这个 90 亿参数大模型,必须先越狱并安装 GoldHEN 自制系统,PS4 越狱后联网登录 PSN 存在账号被封禁、主机被 ban 的风险,同时失去官方保修。
【参考资料】
[2026-11-17](最高每秒 43 词元:Garlic LLM 可让越狱 PS4 运行 90 亿参数本地 AI 模型)IT 之家
[2026-11-17](越狱 PS4 成功运行 90 亿参数本地大模型)DoNews
[2026-11-16](Jailbroken PS4 runs 9-billion-parameter AI model at up to 43 tokens per second)Tom's Hardware
[2026-11-16](脱狱した PlayStation 4 で 90 億パラメーターの AI モデルを毎秒最大 43 トークンで動作させる)GIGAZINE
[2026-11-16](Jailbroken PS4 Runs Qwen3.5-9B AI Model Offline at Up to 39 Tokens per Second)SSBCrack News
【免责声明】
PS4 越狱违反索尼用户协议,存在 ban 机、失去保修风险;Garlic LLM 是开发者个人开源趣味项目,稳定性、安全性无保障;量化后的大模型会存在精度损失,不适合生产、商用场景;本文仅做技术资讯科普,不鼓励、不指导主机越狱操作。
本文来自作者[弘舟知品]投稿,不代表环球品牌网立场,如若转载,请注明出处:https://www.865171.cn/qyzx/202611/1253.html
评论列表(4条)
我是环球品牌网的签约作者“弘舟知品”!
希望本篇文章《越狱 PS4 借助 Garlic LLM 项目,本地离线跑通 90 亿参数 Qwen3.5 大模型》能对你有所帮助!
本站[环球品牌网]内容主要涵盖:品牌服务领域
本文概览:开发者 Leonardo Alegria 开源 Garlic LLM 项目,在搭载 GoldHEN 自制系统、固件 11.52 版本的越狱 PS4 主机上,成功离线本地运行阿里 Qwen3.5-9B(90 亿参数)大语言模型,全程不用联网,普通对话生成速度 31–39 token s,写代码场景最高可达 43 token s;PS4 原生没有开放通用 AI 计算接口,开发者绕过官方图形驱动,直接向 AMD GCN 架构 GPU 下发底层指令,搭配 3 4bit 混合量化、推测解码 MTP 技术,把模型体积压缩到 4.5GiB,塞进 PS4 总共 8GB 的统一 GDDR5 内存里,支持 16k 上下文窗口,还配套语音识别、语音合成、简易代码执行功能,测试机型为标准版 PS4 与 PS4 Slim,PS4 Pro 暂未完成验证。