IT之家 3 月 23 日音讯，领有 4000 亿参数的诳言语模子只可在配备大容量内存、性能强项的硬件上运转，因为即使是量化或压缩版块，也至少需要 200GB 内存。从这些无情的建立条目来看，iPhone 17 Pro 完全不会是运转 4000 亿参数大模子的首选，但有东谈主依然解释，这一代旗舰机型完成了这件看似不能能的事。不外IT之家需要阐明的是，这离不开一些奥妙的手艺技巧。

一个名为 Flash‑MoE 的开源形势已在 iPhone 17 Pro 上到手运转，据网友 @anemll 展示，这款旗舰机天然能运转这个算力需求极高的模子，但也存在知晓短板，其 Token 生成速率慢得惊东谈主，仅 0.6 个 Token / 秒，约莫每 1.5 到 2 秒才气生成一个单词。

不外话又说追思，无论速率若何，一部智高手机能跑起来 4000 亿参数的诳言语模子，M6体育app官网这一事实本人就阐明：惟一再作念一些优化，明天在手机端腹地运转诳言语模子完全是有可能兑现的。

至于兑现旨趣：iPhone 17 Pro 仅配备 12GB LPDDR5X 内存，根柢不能能把所有这个词大模子一齐载入内存，而 Flash‑MoE 则诈骗了建筑的固态硬盘（SSD），径直向 GPU 流式传输数据。此外，“MoE”代表搀和众人模子（Mixture of Experts），这意味着其每生成一个单词，只需要调用 4000 亿参数中的一小部分。

在腹地运转诳言语模子还有一个公正：完全保护逃避，且无需联网就能获取恢复，只不外 iPhone 17 Pro 的电板会被严重铺张。设备者们也会使用诳言语模子的压缩版，也就是“量化版”，但即等于量化后的 4000 亿参数模子，最低仍需 200GB 内存，这在 iPhone 17 Pro 上正本是无法兑现的。

简而言之，此次最新演示解释：惟一你能忍耐每秒仅 0.6 个 Token 的冉冉生成流程，就不错在智高手机上运转 4000 亿参数的诳言语模子。但也要明晰，“能跑起来”和“能运动、可用地使用”完全是两码事。