新京报讯(记者张建林)10月13日,面壁智能正式发布新一代端侧多模态大模型MiniCPM-V 4.7,包含35B-A3B与1B两个版本。
35B-A3B采用MoE(混合专家)架构,总参数350亿、每次推理仅激活30亿,是首个可在端侧无损流畅运行的开源MoE模型,仅约3GB 内存即可运行,解码速度达15+ token/s(iPad Pro实测),真正做到即问即答、无需等待。
1B版本主打端侧极致效率,让旗舰级能力跑进更多端侧设备,也让端侧多模态从少数设备的探索走向每个人的日常。
据了解,大模型发布当日,即支持瑞芯微、NVIDIA、Intel和Apple等国内外主流芯片平台,同时支持iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。
记者从面壁智能获悉,新一代端侧多模态大模型的研发依靠面壁智能自研的 LES(前瞻专家调度)技术。
MoE模型的特点是模型内部有众多“专家”,而每次回答只调用其中几位,这意味着虽然能力更强,但同时也给手机运存带来极大压力。
专家介绍,传统做法是“用哪位‘专家’,就临时把它搬进运存,搬完再算”,一搬一停,就会卡顿。而面壁智能LES技术可以做到提前预判、无缝衔接。系统会提前预测接下来要用到哪些“专家”,趁当前计算还在进行时就把它们提前加载好,让加载与计算同步推进。就像接力赛里接棒人提前起跑、边跑边接棒,棒子到手时已是全速,无需任何等待时间。该技术目前为业界独家开源方案。
截至目前,由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型,全球累计下载量已突破6000万次,覆盖文本、视觉、语音全模态。
编辑 张磊
校对 穆祥桐
