小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
- ·冷格1998果汁汽水,健康+怀旧双逻辑撬动渠道增长!
- ·威少42+10+7关键三分 浓眉哥34+15鹈鹕不敌雷霆
- ·天天信息:中信证券:预计明年经济增长目标可能设定为5%左右
- ·22日NBA:乐福祝球迷圣诞快乐 奥拉迪波接近复出
- ·《尼尔》系列15周年PV温情回顾 玩家最期待的新作依旧成谜
- ·玻璃砖的应用范围 玻璃吊顶怎么固定,行业资讯
- ·史上最棒的iPhone X,為何沒人想買?|天下雜誌
- ·团体意外险属于什么险种,团体意外险的作用和意义
- ·宝宝重疾险哪种比较好?2022宝宝重疾险哪种比较好?
- ·幕墙的玻璃该怎么选 玻璃幕墙怎么打胶,行业资讯
- ·买养老保险要多少钱,买养老保险要多少钱一个月,买养老保险划算吗
- ·冤!雷霆老鹰裁判报告:威少最后10秒两攻遭漏判
- ·蚂蚁灵波开源 LingBot
- ·香飘全场!粤牧优品集市里,一只广弘信宜怀乡鸡“圈粉”无数|樱花下·广货行
- ·天下財經週報:天然資源基金最狂,你有買嗎?|天下雜誌
- ·汉阴县“链”出发展新动能
