快科技5月7日消息,今日,联想创新科技大会(Tech World)以让AI成为创新生产力”为主题,聚焦混合式人工智能,从个人到企业,全方位展示联想创新技术成果。

会上,联想展示了其在端侧算力方面的最新创新成果联想推理加速引擎”。

据了解,这款由联想、清华大学及无问芯穹联合研发的推理引擎,是专为高效AI PC推理而设计的软硬件协同优化平台,可以让一台普通PC的本地推理能力,媲美OpenAI去年发布的o1-mini云端模型。

联想推理加速引擎”通过高性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升,以及功耗和内存占用的显著降低。

与大模型推理芯片相结合,通过硬件加速与软件优化的无缝协作,进一步放大了性能提升,形成了叠加效应。

为直观展示 联想推理加速引擎”的实力,现场设置了一场竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题:

初代大模型:耗时27秒,答案0分。

二代大模型:耗时26秒,答案满分。

二代大模型 联想推理加速引擎”:耗时13秒,答案满分。

这表明模型能力的提升和 联想推理加速引擎”对算力的提升,让设备的预填充更为迅速、解码速度更快、推理时间更短,同时占用内存更少,能耗更低,设备上的 AI 能力得到了大幅提升。

联想集团董事长兼CEO杨元庆表示,很快大家就会在即将发布的下一代 AI PC 上体验到 联想推理加速引擎”带来的强大本地推理能力,其性能可以与云端大模型相媲美,但成本却低得多。