/ 资讯中心 / 新闻中心 / 高通AI Hub China发布,广和通打通端侧AI从模型到终端的工程化链路


高通AI Hub China发布,广和通打通端侧AI从模型到终端的工程化链路

随着生成式AI和智能体AI能力不断向终端侧延伸,端侧AI应用正加速从技术验证走向产品化。对开发者而言,挑战已不只是让模型“跑起来”,而是如何更快选定合适的模型与算力平台,完成适配和性能优化,并最终进入真实产品。

近日,高通发布 Qualcomm AI Hub China,进一步面向中国开发者提供本地化模型资源、开发工具、性能测试及端侧部署支持。目前,AI Hub中国版已提供近230个优化AI模型,覆盖通义千问、腾讯混元、面壁智能、中国电信星辰等国内模型,并通过本地开发者生态支持,加速AI模型在终端侧的开发与应用。

广和通此前已在端侧AI开发中使用Qualcomm AI Hub相关软件能力,并结合自身Fibocom AI Stack平台开展模型适配、性能优化和终端部署。随着AI Hub China推出,广和通将进一步拓展Fibocom AI Stack对主流模型及高通平台的适配能力,为机器人、智能视觉等端侧AI应用提供更高效的开发支持。

高通AI Hub China与Fibocom AI Stack协同加速端侧AI模型部署

更快找到合适模型

端侧产品对算力、内存、功耗和响应速度均有明确要求。同一个模型在不同硬件平台上的运行表现可能存在差异,因此,研发团队需要在开发前期判断模型与目标平台的匹配程度,以提升后续适配效率。

Qualcomm AI Hub提供经过优化的模型资源,并展示不同模型在目标硬件上的Benchmark表现。研发团队可以综合参考时延、内存占用、吞吐量、功耗等指标,在进入适配阶段前评估模型与目标平台的匹配程度,提高模型选型效率。

对于广和通自研模型,AI Hub中同类型模型的Benchmark也可作为性能参照,帮助研发团队明确优化方向和目标。

基于AI Hub相关能力,广和通已开展模型评估,并结合Fibocom AI Stack推进端侧部署验证。以机器人应用为例,研发团队围绕 Pi 0.5、NVIDIA GR00T N1.5等具身智能模型开展高通平台部署探索,并结合Fibocom AI Stack中的混合精度量化、视觉Token压缩等优化技术,降低模型运行所需算力,实现复杂AI模型在端侧平台上的高效推理。

在GR00T N1.5模型测试中,在模型、输入数据和硬件环境保持一致的情况下,通过Fibocom AI Stack优化后,模型推理耗时由AI Hub基础部署方案的约348ms降低至约100ms,进一步提升机器人端侧交互的实时性,验证了复杂AI模型在端侧平台优化和部署的可行性。

高通技术公司执行副总裁兼技术规划、边缘解决方案和数据中心业务总经理马德嘉博士表示:

“高通AI Hub汇集了面向模型探索、优化、应用集成以及在支持高通®平台上进行终端侧部署的工具。借助高通AI Hub Models、Workbench、Apps和GenieX,开发者能够评估模型性能,并将AI功能集成到在支持设备上运行的应用中。我们很高兴向中国开发者开放这些工具,充分发挥终端侧AI在响应速度、可靠性和隐私方面的优势。”

缩短模型落地链路

选定模型只是第一步。模型真正进入终端产品,还需要经过转换、量化、推理适配、性能调优和硬件部署等一系列工程化环节。

在这一过程中,Fibocom AI Stack承担模型从开发验证到终端部署的工程化环节。平台集成AI工具链、推理引擎、端侧模型资源及相关开发支持能力,支持模型评测、转换、适配和性能优化,并结合Qualcomm AI Hub中GenieX相关底层软件能力以及Qualcomm AI Runtime SDK、llama.cpp等技术工具,加速AI模型在不同硬件平台和终端形态中的部署。

Fibocom AI Stack模型适配、性能优化与端侧部署能力

目前,Fibocom AI Stack已应用于SC171开发套件;相关软件能力也已适配 Qualcomm Dragonwing™ QCM2290、Qualcomm Dragonwing™ QCS8550 等平台,为不同终端形态及客户项目提供模型运行与优化支持。

Fibocom AI Stack的能力也进一步延伸至开发者生态。在相关赛事中,平台作为端侧AI开发的“加速器”,为参赛者提供开箱即用的模型转换、部署与推理工具,帮助开发者快速完成AI模型的端侧验证,并将创新应用拓展至机器人、工业检测、智慧生活等场景。

围绕实际产品需求,广和通还持续针对 Qwen3.5 等主流模型开展适配与专项优化,根据不同算力平台、终端形态和应用任务进行针对性调优。

在通用模型与底层工具基础上,Fibocom AI Stack进一步结合广和通自身的硬件平台、模型优化和软件定制能力,将模型适配到具体终端和项目需求中,为客户后续开发与交付提供支持。

广和通AI研究院负责人刘子威表示:

“AI模型真正进入客户产品,需要解决的不只是推理框架的问题,还包括模型与硬件的适配、性能调优以及面向具体应用的定制开发。Qualcomm AI Hub为我们提供了丰富的模型资源和底层软件工具,Fibocom AI Stack则在此基础上结合广和通自身的硬件平台、模型优化与项目经验,为不同终端和客户需求提供更灵活的适配与交付。未来,我们也将持续推进主流模型和不同算力平台在Fibocom AI Stack上的适配与优化。”

随着端侧AI应用持续向更多行业场景拓展,模型、算力与终端之间的协同将成为AI产品化的重要基础。广和通将持续完善Fibocom AI Stack及相关软硬件能力,推动更多AI能力进入机器人、智能视觉等终端场景。

相关话题: AI+机器人 端侧AI解决方案
注册账号
已有账号,立即登录
fsicon.png
已把文档发送到您注册的邮箱3150103329@qq.com请注意查收,谢谢!
fsicon02.png
您已预约成功,已把具体信息发送到您的邮箱3150103329@qq.com感谢您的信任!
20200520175738392.jpg
点击购买

嘿,这儿!👋 今天需要帮忙吗?