摘要:NPU模型部署必看!
第一期公开课中,高通技术公司的讲师团队带来了终端侧AI技术前沿与AI工具链解析,针对大家在开发过程中遇到的典型问题进行在线解析:
Q1:Qualcomm AI Stack 里有没有实用工具能提升模型在手机端的推理速度?
A: Qualcomm AI Stack工具链非常完善,无论是浮点模型(FP16)还是定点模型(INT4/8/16),都能灵活选择不同量化精度,以提升端侧运行速度。同时还提供多种功耗模式(burst、pauseable、default),方便开发者在不同性能需求下灵活调优。
Q2:从模型转换到最终在NPU上跑起来,哪一步最容易踩坑?
A: 模型转换是最关键的一步。若算子不被支持,就需要替换,这会比较耗时。建议开发者提前查看 Qualcomm Runtime 文档 中的算子列表。同时,量化模型时一定要准备足够的样本数据(几百到几千条),否则容易出现精度问题。
Q3:有没有转换好的大模型可以直接下载?
A: 可以前往Hugging Face (https://huggingface.co/qualcomm) 或模型广场 (https://www.aidevhome.com/data/models/) 下载,目前已经开放了包括 Qwen 2-7B、Phi-3.5、Stable Diffusion 1.5 等主流大语言和视觉模型,开发者可直接调用使用。
可以发现,端侧AI模型部署其实并不难,关键在于熟练使用高通AI工具链。第二期公开课将聚焦骁龙AI PC应用开发,带来玩转QAI AppBuilder的详细指南,帮助开发者快速掌握在PC上开发和部署AI应用的核心技巧。
直播时间
11月5日(周三)晚20:00正式开讲。
一键预约直播,不错过精彩内容!
本期看点
本期分享由 高通技术公司(中国) 高级资深工程师 吴占伟主讲,作为QAI AppBuilder 工具的核心创造者与主要维护者,他带领团队从设计到迭代,持续推动工具开发,致力于帮助开发者降低AI技术门槛、通过更短的路径实现AI模型在端侧高效部署。
无论你是参赛选手、AI开发者,还是AI爱好者,只要你对端侧AI应用感兴趣,都能从本系列课程中获取灵感和实操技巧,让创意更快变为现实。
课程亮点
一站式了解 QAI AppBuilder 框架与功能
全面解析工具的设计理念与核心模块,帮助开发者快速掌握端侧AI应用的高效构建逻辑。无论是模型部署还是应用开发,都能从整体架构中找到切入点,提升开发效率。
实战演示:环境配置到模型部署
课程将基于GitHub官方指南,逐步演示环境搭建、示例代码运行及GitHub典型案例操作。课程中还将分享几个与QAI AppBuilder配套使用的工具,以及在骁龙AI PC上开发GUI应用时常用的开发环境。为开发者提供全流程参考,轻松实现“零阻力”开发体验。
支持多类型AI模型的集成应用
详细讲解如何在QAI AppBuilder中部署大型语言模型(LLM)、经典计算机视觉模型(CV)以及大型视觉模型(LVM)。覆盖多场景应用,主力开发者轻松应对多样化的AI项目需求。
模型转换命令全公开
导师将分享将已有模型转换为可在NPU上运行的核心命令,帮助开发者打通从模型设计到实机运行的“最后一公里”。分享常见注意事项与优化技巧,让部署更高效、精度更可靠。
专家在线答疑,助力开发者突破瓶颈
直播设有深度答疑环节,来自高通技术公司的专家将针对模型部署、工具使用及优化问题进行专业解答,帮助开发者解决参赛过程中的关键难题。
答疑论坛
除了直播答疑外,本次大赛特设官方答疑论坛。如果你在参赛过程中遇到任何问题,或者想了解工具链、模型部署、赛程安排等相关信息,都可以直接在论坛发帖提问,大赛技术团队和工作人员会为你提供专业解答。
系列公开课中的经典问题也将同步上线论坛【AI大赛】专区
AI落地,从“端”开始
点击官网即可报名,也可扫描海报二维码一键参赛。
查看报名&作品提交操作指南【插入报名指南推文链接】,手把手教你快速完成报名和初赛作品提交,轻松上手,直通大赛!
【大赛官网】
第三期公开课将于 11月12日 线上开讲,导师将演示在Android设备上利用QAI AppBuilder部署CV模型和调用本地NPU上的大型语言模型,并讲解ONNX Runtime在骁龙AI PC平台上的通用部署方法,干货满满,不容错过!
