端云协同，打造更易用的AI计算平台

三叶草

内容来源：华为开发者大会2021 HMS Core 6 AI技术论坛，主题演讲《端云协同，HUAWEI HiAI Foundation打造更易用的AI计算平台》。
演讲嘉宾：华为海思AI技术专家
大家好！HHUAWEI HiAI Foundation作为芯片使能的基础平台，基于“芯、端、云”三层开放架构，构筑全面开放的智慧生态，帮助开发者快速利用AI处理能力，为用户提供更好地智慧应用体验。充分利用华为麒麟芯片能力，HUAWEI HiAI Foundation在实时性上，避免网络延迟和拥塞；在隐私性上，保护本地图片、视频、语音信息以及操作习惯等；在成本方面，开发者可最大化利用芯片算力，节省计算成本和带宽成本。自2018年发布以来，HUAWEI HiAI Foundation第三方应用的调用量逐年递增，目前日调用量已破百亿，获得了开发者的价值认可。
HUAWEI HiAI Foundation开放框架
HUAWEI HiAI Foundation之所以受到欢迎的原因是其支撑更多主流推理框架，在引领端侧AI行业标准构筑的同时通过开源，让更多开发者灵活高效地优化模型。
2021年上半年，我们已经完成了与KwaiNN、Bytenn、MNN、TNN等框架的对接。在此基础上，HUAWEI HiAI Foundation可以支撑华为手机以及各产品线非常多的业务和应用。比如视频剪辑、录像直播、线上支付、地图、输入法等。

通过以上框架图，我们可以看到HUAWEI HiAI Foundation作为基础平台，主要由推理加速平台和异构计算平台两个部分组成。推理加速平台的作用是跟更多的上层推理框架完成对接，帮助开发者聚焦模型优化；异构计算平台则更好地使能NPU、CPU、GPU、DSP等计算IP，充分利用芯片算力。之后，HUAWEI HiAI Foundation可以实现多平台统一的赋能手机、平板、智慧屏、音箱等基于麒麟芯片的华为产品，并与HarmonyOS深度融合，在鸿蒙生态中起到端侧AI能力的积极作用。
HUAWEI HiAI Foundation端云协同方案优势
HUAWEI HiAI Foundation上线后，我们还遇到了很多问题。比如在一个应用新特性发布后，业务算子性能需要不断优化并跟随手机等ROM系统版本更新推送，使得整体上线周期较长。部分机型停止支持服务（EOS）后，则无法享受最新的性能优化。由此，开发者的诉求也很明晰，就是跟随互联网节奏，帮助业务快速发布上线以及覆盖更多机型，囊括EOS的机型。
为解决上述典型问题及开发者对接时提出的若干其它问题，HUAWEI HiAI Foundation今年在两个方面进行了重大升级。一是基于端云协同的计算库独立升级能力。支持计算库动态升级，保证性能优化的算子库更快推送至端侧，同时通过插件进行模型编译，保持更优的异构策略和高性能的融合模板。目前，这个能力已经在HarmonyOS 2.0版本上线，满足合作伙伴的快速业务上线需求。

二是易用性的升级。我们会提供更丰富的接口调用，更易懂的用户手册、Demo演示和工具包。具体来说主要包括以下四点：

• Model Zoo助力开发者快速使能NPU加速。Model Zoo综合了硬件优化模型库、模型优化指导以及技术交流社区的能力，通过它开发者可以快速知道哪一类模型在硬件上跑得速度更快，如何优化模型结构获取更好的能效收益等。技术交流社区除了便于开发者参与讨论交流外，也为后续高校科研合作项目、AI技术竞赛等提供基础。
  

• 推出高性能、低功耗、高精度、小模型的模型调优工具。包括模型量化工具包和模型结构搜索工具包。前者推出了16bit、8bit、4bit、2bit和自适应混合量化，模型小巧而灵动，可以保障不丢失模型计算进度。后者则更多是通过自动搜索方式，帮助开发者结合硬件信息调整模型结构，使之更加敏捷快速。
  

• 异构计算——CPU、GPU、NPU等IP的高效协同。下图列举了一个典型的数据流。从视频解码器到图像预处理，再到图像处理、渲染优化、送显等，经过了非常多的IP计算。那么这些IP怎样在较长的数据流中高效协同呢？这就需要多IP自动异构。它可以自动融合优化各计算节点，共享计算内存，做到多IP间数据零拷贝。另外，多IP的调度任务可以自动编排，支持优先级控制和节点间内存自动分配。
  

• 模型可视化——用户模型信息可见，提升调优效率。在模型结构可视化工具（Netron）上，开发者可以直接看到HUAWEI HiAI Foundation的模型结构，更加便利。
  

如今，HUAWEI HiAI Foundation已加入AI标准化组织AITISA（人工智能产业技术创新战略联盟），并参与端侧AI标准草案撰写，共同构筑AI行业标准。为了让开发者更好地使用端侧AI能力，HUAWEI HiAI Foundation会保持初心，做更好、更易用的端侧AI计算平台，服务、赋能开发者，提升应用体验，谢谢 !
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址：GitHub、Gitee
关注我们，第一时间了解 HMS Core 最新技术资讯~