[网络数据] 说一说Web端侧AI

  

• 数据的采集与预处理  
  
• 模型的选取与训练  
  
• 模型的评估  
  
• 模型服务部署
  

  

• AR 应用、游戏。由 AI 提供理解视觉信息的能力，由 AR 根据视觉信息来实现虚实结合的交互，带来更沉浸式的购物、互动体验。比如美颜相机、虚拟试妆，即是通过检测人脸面部的关键点，在特定区域使用 AR 增强、渲染妆容。  
  
• 互动游戏。飞猪双十一的互动游戏"找一找"， 即是一个跑在 h5 页面的图片分类应用，通过摄像头实时捕捉图片，调用分类模型进行分类，当出现游戏设定目标时得分。  
  
• 端侧重排。通过实时的用户意识识别，对服务器推荐算法下发的feeds流进行重新排列，做出更精准的内容推荐。  
  
• 智能Push。通过端侧感知用户状态，决策是否需要向用户实施干预，推送Push，选取合适的时机主动触达用户，而非服务器端定时的批量推送，带来更精准的营销，更好的用户体验。
  

  

• 低延时
  实时的计算节省了网络请求的时间。对于高帧率要求的应用，比如美颜相机每秒都要请求服务器，高延迟绝对是用户所不能接受的。而对于高频交互场景，比如游戏，低延时变得更为重要。
    
  
• 低服务成本
  本地的计算节省了服务器资源，现在的新手机发布都会强调手机芯片的 AI 计算能力，越来越强的终端性能让更多的端上 AI 应用成为了可能。
    
  
• 保护隐私
  数据隐私的话题在今天变得越来越重要。通过在端侧进行模型的推理，用户数据不需要上传到服务器，保证了用户隐私的安全。
  
  

  

• WebGL
  WebGL 是目前性能最高的 GPU 利用方案，WebGL 为在浏览器中加速 2D 和 3D图形渲染而设计，但可以用于神经网络的并行计算来加速推理过程，实现速度数量级的提升。
    
  
• WebGPU
  随着 Web 应用对可编程 3D 图形、图像处理和 GPU 访问需求的持续增强，为了在 WEB 中引入GPU 加速科学计算性能，W3C 在 2017 年提出了 WebGPU ，作为下一代 WEB 图形的的 API 标准，具有更低的驱动开销，更好的支持多线程、使用 GPU 进行计算。
    
  
• WebAssembly
  当终端设备没有 WebGL 支持或者性能较弱的时候，使用 CPU 的通用计算方案为 WebAssembly 。WebAssembly是一种新的编码方式，可以在现代的网络浏览器中运行，它是一种低级的类汇编语言，具有紧凑的二进制格式，可以接近原生的性能运行，并为诸如C / C ++ 等语言提供一个编译目标，以便它们可以在 Web 上运行。
  
  

tf.setBackend('cpu');
console.log(tf.getBackend());

  

• 针对特定场景设计算法、训练模型  
  
• 对模型进行压缩  
  
• 转换为推理引擎所需要的格式  
  
• 加载模型进行推理预测