图文并茂！推荐算法架构——粗排

导语 | 粗排是介于召回和精排之间的一个模块，是典型的精度与性能之间trade-off的产物。理解粗排各技术细节，一定要时刻把精度和性能放在心中。

  

• 普通特征：类似精排，user、context、item三部分。有哪些特征，以及特征如何处理，可以参看精排的特征工程部分。
  

  

• 交叉特征：user和item之间的交叉特征，对提升模型精度很有帮助。但由于交叉特征枚举过多，难以离线计算和存储。实时打分时又不像user特征只用计算一次，延迟较高。故对于交叉特征要谨慎使用。
  

  

• item和user均离线存储。这个方案只需要计算user和item的内积即可，计算延迟低。由于user是离线存储的，故可以使用复杂的模型，提升表达能力。但user侧的实时性较差，对于用户行为不能实时捕捉。
  

  

• item离线，user实时。item相对user，实时性要求没那么高。由于一次打分是针对同一个用户的，故user侧只需要实时计算一次即可，速度也很快。目前这个方案使用较多。
  

  

• 精度和特征交叉问题：经典的DSSM模型优点很多，目前在粗排上广泛应用，其最核心的缺点就是缺乏特征交叉能力。正所谓成也萧何败萧何，正是由于user和item分离，使得DSSM性能很高。但反过来也是由于二者缺乏交叉，导致模型表达能力不足，精度下降。典型的精度和性能之间的trade-off。  
  
• 低延迟要求：粗排延迟要求高，一般只有10ms~20ms，远低于精排的要求。  
  
• SSB问题：粗排解空间比精排大很多，和精排一样只使用曝光样本，导致严重的样本选择偏差问题。
  

  

• 精排蒸馏
  

  

• 特征交叉
  

  

• 特征裁剪：如COLD，不重要的特征先滤掉，自然就降低了整体延迟。这一层可以做在模型内，从而可以个性化和实时更新。  
  
• 量化和定点化：比如32bit降低为8bit，可以提升计算和存储性能。  
  
• 网络剪枝：network pruning，包括突触剪枝、神经元剪枝、权重矩阵剪枝等方法，不展开了。  
  
• 模型蒸馏：model distillation，上文已经提到了，不展开了。