联系方式 Contact Us
028-87409888
成都市青羊区黄田坝
  |  News
如何看待SenseTime商汤科技给硕士应届生开出60w的offer
2019-11-03 21:56

  在人脸校准(face alignment)这个领域,目前的方法大概有三类,一类是传统的计算机视觉方法,比如基于cascade regression tree或者essemble svm一类。一类是基于深度学习的视觉算法,里面还有基于parts,基于heatmap的或者基于structure的等等的细分类。当然,还有基于两者的混合型算法,比如pdm+ccnf。你发一个paper,240点和106个点,就是训练数据的区别,或者几个参数的调整。但是如果做一个工业化的产品,这里面牵扯到的细节问题就非常多,也有很多工程方面的挑战。

  第一个就是需求问题,多点的需求是不是伪需求?目前看来不是,因为在美妆的场景下,对面部小细节的需求越来越多。具体可以看小米最近发布的美妆应用场景。里面很多的功能在传统的68点模型下很难做到。

  第二个就是细节准确度的问题,因为传统模型定义都是整体定义偏离loss和约束constraint,这样的话在小细节方面的变化,比如说单眼眨眼,对模型整体loss影响不大,结果就是小细节动作无法体现在校准结果上。很影响用户体验。这一块需要更改模型设计,还是很有技术含量的。

  第三个就是延迟问题,如果要保证30帧,那么处理一帧就是33毫秒以内,如果要预留给图像预处理和后面的渲染一些时间,视觉计算时间不易超过20ms。而视觉计算还分很多步骤,校准之前还有人脸的检测和标准化,所以留给FA的时间最多也就是10ms~15ms。而一般来说点越多,计算时间越长,这一点在传统方式上更为明显。这样就存在更多工程性挑战。

  其他的小问题,比如模型大小,内存占用,稳定性,抖动等问题都是会随着点数增加而更难解决。

      新濠天地,澳门新濠天地

中航工业成都新濠天地电子股份有限公司版权所有 进入企业邮箱 
地址:成都市青羊区黄田坝 冀ICP备10017901号-1 友情链接 技术支持:澳门新濠天地
网站地图