在短视频和直播平台中,我们总能看到一些主播人像背后的背景是可以替换的,风格、样式千奇百怪。当然,小编在这里所说的背景都是“虚拟背景”,而非真实的背景,实际上这都是美颜sdk中的“抠图”技术。近期,很多小伙伴对此技术感兴趣,小编特意单开一篇文章来讲解一下。
一、“抠图”是什么?
图像分割技术是利用深度学习进行图像处理的一种有效方法,图像分割就是从一幅图象中,准确地提取出某个目标的轮廓。在深度学习中,抠图的原理则更简单,就是用全卷积来分割人体图像,一种解决单幅图片问题的一般方法是使用U-net网络。
二、U-net网络
美颜sdk的U-net网络是一种端对端网,由卷积与激活函数为蓝色,灰色为拷贝,红色为下取样,绿色为上取样,再进行卷积。该网络不存在完全连通层,仅存在卷积层和降样点层。网络由两部分组成,一部分为特征抽取,一部分为上采样。每一层的特征抽取都是一个尺度,加上原始图像的尺度,共分为5个尺度,升采样单元每升采样一次,就与特征抽取单元相应的通道数目进行融合。这种升采样方法弥补了由于图像卷积等运算而导致的图像信息损失,同时也能更好地保持图像的细节。因此,美颜sdk的U-net特别适用于比较精确的图像分割。
三、美颜sdk抠图技术是如何进行训练的?
总体而言,美颜sdk抠图的想要更加精准,需要对其大量的“喂图”,以此进行训练,也就是大量的机器学习或者深度学习。一面是相应的输入图片,另一面是需要训练的图片。由于人工标注等原因,对图像边缘分割效果较差,需要对图像进行辅助处理,本项目拟采用拉普拉斯算子求解图的软边问题,利用拉布拉斯算子对软边进行处理,构造图结构,再通过加入语义近似的非局部色彩,实现高层次信息与低层次信息的有效融合。接下来,美颜sdk会用单色和层叠来填充每一幅图,然后做一个类似PS中的蒙版,这样就能更好地显示出图像的柔软边缘。
上文,小编讲解了美颜sdk抠图的核心技术,希望对您有一定的帮助。如果您对抠图功能或者美颜sdk有需求,欢迎咨询美狐工作人员,我们会为您体用专业解决方案。
声明:本文由美狐原创,未经允许禁止转载,谢谢合作。