帮助与文档
热搜关键词:美颜sdk美颜api美颜接口美颜算法   
全部 行业新闻 产品动态 常见问题
美狐美颜SDK> 行业动态> 常见问题 > 人脸风格化在美颜sdk中是如何实现的?(下)
人脸风格化在美颜sdk中是如何实现的?(下)
发布来源:美狐美颜   Date:2021-09-10 15:15:58

在上篇文章中,小编介绍了素描肖像风格和油画风格在美颜sdk中是如何实现的,接下来,小编将继续介绍人脸风格化中,动画风格和人脸风格化数据集的相关知识。

1、动画风格

动画风格,这里特指的就是有某种动画作品风格的效果了,以日本的二维动画为代表,类似于抖音中的一些效果。其本质是对图像的颜色和纹理的迁移,本质是从输入到特定风格的映射,哪怕输入图本身不是现实中的人脸,而是动画,也会被映射到特定的风格。

美颜sdk

要实现这一类风格的生成,需要对输入图进行风格编码,最适合的就是便是GAN,其中人脸编码方法中StyleGAN是最成功的方法,不过对于人脸动画风格来说,改变的是整体风格,而不是局部细节,所以原理上更为简单一些。

使用GAN进行风格迁移是一个非常大的研究领域,方法很多,我们这里只对其中最核心的技术进行介绍,以Pix2Pix和CycleGAN为代表,前者需要成对数据进行训练,而后者则不需要,所以CycleGAN才是更加现实的选择。

CycleGAN通过对源域图像进行两步变换:首先尝试将其映射到目标域,然后返回源域得到二次生成图像,从而消除了在目标域中图像配对的要求,这是一个循环的结构,因此称之为CycleGAN。

不过在美颜sdk中直接使用CycleGAN算法不能立刻获得成品,因为CycleGAN缺少对人脸语义信息的理解,在对人脸进行处理时,可能会出现五官错位的情况,一般通过两种方法修正:通过增加关键点预测任务,来约束输出图像的五官分布。

另一个是基于注意力机制的方法,使用注意力机制对人脸的有效区域进行学习。

美颜sdk

2、人脸风格化数据集

如果在美颜sdk中,提前植入一些预设的人脸风格化数据集,可以在调用人脸风格化数据集的时候,提高效率。其中,比较常用到的有以下几个:

1、CUFSF

发布于2009年,这是一个人像素描数据集,原图来自于FERET,有1195张成对的灰色正面肖像图和对应的素描图。

2、 IIIT-CFW

发布于2016年,包含100个名人的8928张卡通图片,同时也附带了1000张真实图。

3、CartoonSet10/100k

发布于2017年,有两个子集,CartoonSet10k和CartoonSet100k,分别包含10000和100000张卡通人脸图。每一张卡通人脸图都有16个组件,其中12个面部属性和4个颜色属性。

4、self2anime

发布于2019年,这是一个漫画人脸数据集,首先使用漫画人脸检测算法对Anime-Planet1上的图片进行了检测,最后留下了女性的人脸图共3500张,其中3400张作为训练,100张作为测试。

5、Danbooru2019

Danbooru2019是一个动漫人物数据集,拥有超过300百万的图片。有研究者从中选择了一些图片组建了动漫头像数据集,共140000张,图像大小为512*512。

以上就是美颜sdk中,对于人脸风格化的所有介绍。如果你对美颜sdk接入有需求,欢迎咨询官方客服。

声明:本文由美狐原创,未经允许禁止转载,谢谢合作。

本文标签: 美颜sdk
相关阅读
相关阅读
电话
13165102621
联系我们
咨询热线: 13165102621
客服QQ: 1807424193
公司邮箱: meihumeiyan@163.com
美狐美颜客服
友情链接: 美颜sdk
©2021山东小狐狸网络科技有限公司.All rights reserved.