加入收藏 | 设为首页 |

火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物

海外新闻 时间: 浏览:164 次

选自arXiv

作者:Tianyang Shi等

机器之心编译

参加:魔王

人物扮演游戏答应玩家选择自己喜爱的人物或定制人物外观,但这一进程比较费事。那么,假如输入一张相片就能够将人物的脸换成彭于晏、吴彦祖乃至你自己,是不是觉得省了不少事?最近,网易宓羲试验室、密歇根大学、北航和浙大的研讨者提出了一种游戏人物主动创立办法,运用 Face-to-Parameter 的转化快速创立游戏人物,用户还能够自行依据模型成果再次进行修正,直到得到自己满足的人物。

论文链接:https://arxiv.org/abs/1909.01064

人物定制体系是人物扮演游戏(RPG)中的重要组成部分,在 RPG 游戏中玩家能够依照自己的偏好(而不是默许模板)来修改游戏人物的面部外观,比方盛行明星或许自己。


最近,来自网易宓羲试验室、密歇根大学、北航和浙大的研讨者发表新研讨,提出了一种依照输入人脸图画主动创立游戏人物的办法。研讨者依据人脸类似性衡量和参数查找机制完成「对人脸图画的艺术加工」,经过在许多火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物具有物理含义的面部参数空间中履行查找来处理优化问题。


试验成果表明,该办法创立的游戏人物与输入人像不管在全体外观仍是部分细节上都完成了高度类似。上一年该办法已被用于新游戏开发,现在它现已被玩家运用超 100 万次。

RPG 游戏是怎么定制游戏人物的?

游戏中的人物定制操作。


RPG 游戏中规范游戏人物面部创立作业流程的第一步是:装备许多面部参数。然后游戏引擎以用户指定的参数作为输入,生成 3D 人脸。游戏人物定制能够看作是「单目 3D 人脸重建」或「风格搬迁」的特例。可是,长期以来,生成图画语义内容和 3D 结构在核算机视觉范畴被认为是艰巨的使命。

玩家参加定制人物虽然增加了游戏的趣味性,使得玩家能够捏出各式各样的面孔,可是需求消耗许多时刻在定制参数和调试作用上面。别的,在许多人物扮演游戏,特别是网游中,许多期望能够定制自己的面孔、或许选用明星面孔的玩家关于这样的办法不甚满足。


网易宓羲试验室提出新办法


来自网易宓羲试验室等组织的研讨者提出一种依照输入人脸图画主动创立游戏人物的办法,如图 1 所示。该办法经过猜测一组具有清晰物理含义的面部参数,为骨骼驱动模型(bone-driven model)创立 3D 人物形象。该办法中,每一个参数操控每个人脸组件的单个特点,包括方位、方向和缩放。更重要的是,该办法支撑用户在创立成果的基础上进行再加工,游戏玩家能够依据自己的需求对游戏人物做进一步的调整和改善。


图 1:办法概览。该办法可依据输入人脸图画主动生成游戏人物,它依据人脸类似性衡量和参数查找机制(对许多具有物理含义的面部参数履行查找)完成。之后用户能够依据需求自行微调生成游戏人物的面部参数。

该研讨提出的模型包括模拟器 G(x) 和特征提取器 F (y)。前者模拟游戏引擎的行为,以用户定制的面部参数 x 作为输入,生成「烘托后」的人脸图画 y。后者则决议了人脸类似性衡量能够履行的特征空间,以查找最优的面部参数集。该办法的处理流程图见下图 2:


图 2:该办法的处理流程。模型包括模拟器 G(x) 和特征提取器 F (y)。前者模拟游戏引擎的行为,以用户定制的面部参数 x 为输入,生成「烘托后」的人脸图画 y。后者则决议了人脸类似性衡量能够履行的特征空间,以查找最优的面部参数集。


模拟器


研讨者练习了一个卷积神经网络作为模拟器,模拟游戏引擎的输入-输出联系,然后使得人物定制体系可微分。研讨者在模拟器 G(x) 中运用了类似 DC-GAN 的网络装备,包括 8 个转置卷积层。出于简洁性的考虑,模拟器仅运用对应的人脸定制参数,拟合人脸模型的前视图。


研讨者将模拟器的学习和猜测进程构建为依据规范深度学习的回归问题,旨在最小化火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物游戏烘托图画和该办法生成图画在原始像素空间中的差异。


研讨者在练习进程中运用了游戏《逆水寒》的引擎,运用对应的人脸定制参数随机生成 20000 个不同人脸。其间 80% 的人脸样本用作练习数据,其他 20% 作为验证数据。


图 3:模拟器 G(x) 的架构。该模拟器的练习意图是,学习加勒比女从输入人脸定制参数 x 到游戏引擎烘托人脸图画 y 的映射。


人脸类似性衡量


模拟器练习完成后,面部参数生成必定成为人脸类似性衡量问题。因为输入人脸图画和烘托游戏人物归于不同的图画范畴,因而为了高效衡量人脸类似性,研讨者规划了两种丢失函数作为衡量目标:人脸全体外观和部分细节。研讨者没有直接核算它们在原始像素空间中的丢失,而是运用神经风格搬迁结构,在神经网络学得的特征空间中核算丢失。咱们能够把参数生成看作依据模拟器流形的查找进程,旨在找出最优解,使生成图画和参阅图画之间的间火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物隔最小化。

图 4:用该研讨提出的模拟器 G(x) 及对应的真值所生成的部分人脸图画示例。这些图画的面部参数是手动创立的。

图 5:游戏人物主动创立能够看作是依据模拟器流形的查找进程,旨在找出 y^∗ = G(x^∗) 的最优解,然后最小化 y 和参阅人脸图画 y_r 在特征空火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物间中的间隔。


完成细节


模拟器:卷积核巨细设置为 4 4,每个转置卷积层的步幅设置为 2,使得特征图的巨细在每次卷积后能够翻倍。批归一化和 ReLU 激活函数嵌入在每个卷积层后,输出层在外。运用 SGD 优化器进行练习,批巨细设置为 16,动量为 0.9。学习率设置为 0.01,学习率衰减设置为每 50epoch 下降 10%,练习中止设置为 500 个练习 epoch。


人脸切割网络:运用 Resnet-50 作为骨干网络(移除其全衔接层,在其顶部增加一个 1 1 卷积层)。为了进步输出分辨率,研讨者将 Conv 3 和 Conv 4 的步幅从 2 更改为 1。该模型在 ImageNet 数据集上履行预练习,然后在 Helen 人脸语义切割数据集上运用像素级穿插熵丢失进行微调。模拟器装备同上,不过学习率被设置为 0.001。


面部参数:面部参数的维度 D 被设置为「男性」264、「女人」310。在这些参数中,208 个为接连值(如眉毛长度、宽度和浓密度),其他为离散值(如发型、眉型、胡须类型和唇膏类型)。这些离散参数被编码为 one-hot 向量,并级联为接连向量。因为 one-hot 编码很难优化,因而研讨者运用 softmax 函数使离散变量变得滑润。


优化:至于第二阶段中的优化,研讨者将 设置为 0.01,最大迭代数为 50,学习率 为 10,学习率衰减率为每 5 次迭代削减 20%。


人脸对齐:将输入图画传输到特征提取器之前运用 dlib 库对齐,运用烘托得到的「均匀人脸」(average face)图画作为参阅数据。


试验成果


研讨者构建了一个名人数据集,包括 50 个人脸特写相片。


图 7:一些输入图画,及运用该研讨提出办法生成的游戏人物(「人物身份」和「表情」均得到建模)。


图 10:与其他 NST 办法的比照。这些办法别离运用每个性别的 Global style [12]、Local style [16],以火竞猜投注-只需一张自拍,网易宓羲用这种办法直接生成「个人专属」游戏人物及「均匀人脸」(该研讨)作为风格参阅。研讨者还比照了盛行的单目 3D 人脸重建办法:3DMM-CNN。

表 2:不同办法的风格类似度和速度功能比照。