Adobe公司在今年的SIGGRAPH技术论文大会上发布了令人印象最深刻的论文。论文的主旨是基于之前的研究内容，提供一种风格化的面部动画，例如绘画。这篇论文也是在捷克技术大学Jakub Fišer博士的研究基础上写成的。这个项目给人留下很深刻的印象，就像是魔法一样很神奇，但是在实际操作中，他们的解决方案充分利用了面部的一些特殊方面，Adobe PhotoShop核心技术，还有之前发布的研究成果。
我们采访到Adobe公司研究部的首席研究员戴夫·西蒙斯（Dave Simons），自从1994年Adobe公司收购 Aldus公司时，他就已经在Adobe公司工作了。他是Adobe SIGGRAPH大会论文的作者之一，他撰写了其中的“基于实例的风格化面部动画的合成”部分。
面部模型和应用的风格
他们制作的视频中显示了从肖像画中借用的风格，然后将片段转换成相似的风格，不仅仅是看起来相似，还会随着时间的推移显示出类似手绘动画的效果，每一帧画面都是单独制作的。这种方法不会将原始风格转化成模糊效果，也不会显示出有纹理投影的3D面部效果。这种解决方案不仅富有技术含量，还非常高效。也是一个非常具体的方法。在当前的形式中，应用在Superbowl广告片的汽车中是不可行的。但是对于人的面部，这是一个很坚实的研究方向，很多团队都朝着一个相似的目标努力。
与其他使用中性风格转换的方法不同，他们的方法使用的是非参数纹理合成，保留了输入示例中大量的局部细节和绘画笔触特征。随着时间的推移，也会有可调节的连贯性，来制作每一帧的错觉效果。
基于实例的风格化面部动画合成：
背景
导向纹理合成是论文的核心概念，即一个绘制面部的纹理可以应用在视频中的另一个面部上。这个过程很重要，可以让新的合成面部仍然保持平面的绘画效果，而不是带有纹理的3D面部效果。另外这种艺术风格还可以制作真正的铜像效果，不需要是着色的纹理。
如何操作
但是西蒙斯只参加了团队的2017年论文的撰写，大部分作者还是2016 SIGGRAPH论文的作者，这是了解这个项目如何做到如此高效的很好的突破口。
2016
这个项目的核心论文和之前的研究都在2016年论文中，论文的题目是《StyLit：基于实例的照明导向3D渲染风格化》。在这篇论文中，绘画风格转换成已知的有针对性的3D模型，但是显示的是正确风格的艺术手绘效果。跟2017的面部系统不一样，2017的面部系统是将绘制的肖像应用在面部视频中，而这个系统是将手绘风格应用在已知的3D场景中。这是关键。在2016的案例中，程序可以识别目标对象的表面法线。在2017的案例中，程序可以识别如何在面部应用绘制风格，然后所有的面部都应用相似的形状和法线。
在2016的实例中，如果在圆圈内部着色，让其看起来像一个球，程序可以从球中提取特定的假设，然后应用在3D画像中。例如，在球的右上角着亮色，在左下角添加阴影，这可以确定3D画像的着色方式，制作照明位置在右上角的效果，因为3D画像可以识别表面法线。在最简单的形式中，如果肩旁上的法线面对着灯光，风格来自于对着灯光的球。如果腿部的法线面对另一个方向，那么它们的颜色更暗，与球底部的着色方式一样。假设球被合理着色，那么与画像应用的着色方式是一样的。当然，如果我们不切合实际地绘制，那么画像也会以相似的方式着色，但是这也是艺术家想要的效果。
Adobe MAX演示：
这里有一个基于SIGGRAPH 2016项目的 Adobe MAX 2016演示视频。在这个演示视频中，人们被邀请在印刷模板上绘画，然后看到他们绘制的独特风格被实时转换成不同的3D模型。除了输入实时视频，人们还可以使用屏幕捕捉材质。这样人们可以在屏幕上显示模板，然后使用Adobe PhotoShop等工具进行修饰。
StyLit（实况转播）：
一个很重要的注意事项是，输入同样的图像不能代表什么。需要输入这个样本球，因为球上的法线可以很容易地被估算出来，因为球是标准且简单的形状。这个操作过程要求输入的必须是球形。
2017
到了2017年，团队意识到之前的版本需要在3D模型上应用球形的着色风格，有一类对象的形状相似，因此不需要明确的3D模型人类面部效果。这个项目中，假设所有的面部都有两只眼睛，一只鼻子，一张嘴等等。尽管方向和特定的细节通常是不同的，大部分面部的基本形状是相同的。一旦团队可以解释特定输入的细节，就可以使用同样的方法。但是只有在参考内容是面部，目标视频中的内容也是面部时才会奏效。
非常重要的一点是资源和目标都是面部。只有这样计算机才能识别输入内容的属性，然后将其映射到输出内容上。这一点与2016年的论文很不一样，因为这里的导向通道来自于资源中现成的内容，而不是一个特殊的球体。
在原始的意义上，计算机识别出额头的绘制方法，额头是平坦且垂直的效果，然后将其应用在目标面部的额头部位。但是程序并不是生硬地将其添加上。实际上是使用了PhotoShop用户每天都会使用的技术——克隆修复过滤器和内容自动填补功能。
所以2017年论文中提出的技术比其他合成方法制作出的效果更加真实可信。