“暮光女”斯图尔特发表机器学习论文,用AI 帮助拍电影



这不是你每天都能够看到的新闻:克里斯汀·斯图尔特发表了一篇关于机器学习的论文。是的,你没看错,就是那个《暮光之城》的女主角——克里斯汀·斯图尔特。


斯图尔特刚刚完成了她的导演处女作:《Come Swim》。这部影片用一种名为“风格转移(style transfer)”的机器学习技术,为电影创造了一种印象派的视觉风格。据了解,这种技术能够将图片或者视频风格移植给另一张图片或者一段视频。


这篇论文于1月18日发表在康奈尔大学的在线论文库ArXiv上。除了斯图尔特之外,该论文的共同作者还包括特效工程师Bhautik,以及制片人David Shapiro。



这篇论文的标题是“运用神经风格转移将印象主义带入《Come Swim》(Bringing Impressionism to Life with Neural Style Transfer in Come Swim)”,为如何在电影中使用这种机器学习工具提供了详实的案例研究。在论文中,《Come Swim》被描述成一幅“水下伤心人的诗意印象派肖像(poetic, impressionistic portrait of a heartbroken man underwater)”,而整部电影的美学风格都来自于斯图尔特的一幅画:“从睡梦中醒来的男人(man rousing from sleep)”。


,《Come Swim》将于本月晚些时候在2017圣丹斯电影节上放映,该片刻画了一个男人分裂的一天:一半写实,一半融合超现实幻想。


这个奇特的团队使用现有的神经网络将这幅绘画的风格转移到一个测试框架中,然后通过添加“颜色和纹理块”来微调这个框架的设置,直到最终创作出他们想要的绘画效果。随后,他们将这个调试过程应用到电影的其他部分,如下图所示。




虽然很多人可能会好奇:为什么一个好莱坞明星会跟机器学习扯上关系,但是实际上,这些曾被认为神秘而专业的机器学习工具已经变得越来越主流。像TensorFlow以及Keras这样的开源AI框架让每个人都可以轻松尝试。


AI革命需要的不仅仅是大量的数据以及强劲的GPU,一个开放的社区,以及各种开源的工具,都将是促进AI发展的重要因素。斯图尔特的这篇论文就是最好的例子。


有人说,我们的小鲜肉需要加把劲了。不过,他们最需要的并不是一篇论文,而是,演技。


via TheVerge



点击关键词可查看相关历史文章


● ● 

热门文章


华为 P6 之父被拘:解密华为、酷派、乐视的三角纠葛

希捷关闭苏州工厂,这只是传统机械硬盘行业衰落的缩影

李飞飞:“情绪”和“情感”,是人工智能的下一个春天

Nokia 6 只是幌子,诺基亚崛起的野心寄托在健康设备上

iPhone 十年,回望这款伟大产品诞生传奇


● ● 

英伟 | 法拉第未来 | 哈苏

小程序 | 扎克伯格开发笔记 | 共享单车

GoPro | 春运刷票原理 | AI 美颜

物联网年终盘点 | AI医疗影像公司盘点

华为5G | Autopilot 2.0 | 京东X事业部

商用人 | 淘宝 Buy+ | 张小龙内部演讲

小米MIX 小米VR | 华为麒麟960

锤子M1/M1L | 龙芯3A3000 三星 Note 7

大疆 “御 ”Mavic | Google Home

国产多线激光雷达 | 谷歌 Daydream VR 头盔