【亚洲必赢登录】教照片里的人学舞蹈,ACL及ICML等世界级会议

原标题:视频换脸新境界:CMU不仅给人类变脸,还是能给花草、天气变脸 | ECCV
2018

原标题:用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018

原标题:ECCV 2018 | 腾讯AI lab &
清华大学同盟指出无监督高分辨率的图像到图像转换方法SCAN

圆栗子 发自 凹非寺

亚洲必赢登录 1

栗子 发自 凹非寺

机器之心揭橥

亚洲必赢登录 2

腾讯AI Lab微信公众号前天颁发了其首先条音讯,发布腾讯AI
Lab多篇杂谈入选即将揭幕的CVPR、ACL及ICML等世界级会议。

亚洲必赢登录 3

作者:Minjun Li,Haozhi Huang,Lin Ma,
Wei Liu, Tong Zhang, Yu-Gang Jiang

把一段视频里的面部动作,移植到另一段摄像的主演脸孔。

在AI科学技术大本营公众号会话中输入“腾讯”,打包下载腾讯AI
Lab入选CVPR、ACL及ICML的舆论。

怎么让一个面朝镜头静止不动的二姐,跳起你为她选的舞蹈,把360度身姿周详显示?

在目前由腾讯 AI Lab
主导,与清华大学合作落成的一篇随想中,小编们指出了一种时尚 style=”font-size: 16px;”>堆叠循环一致性对抗网络(SCAN),它将单个转换进程分解为多阶段的更换,由此同时晋级了图像转换质料与图像到图像转换的分辨率。

世家也许曾经习惯如此的操作了。

腾讯AI实验室授权转发

Facebook团队,把顶住感知的多个人姿势识别模型DensePose,与承担生成纵深生成网络结合起来。

日前关于无监督的图像到图像转换探究获得了较为显然的展开,其主要思想是由此锻炼一对所有循环一致性损失(cycle-consistent
loss)的浮动对抗网络(Generative Adversarial
Networks)。可是,当图像分辨率高仍旧四个图像域具有强烈差别时(例如
Cityscapes
数据集中图像语义分割与都市景象照片之间的更换),那种无监督办法或者发生较差的结果。

亚洲必赢登录 4

1. CVPR

IEEE Conference on Computer Vision and Pattern Recognition

IEEE国际统计机视觉与形式识别会议

5月21日 – 26日 | 美利坚合作国马尔代夫

CVPR是近十年来统计机视觉领域全世界最有影响力、内容最周到的头号学术会议,由满世界最大的非营利性专业技巧学会IEEE(电气和电子工程师协会)主办。2017谷歌学术目的(谷歌Scholar)按随笔引用率排行,
CVPR位列统计机视觉领域卓越。今年CVPR审核了2620篇作品,最后选定783篇,录取率29%,口头报告录取率仅2.65%。

腾讯AI
Lab统计机视觉高管刘威博士介绍到,“CVPR的口头报告一般是当时当先的探究课题,在科学界和工业界都震慑很大,每年都集齐如俄亥俄州立大学和谷歌(谷歌)等天下最闻名大学和科技(science and technology)公司。”

腾讯AI Lab六篇故事集入选CVPR

论文一:Real Time Neural Style Transfer for Videos

正文用深度前向卷积神经网络探索视频艺术风格的很快迁移,提议了一种崭新两帧协同操练体制,能有限帮衬视频时域一致性并消除闪烁跳动瑕疵,确保录像风格迁移实时、高质、高效到位。

* 此随笔后附详细解析

论文二:WSISA: Making Survival Prediction from Whole Slide
Histopathological Images

舆论首次提议一种全尺寸、无标注、基于病理图片的伤者生存有效预测方法WSISA,在肺炎和脑癌两类癌症的多个不等数据库上性能均高于基于小块图像格局,有力接济大数量时代的精准个性化诊疗。

论文三:SCA-CNN: Spatial and Channel-wise Attention in Convolutional
Networks for Image Captioning

本着图像描述生成职分,SCA-CNN基于卷积网络的多层特征来动态变化文书描述,进而建模文本生成进度中空间及通道上的注意力模型。

论文四:Deep Self-Taught Learning for Weakly Supervised Object
Localization

正文提议依靠检测器自身不断创新操练样本质地,不断增强检测器性能的一种崭新方法,破解弱监督对象检测问题中磨练样本质地低的瓶颈。

论文五:Diverse Image Annotation

本文提议了一种新的全自动图像标注目的,即用少量多样性标签表明尽量多的图像信息,该对象丰裕利用标签之间的语义关系,使得自动标注结果与人类标注越发接近。

论文六:Exploiting Symmetry and/or Manhattan Properties for 3D Object
Structure Estimation from Single and Multiple Images

根据曼哈顿布局与对称音信,文中指出了单张图像三维重建及多张图像Structure
from Motion三维重建的新办法。

CVPR重点随想解析

CVPR选中的六篇小说,我们将重大解析《录像的实时神经风格迁移》(Real-提姆(Tim)e
Neural Style Transfer for Videos)[1]那篇颇具立异的小说。

在过去很长一段时间内,业界流行的图像滤镜常常只是对全局颜色属性的调整,比如亮度、色相、饱和度等。在二〇一六年的CVPR,Gatys等人[2]首创性地提议将深度神经网络应用于图像的艺术风格迁移,使得输入图像可以模拟如梵高的星空、莫奈的日出映像等其他类型的艺术风格,效果惊艳。

Gatys等人办事纵然获得了分外好的作用,可是缺点是依照优化,分外耗时;到2016
ECCV时,Johnson等人[3]【亚洲必赢登录】教照片里的人学舞蹈,ACL及ICML等世界级会议。提出了利用深度前向神经网络替代优化进度,达成了实时的图像风格迁移,修图工具Prisma随之风靡一时。但直接将图像风格迁移的点子运用到录像上,却会使得本来连贯的视频内容在不相同帧中转化为差距等的风骨,造成视频的闪耀跳动,严重影响观感体验。为了化解闪烁问题,Ruder等人[4]投入了对时域一致性的考虑,提议了一种基于优化的视频艺术滤镜方法,但速度极慢远远达不到实时。

亚洲必赢登录 5

腾讯AI
Lab数学家利用深度前向卷积神经网络,探索视频艺术风格火速迁移的或许,提议了一种全新的两帧协同磨炼体制,保持了录像时域一致性,消除了闪烁跳动瑕疵,同时确保录像风格迁移可以实时达成,兼顾了视频风格转换的高质料与高成效。

视频艺术滤镜模型如下图所示。通过损失网络(Loss
Network)计算三番五次多个输入录像帧之间的损失来陶冶作风变换网络(Stylizing
Network)。其中空间损失(Spatial
Loss)同时描述了图像的内容损失以及风格损失;时间损失(Temporal
Loss)描述了七个作风变换后的摄像帧之间的日子一致性。

亚洲必赢登录 6

小说相关随想

[1] Haozhi Huang, Hao Wang, Wenhan Luo, Lin Ma, Wenhao Jiang, Xiaolong
Zhu, Zhifeng Li, and Wei Liu. Real-Time Neural Style Transfer for
Videos. CVPR, 2017.

[2] L. A. Gatys, A. S. Ecker, and M. Bethge. Image style transfer
using convolutional neural networks. CVPR, 2016.

[3] J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for
real-time style transfer and super-resolution. ECCV, 2016.

[亚洲必赢登录 ,4] M. Ruder, A. Dosovitskiy, and T. Brox. Artistic style transfer for
videos. German Conference on Pattern Recognition, 2016.

不管是什么人的动人姿势,都能附体到三嫂身上,把他单一的静态,变成丰硕的动态。

在本杂文中,通过把单个转换分解为多阶段转换,小编提议了堆叠循环一致性对抗网络(SCAN)。其通过学习低分辨率图像到图像的转移,然后根据低分辨率的更换学习更高分辨率的更换,那样做拉长了图像转换质量并且使得学习高分辨率转换成为可能。此外,为了方便地选拔来自前一等级的上学到的音信,商量者设计了自适应融合块以读书当前阶段的输出和前一阶段的出口的动态构成。在八个条件数据集的试验注解,与以前的单阶段措施相比较,本文指出的方法可以大大提升图像到图像转换的成色。

就是目的主演并不是人类,大约也算不上精粹。眼睛鼻子嘴,至少零件齐全

2. ACL

Meetings of the Association for Computational Linguistics

国际计算机语言协会年会

7月30日 – 5月4日|加拿大温哥华

ACL是测算语言学里最重大的国际会议,二零一九年是第55届。会议涵盖生物农学、认知建模与思维语言学、交互式对话系统、机器翻译等各类领域,二零一九年有194
篇长杂谈、107 篇短论文、21 个软件演示及 21
篇大旨演说。在2017谷歌(谷歌(Google))学术目的(谷歌(Google) Scholar)按杂谈引用率名次,
ACL是总括机语言学和自然语言处理领域最高级别国际学术年会。

腾讯AI
Lab副负责人俞栋认为,「自然语言的了然、表达、生成和转移一直是自然语言处理的基本问题。近年来有很多新的化解思路和艺术。二零一九年的ACL涉及自然语言处理的各地点,尤其在语义分析、语义角色标注、基于语义和语法的自然语言生成、机器翻译和问答系统方向上都有部分诙谐的行事。」

腾讯AI
Lab高管张潼介绍到,「ACL早期拔取语法和规则分析自然语言,90年代后,随着以LDC(Linguistic
Data
Consortium)为表示的自然语言数据集建立扩张,总括自然语言方法在测算语言学里成效进一步大并变成主流。2000年后随着互联网急忙发展及以自然语言为着力的人机交互形式兴起,自然语言切磋被给予极高应用价值。」

腾讯AI Lab三篇小说入选ACL

论文一:Modeling Source Syntax for Neural Machine Translation

正文提出将句法树转化为句法标签连串的轻量级方法,有效将源端句法音讯引入神经网络翻译系统,被证实能肯定加强翻译效果。

论文二:Chunk-Based Bi-Scale Decoder for Neural Machine Translation

正文引入一个额外组块神经网络层,从组块到词的层次变化译文,辅助完成神经网络翻译系统短语级其他建模,实验申明该方法在多种语言上都能肯定加强翻译效果。*
本文小编亦致谢前任职单位

论文三:Deep Pyramid Convolutional Neural Networks for Text
Categorization

作品提议了一种能使得发挥文本长距离关系的复杂度词粒度CNN。本文探讨了怎么着深化词粒度CNN对文本举行全局表明,并找到了一种简单网络结构,通过伸张网络深度升高准确度,但不过多伸张统计量。实验注明15层的DPCNN在多少个心理和宗旨分类职务上直达了脚下超级结果。

亚洲必赢登录 7

以前期的 pix2pix,到近日面向高分辨率的
pix2pixHD,有监督的图像到图像转换商讨已经收获了很大进展。另一方面,以
CycleGAN、DiscoGAN、ContrastGAN
为代表的点子,重点研讨了无监督的图像到图像的转换。

这就是说,怎么着的搬迁才可走出这么些范围,让那几个星球上的万物,都有时机领取视频改造的恩情?

3. ICML

International Conference on Machine Learning

国际机器学习大会

二月6日 – 11日|澳大克赖斯特彻奇洛杉矶

机械学习是人为智能的焦点技术,而ICML是机器学习最关键的三个会议之一(另一个是NIPS)。ICML源于1980年在Carnegie梅隆大学开设的机器学习研究会,现由国际机器学习学会(IMLS)主办。2017谷歌(谷歌(Google))学术指标以「机器学习」关键词名次,ICML位列第一。

腾讯AI
Lab老董张潼学士介绍到,「很多经典随想和算法,如CRF,都是在ICML上首次提出的,那些会议涉及机械学习有关的持有商量,包蕴近年丰富热门的深度学习、优化算法、总计模型和图模型等。在早期,ICML更偏重实验和动用,而NIPS更讲求模型和算法,但近期八个会议有些趋同。」

腾讯AI Lab四篇小说入选ICML

论文一:Scaling Up Sparse Support Vector Machines by Simultaneous
Feature and Sample Reduction

正文提出了第四个能在模型锻练伊始前,同时检测和去除稀疏支持向量机中不活跃样本和特点的筛选算法,并从理论和实验中表达其能不损失任何精度地把模型操练功用提高数个量级。

论文二:GSOS: Gauss-Seidel Operator Splitting Algorithm for Multi-Term
Nonsmooth Convex Composite Optimization

本文提出了求解多块非光滑复合凸优化问题的算子不一致新算法,该算法采纳Gauss-Seidel迭代以及算子不相同的技巧处理不可分的非光滑正则项,并以实验求证了该算法的一蹴而就。

论文三:Efficient Distributed Learning with Sparsity

正文提出了一个高维大数据中能更管用学习稀疏线性模型的分布式算法。在单个机器陶冶样本丰硕多时,该算法只需一轮通讯就能读书出统计最优误差模型;即使单个机器样本不足,学习计算最优误差模型的通讯代价只随机器数量对数曲线回升,而不借助于于其余标准数。

论文四:Projection-free Distributed Online Learning in Networks

本文提议了去焦点化的分布式在线条件梯度算法。该算法将标准化梯度的免投影特性推广到分布式在线场景,解决了观念算法须求复杂的阴影操作问题,能高效处理去中央化的流式数据。

腾讯AI
Lab于二零一六年七月建立,专注于机器学习、统计机视觉、语音识别和自然语言精通七个领域「基础探讨」,及内容、游戏、社交和平台工具型四大AI「应用探索」。腾讯AI
Lab老总及第一首长是机械学习和大数目大家张潼大学生(详情可点链接),副负责人及萨格勒布实验室负责人是语音识别及深度学习专家俞栋大学生。近期协会有50余位AI物理学家及200多位应用工程师。

亚洲必赢登录 8

亚洲必赢登录 9

那项研商成果,入选了ECCV 2018

只是当图像分辨率高或者几个图像域具有显然差别时,这个无监督的措施照旧不可能赢得相当八面见光的结果。受近来多阶段革新网络的启迪,本文提议了堆叠循环一致性对抗网络(SCAN),如图
1 所示。给定几个图像域的数量(没有种种对应的合营),SCAN
通过从粗糙到精细的办法渐进式地上学了高分辨率的图像到图像的转移。由于没有各种对应的同盟图像对,整个学习进程是非监督的。

亚洲必赢登录 10

当然无法只有DensePose

在 SCAN
中,一个犬牙相错的图像到图像转换问题被演讲为多少个更简短的转换阶段。最初始低分辨率的等级学习了大体上的图像低频新闻变换进程,后续高分辨率的级差学习了什么逐步添加图像高频细节。

按着你想要的旋律开花:中老年神情包利器

团队把SMPL四人态度模型,跟DensePose结缘到一块。那样一来,就可以用一个早熟的表面模型来领会一张图纸。

亚洲必赢登录 11

根源卡耐基梅隆高校的团队,开发了机关变身技能,不论是花花草草,依旧万千气象,都能自如转换。

那项商量,是用基于表面的神经合成,是在闭环里渲染一张图像,生成各类新姿势。

图 1 堆叠循环一致性对抗网络(SCAN)示意图

亚洲必赢登录 12

亚洲必赢登录 13

SCAN 具体的网络规划如图 2
所示。那里浮现两阶段的网络规划。可以迭代式地对最后一品级举行解释,获得由更多阶段组成的变换网络。对于自由的图像集合
X 与 Y,七个转移 G:X→Y 与 F:Y→X
已毕八个聚众之间的图像转换。通过多阶段图像转化模型把转换分解为

云,也变得火急了

左为源图像,中为源图姿势,右为对象姿势

亚洲必赢登录 14

也许是满怀超过大前辈Cycle-GAN(来自朱俊彦公司)
的代表,团队给我的GAN起了个可怜环保的名字,叫Recycle-GAN

肖像中人索要上学的舞姿,来自另一个人的肖像,或者视频截图。

,使得图像转化可以分多个级次学习。每个阶段都由同样的编码器-解码器结构构成。对于第一等级输出,大家限制其图像大小为原图的一半,第二阶段输出图像大小与原图大小同等。对于
x∈X,多个等级的输出分别为

那位选手,入选了ECCV 2018

DensePose系统,负责把两张相片涉嫌起来。具体方法是,在一个国有表面UV坐标系
(common 平板电脑 coordinates) 里,给两者之间做个映射

亚洲必赢登录 15

Recycle之道,时间知晓

但如果无非按照几何来扭转,又会因为DensePose采集数据不够规范,还有图像里的本身遮挡
(比如身体被手臂挡住) ,而显示不那么真实。

,类似地对于 y∈y,五个阶段的出口分别为
。四个等级的输出由自适应融合层依照分化输入动态构成以发出最终转化结果。

Recycle-GAN,是一只无监督学习的AI。

亚洲必赢登录 16

具体方法为:对于不一致输入计算五个级次输出的融合权重α,最终转化结果为八个阶段输出基于融合权重α的线性结合。七个等级的读书都使用图像转化的非监督学习(3.2.3
节)使得学习进度不借助任何图像标签对。具体来说,咱们还要学习多少个趋势图像转化,并运用循环一致性约束,限制
以及 ,同时组成对抗学习的主意从无标签数据中学习。

不成对的二维图像数据,来陶冶视频重定向(Video Retargeting)
并不易于:

DensePose提取的质量 (左) vs 修复后的质料 (右)

亚洲必赢登录 17

一是,倘诺没有成对数据,那在视频变身的优化上,给的限制就不够,简单生出不佳局地极小值
(Bad Local Minima) 而影响生功效果。

那么,团队处理遮挡的办法是,在外表坐标系里,引入一个图像修复(Impainting)
网络。把那么些网络的算计结果,和一个更传统的前馈条件和成模型测度结合起来。

图 2 SCAN
的网络规划(以两等级网络为例)

二是,只依靠二维图像的空间消息,要读书视频的风格就很费劲。

那个预测是分别独立展开的,然后再用一个细化模块来优化预测结果。把重构损失对抗损失感知损失结缘起来,优势互补,得出最后的转移效果。

在标签图和真正图像相互转换的义务上,大家与
CycleGAN、ContrastGAN、pix2pix
等情势开展了对待。同时也比较了本文方法的部分组件和变种。表 1
显得了不一致形式的数值结果。对于标签图转照片(Labels to
Photo)任务,大家应用了 FCN scores 来展开相比较。对于照片转标签图(Photo
to Labels)任务,大家利用了 Segmentation scores
来比较。可以观察,本文方法的结果远超 CycleGAN 和 ContrastGAN
那二种无监督的主意,大大压缩了与有监控的法门 pix2pix 之间的差距。

亚洲必赢登录 18

亚洲必赢登录 19

亚洲必赢登录 20

您开花,我就开放

总体的网络布局,就好像上图那般。

表 1 不等形式数值结果的相比

针对那五个问题,CMU团队提出的法门,是应用时刻音信(Temporal
Information) 来施加更加多的范围,不佳局地极小值的情状会裁减。

督察学习一下

图 3 显示了在 512×512
分辨率下,标签图转换成照片的直观结果。可以见见,与 CycleGAN
比较,本文提议的 SCAN 能够生成更具真实感的相片。

其余,时间、空间音信的搭配食用,也能让AI更好地学到视频的风格特征

模型的监察学习进程,是这么的:

亚洲必赢登录 21

亚洲必赢登录 22

亚洲必赢登录 23

图 3 标签图转照片的直观结果相比较

时刻新闻:进程条撑不住了 (误)

从输入的源图像伊始,先把它的每个像素对应到UV坐标系里。这一步是DensePose驱动的搬迁网络完毕的。

除此以外,利用 SCAN
还足以更好地已毕涉及物体形状改变的图像到图像转换,如真人头像到动漫头像的变换。图
4
突显了真人头像转动漫头像的直观结果,可以看看眼睛和嘴巴的轻重和形制都暴发了转移,不再是简简单单的逐像素变换。

一言九鼎的是,录像里的年华音信举手之劳,无需寻找。

然后,负责修补图像的自编码器,就来预测肖像中人的今非昔比角度会是何许样子。这步预测,也是在回转的坐标系里成功的。

亚洲必赢登录 24

接下来,看一下Recycle-GAN,是什么样在两段录像的图像之间,建立映射的。

从左侧初步,就是变动目的,同样要结合到UV坐标系中。再用损失函数来拍卖
(上图红字部分) 把结果输入自编码器,支持模型学习。

图 4 真人头像转动漫头像的结果

亚洲必赢登录 25

用同一人物 (同样装扮)
四个静态姿势来作监督,替代了360度旋转的身躯。

正文为机械之心宣布,转发请联系本公众号得到授权。回到今日头条,查看越来越多

三位选手比较一下

操练成果怎么样

义务编辑:

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency)
;RecycleGAN用的是录像流的岁月新闻

先来看一下,新进入的图像修复步骤,生成的作用:

多次的,比CycleGAN的历程还要勤奋。好像终于感受到,Recycle-GAN那些名字是有道理的。

亚洲必赢登录 26

对抗损失(Adversarial Loss) ,朱俊彦公司的循环损失(Cycle Loss)
屡次损失(Recurrent Loss)
,以及CMU团队团结造的“再”循环损失(Recycle Loss)
都用上,才是无往不胜的损失函数

把DensePose的质地纹路,修复一下,照旧有肯定效果的。

效能怎样?

再来看一下多少人视频什么样子:

就如唯有和CycleGAN比一场,才知道时刻新闻好不佳用。

亚洲必赢登录 27

第一局,先来探视换脸的法力:

尽管如此,脸部好像烧焦的样子,但早已很鬼畜了。在下不由得想起:

亚洲必赢登录 28

亚洲必赢登录 29

RecycleGAN用奥巴马(奥巴马(Obama))生成的川川,除了嘴唇,脸的角度也在紧接着变动。而中等的CycleGAN,只有嘴的动作相比鲜明。

除此以外协会用DeepFashion数据集,相比较了弹指间自我算法和别的同行。

第二局,你见过蒲公英开花的楷模么:

结果是,布局相似度(Structural Similarity) ,以假乱真度 (Inception
Score) 以及检测分 (Detection Score)
那三项目标,脸谱家的算法表现都当先了前辈。

亚洲必赢登录 30

亚洲必赢登录 31

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的饭团,CycleGAN还在日趋地绽放。

诸君请持续期待,DensePose更加多鬼畜的施用吧。

专注,团队是先行把二种花,从初开到完全凋谢的光阴调成一致。

舆论传送门:

除却,再看云卷卷云舒 (片头也油不过生过) :

亚洲必赢登录 32

顺手一提,教人学舞蹈的算法真的不少。

原先是悠闲地运动。

譬如说,贝克莱(Berkeley)舞痴变舞王,优点是以假乱真,缺点是没辙落到实处两人共舞

和喷气一般的云,学习了后来,就获取了急性的韵律。

亚洲必赢登录 33

亚洲必赢登录 34



那样一来,改变天气就不难了。团队说拍影片的资产,可以用那样的办法降下来。

vs

代码也快来了

亚洲必赢登录 35

亚洲必赢登录 36

CMU的数学家们说,大家急速就足以见见代码了。

HUAWEI云•普惠AI,让开发充满AI!

可是在那从前,大家如故有过多资源可以观赏。

爱上您的代码,爱做 “改变世界”的行路派!

集体在项目主页里,提供了增进的变动效果:

大会将首次公布AI开发框架,从AI模型磨练到AI模型安排的一切开发一站式完毕!让AI开发触手可及!再次来到腾讯网,查看越多

权利编辑:

随想请至此处考察:

末尾吐个槽

原本是日落:

亚洲必赢登录 37

看了黎明(英文名:)事先的视频,就接着变了日出:

亚洲必赢登录 38

而是,日落变日出那样的操作,直接倒放不佳么?

—回来博客园,查看越多

义务编辑:

网站地图xml地图