系群体鬼畜,只需一张照片就能让它跳舞

澳门新葡萄京997755 10

原标题:【ECCV
201八】照片墙(TWTCR-V.US)开垦姿态转变模型,只需一张照片就能让它跳舞(录制)

原标题:用DensePose,教照片里的人学舞蹈,系群体鬼畜 | ECCV 2018

澳门新葡萄京997755 1

栗子 发自 凹非寺

倒计时**10**天

澳门新葡萄京997755 2

怎么着让二个面朝镜头静止不动的大姐,跳起你为他选的舞蹈,把360度身姿周密表现?

来源:ECCV 2018

Facebook团队,把肩负感知的几个人姿势识别模型DensePose,与负担生成纵深生成互联网整合起来。

编辑:肖琴

不管是什么人的摄人心魄姿势,都能附体到大嫂身上,把她单一的静态,产生丰富的动态。

【新智元导读】DensePose团队在ECCV
201八刊登又一大手笔:密集人体姿态转变!那是一个基于DensePose的架势调换系统,仅依照一张输入图像和目的姿势,生成数字人物的卡通片效果。

澳门新葡萄京997755 3

DensePose 是 推特(Twitter) 商讨员 Natalia
Neverova、Iasonas Kokkinos 和法兰西 IN福睿斯IA 的 XC60ıza Alp 居尔er
开拓的贰个为之侧目的肉体实时姿势识别系统,它在 二D 图像和躯体3D
模型之间建立映射,最后促成密集人群的实时姿态识别。

那项钻探成果,入选了ECCV 2018

具体来讲,DensePose 利用深度学习将 2D RPG
图像坐标映射到 3D 人体表面,把一位分开成大多 UV 贴图(UV
坐标),然后管理密集坐标,达成动态人物的准确定位和神态推断。

当然不可能唯有DensePose

澳门新葡萄京997755 4

团队把SMPL四人态度模型,跟DensePose构成到联合。这样1来,就足以用二个高瞻远瞩的外部模型来理解一张图纸。

DensePose
模型以及数据集已经开源,传送门:

那项斟酌,是用基于表面包车型地铁神经济同盟成,是在闭环里渲染一张图像,生成种种新姿势。

澳门新葡萄京997755 5

近来,该组织更进一步,公布了依赖DensePose 的一个架子转变系统:Dense Pose Transfer,仅依照一张输入图像和目的姿势,创立出
“数字化身” 的动画效果。

左为源图像,中为源图姿势,右为对象姿势

澳门新葡萄京997755 6

肖像中人要求学习的舞姿,来自另壹人的相片,只怕摄像截图。

在那项职业中,钻探者希望仅依据基于表面(三星平板-based)的靶子表示(object
representations),类似于在图纸引擎中应用的指标表示,来获取对图像合成进度的更加强把握。

DensePose系统,负担把两张相片涉嫌起来。具体方法是,在1个公共表面UV坐标系
(common 平板电脑 coordinates) 里,给两者之间做个映射

讨论者关怀的基本点是人体。模型建立在新近的 SMPL 模型和 DensePose
系统的功底上,将那八个种类整合在一齐,从而能够用全部的表面模型来证实一人的图像。

但如果仅仅依照几何来变化,又会因为DensePose收集数据不够标准,还有图像里的本人遮挡
(例如肉体被手臂挡住) ,而显得不那么真实。

下边包车型大巴录制突显了越来越多生成结果:

澳门新葡萄京997755 7

具体来说,那项才具是因此 华为平板-based
的神经济协作成,渲染同一位的例外姿势,从而试行图像生成。目的姿势(target
pose)是透过2个 “pose donor”
的图像表示的,也便是教导图像合成的另1个人。DensePose
系统用于将新的相片与集体表面坐标相关联,并复制预测的外观。

DensePose提取的材料 (左) vs 修复后的材质 (右)

我们在 DeepFashion 和 MVC
数据集进行了试验,结果注解我们得以获得比最新才具更加好的定量结果。

那么,团队拍卖遮挡的章程是,在外部坐标系里,引进三个图像修复(Impainting)
网络。把那几个互连网的前瞻结果,和八个更古板的前馈条件和成模型前瞻结合起来。

除了姿势转变的特定难点外,所建议的神经济协作成与
平板电脑-based
的表示相结合的方法也有梦想化解虚拟现实和拉长现实的更广大难题:由于
平板电脑-based
的意味,合成的进度越发透明,也更便于与物理世界连接。现在,姿势转变任务大概对数码集加强、陶冶伪造检查评定器等选用很有用。

这个预测是独家独立进行的,然后再用2个细化模块澳门新葡萄京997755 ,来优化预测结果。把重构损失对战损失感知损失重组起来,优势互补,得出最后的扭转效果。

Dense Pose Transfer

澳门新葡萄京997755 8

商量人口以1种高效的、自下而上的主意,将各类人体像素与其在身体参数化的坐标关联起来,开采了缠绕
DensePose 估量系统举行姿势调换的章程。

壹体化的互连网布局,就像上海教室那般。

大家以二种补偿的办法利用 DensePose
输出,对应于预测模块和变形模块(warping module),如图 一 所示。

监察和控制学习一下

澳门新葡萄京997755 9

模型的监察学习进度,是那般的:

图 一:pose transfer pipeline
的大概浏览:给定输入图像和对象姿势,使用 DensePose 来实践生成进度。

澳门新葡萄京997755 10

变形模块使用 DensePose
表面对应和图像修复(inpainting)来变化人物的新视图,而估算模块是三个通用的黑盒生成模型,以输入和目的的
DensePose 输出作为标准。

从输入的源图像起首,先把它的种种像素对应到UV坐标系里。这一步是DensePose驱动的动员搬迁网络达成的。

那五个模块具备互补的优点:预测模块成功地运用密集条件输出来为熟悉的姿势生成合理的图像;但它无法加大的新的架势,或撤换纹理细节。

然后,负责修补图像的自编码器,就来预测肖像中人的今非昔比角度会是何许体统。那步预测,也是在扭转的坐标系里完毕的。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注