""

澳门太阳城网站-最新注册

  • 基于阴影那附近的物体一个彻头彻尾的视点视频铸件,MIT的研究人员可以估算看不见的视频内容。在顶行中,研究人员ESTA方法用来重建在出的视图的视频的视觉元素;原始的元素示出了底部排。效果可以在下面在运动视频中可以看出。

    基于阴影那附近的物体一个彻头彻尾的视点视频铸件,MIT的研究人员可以估算看不见的视频内容。在顶行中,研究人员ESTA方法用来重建在出的视图的视频的视觉元素;原始的元素示出了底部排。效果可以在下面在运动视频中可以看出。

    图片来源:研究人员。

    全屏

使用计算机来查看看不见

Based on shadows that an out-of-view video casts on nearby objects, MIT researchers can estimate the contents of the unseen video. In the top row, researchers used this method to recreate visual elements in an out-of-view video; the 要么iginal elements are shown in the bottom row.

一个新的计算成像方法的改变,我们如何看待可能隐藏在幕后的信息。 看视频


记者联系

雷切尔·戈登
电子邮件: rachelg@csail.mit.edu
电话:617-258-0675
澳门太阳城最新网站计算机科学和人工智能实验室

相机和计算机连接在一起可以克服一些严重的惊世伟绩。给电脑视力已经帮助我们 打野火在加州,理解复杂诡谲的道路 - 甚至见微知著。 

具体而言,七年前,一群澳门太阳城最新网站的研究中创建的 新的成像系统 所用地板,门,并作为“镜子”墙面都懂的正常视线之外的场景信息。使用特殊的激光,产生可识别的3D图像,工作中让我们更好地了解我们无法看到打开了一个充满可能性的境界。 

最近,另一组从澳门太阳城最新网站计算机科学和人工智能实验室(CSAIL)的科学家已经建立过这样的工作,但这次不需要特殊的设备:他们开发了一种方法,可以从只是细微的阴影和反射重建隐藏视频在杂乱的观察堆。这意味着,在一个房间打开摄像机,他们可以重建房间的角落看不见的视频,即使是属于外面的摄像机视场。 

通过观察视频阴影和几何的相互作用,球队的算法预测,在一个场景中,这被称为系统光行驶,然后用它来从观测到的阴影估计隐藏式视频的方式“光运输。” - 这甚至可以构建的真人演出的剪影。 

这种类型的图像重建的可能社会的一个天利多面:自动驾驶汽车能够更好地理解什么是新兴的从后面的角落,老年人护理中心,可以提高安全性为他们的居民,以及搜索和救援队甚至可以提高他们的能力导航危险或阻碍的区域。 

该技术,这是“被动的”,这意味着没有激光或其他干预措施到现场,还是目前大约需要两个小时的时间过程,但研究人员说,它最终可能会有所帮助在不视线传统线重建场景上述应用。 

“就可以实现相当多的采用非行的视线成像设备,如激光,但在我们的方法,你只能访问到真实自然地到达相机的光,并尝试最大限度地利用的稀缺信息它,“Miika aittala,NVIDIA公司的现任和前任CSAIL博士后研究的科学家说,, 并在新技术的首席研究员。 “鉴于在神经网络中的最新进展,ESTA似乎是一个伟大的时间参观一些挑战,在ESTA空间,被认为是前很大程度上高不可攀。” 

看不见的,以捕捉ESTA信息,团队使用含蓄,间接照明提示:如从观察区域的杂乱阴影和高光。

在某种程度上,杂乱的一堆行为有点像针孔摄像头,类似的东西,你可以建立在小学科学课:它阻止一些光线,但允许其他人通过,这些油漆周围地方的图像他们打。但是,在针孔相机被设计允许通过只是的权利光线形成一个可读图像,杂波的一般桩产生被加扰的图像(通过光传输)面目全非,成阴影和阴影的复杂播放量。 

你可以把杂乱的,那么,因为这使你的视图到它周围的炒周围的镜子 - 例如,后面的角落里,你不能直接看到。 

挑战谈到了球队的算法是,这些照明线索的解读和有意义。具体而言,目标是恢复活动的人可读的视频中隐藏的画面,这是光传输和视频隐藏的乘法。 

然而,解读被证明是一个典型的“先有鸡还是先有蛋”的问题。争先恐后地找出模式,用户将需要已经知道了隐藏的视频,反之亦然。 

“在数学上,这就像如果我告诉你我在二个秘密数字的思想,他们的产品是80,你能猜出他们是谁?也许40和2?也许,或371.8和0.2152?在我们的问题,我们在每一个像素面临类似的情况,说:“aittala。 “几乎所有的隐藏的视频都可以通过相应的争夺反之亦然解释和副。如果我们让计算机选择,它只会做一件容易的事情,给我们一个很大的一堆随机本质上的图像是不喜欢看的东西“。 

考虑到这一点,该团队专注于打破了由指定模糊算法,他们想“扰”图案,以对应现实世界中的似是而非的阴影和阴影,揭开隐藏的视频,看起来像它的边缘和连贯对象移动。 

另外,研究小组使用的令人吃惊的事实神经网络,自然喜欢表现“图像样”的内容,即使他们从来没有受过训练的话,这有助于打破歧义。该算法训练两个神经网络同时,如果他们专门为一个目标仅视频,使用机器学习的想法,从一个概念叫 深图像前。一个网络产生的加扰模式,和其他估计隐藏视频。当网络的回报,这两个因素的组合游戏从杂乱录制的视频,促使他们解释意见有了合理的隐藏数据。

测试系统,该球队第一对象堆积在一个壁,和投影的视频或要么在相对壁本身物理地移动。由此看来,他们能够重建视频在那里你可以得到的东西正在发生运动房间的隐藏区域一般意义。

在未来,球队希望改善提高了系统的整体分辨率,并在最后一个不受控制的环境中测试该技术。 

aittala的技术一起CSAIL博士生Prafull夏尔马写了一篇新论文,卢卡斯MÜRMANN,和亚当Yedidia,与澳门太阳城最新网站教授弗雷杜兰德,弗里曼账单,和格雷戈里W要么nell。他们将于下周在温哥华神经信息处理系统的会议,不列颠哥伦比亚省目前它。 


主题: 计算机科学和人工智能实验室(CSAIL), 电气工程和计算机科学(EECS), 工程学院, 研究, 算法, 计算机科学与技术, 计算机视觉, 视频游戏, 视频, 救灾, 电影和电视

回到顶部