""

澳门太阳城网站-最新注册

  • 以模拟对象,研究人员分析视频剪辑找到“振动模式”在不同的频率,每个表示不同的方式,一个对象可以移动。通过识别这些模式的形状,研究人员就可以开始预测这些对象将如何在新形势下移动。

    以模拟对象,研究人员分析视频剪辑找到“振动模式”在不同的频率,每个表示不同的方式,一个对象可以移动。通过识别这些模式的形状,研究人员就可以开始预测这些对象将如何在新形势下移动。

    图像:阿部戴维斯/ MIT CSAIL

    全屏
  • 使用传统相机和算法,IDV观察物体的微小,几乎看不见的振动产生的视频模拟用户几乎可以与互动。

    使用传统相机和算法,IDV观察物体的微小,几乎看不见的振动产生的视频模拟用户几乎可以与互动。

    图像:阿部戴维斯/ MIT CSAIL

    全屏

达到与“互动动态视频”触摸视频对象

To simulate objects, MIT CSAIL researchers analyzed video clips to find “vibration modes” at different frequencies that each represent distinct ways that an object can move.

从计算机科学和人工智能实验室的技术可以提高增强现实和减少CGI绿屏的需求。 看视频


记者联系

亚当·康纳 - 西蒙斯
电子邮件: aconner@csail.mit.edu
电话:617-324-9135
MIT Computer Science & Artificial Intelligence Lab

戳,推,催促,然后看他们的反应如何:我们通过操纵他们身上学到了很多关于对象。

我们显然不能做到这一点与视频 - 只是尝试触摸你的手机上猫的视频,看看会发生什么。但它是疯狂地认为我们可以采取视频和模拟如何猫移动,从来没有以实物互动?

澳门太阳城最新网站的研究人员 计算机科学和人工智能实验室 (CSAIL)最近刚刚做了,开发一个叫做交互式动态视频(IDV)成像技术,可以让你在到达和视频“触摸”的对象。使用传统相机和算法,IDV观察物体的微小,几乎看不见的振动产生的视频模拟用户几乎可以与互动。

从澳门太阳城最新网站计算机科学和人工智能实验室的交互式动态视频演示

视频:MIT CSAIL

“这项技术让我们捕捉物体的物理行为,这给我们提供了一种在虚拟空间和他们一起玩,”通过视频CSAIL博士生安倍戴维斯,谁将会在本月发布工作,为他最后的论文说”。互动,我们可以预测对象将如何未知的力量作出反应,并探索新的方式与视频的互动“。

戴维斯说,IDV有许多可能的用途,从生产新种视觉效果设计师确定制片人,如果建筑物的结构良好。例如,他表示,在对比的是流行的神奇宝贝go应用程序如何虚拟人物放到现实环境中,IDV可以通过实际使虚拟对象点到为止步骤(包括宠物小精灵)与他们的具体的,现实的环境来设计的互动,就像蹦附近的灌木丛的叶子。

他概述在一份文件中,他在今年早些时候与博士生贾斯汀摹公布的技术。陈教授弗雷杜兰德。

这个怎么运作

以模拟对象的运动的最常见的方式是通过建立一个3-D模型。不幸的是,3-D建模是昂贵的,并且可以为许多对象几乎不可能。而算法存在跟踪视频运动和放大它们,没有那些能可靠地模拟在未知环境的对象。戴维斯的工作表明,视频甚至五秒钟就能有足够的信息来创建逼真的模拟。

模拟的对象,该小组分析视频剪辑找到“振动模式”在不同的频率,每个表示不同的方式,一个对象可以移动。通过识别这些模式的形状,研究人员就可以开始预测这些对象将如何在新形势下移动。

“计算机图形允许我们使用3-D模型来构建交互式的模拟,但是这些技术可能很复杂,”道格·詹姆斯,在斯坦福大学计算机科学教授谁没有参与这项研究说。 “戴维斯和他的同事们提供了一个简单而巧妙的方法来提取视频中非常微小的振动,一个有用的动力学模型,并展示了如何用它来制作动画的图像。”

戴维斯上使用的各种物体,包括桥梁,攀登架,和ukelele的视频IDV。有几次鼠标点击,他表明,他可以推拉的形象,弯曲和不同的方向移动它。他甚至展示了他是怎样做自己的手似乎telekinetically控制灌木的叶子。

“如果你想建模对象的行为和响应不同的力量,我们表明,你可以观察对象应对现有力量,并假定它会以一致的方式,以新​​的回应,”戴维斯,谁也发现,说:该技术甚至还可以在YouTube的上的一些现有的影片。

应用

研究人员说,该工具在工程,娱乐等许多潜在的用途。

例如,在电影中它可以是困难和昂贵的获得CGI人物现实与他们的真实世界环境互动。这样做需要制片人来使用绿色屏幕和创建可与现场表演同步的虚拟对象的详细模型。

但与IDV,一个摄影师可以利用现有的现实环境中的视频,并进行一些细微修改像遮蔽,消光,和阴影在更短的时间来达到类似的效果 - 在成本的一小部分。

工程师还可以使用该系统来模拟如何的老建筑,桥梁将强风或地震响应。

“把真实世界的物体进入虚拟模型的能力是不只是明显的娱乐应用,同时也为能够测试应力在一个安全的虚拟环境中,在不损害现实世界对应的方式有价值,”戴维斯说。

他说,他也希望看到其他应用的出现,从研究体育电影创造虚拟现实的新形式。

“当你看着像魔环VR公司,他们往往在模拟真实空间的虚拟对象,”他说。 “这样的工作变成是发挥得淋漓尽致,让我们看到多远,我们可以捕捉和虚拟空间中操纵真实对象的方面去。”

这项工作是由美国国家科学基金会和卡塔尔计算研究所的支持。陈还通过澳门太阳城最新网站能源倡议,得到了壳的研究支持。


主题: 研究, 工程学院, 计算机科学与技术, 计算机科学和人工智能实验室(CSAIL), Electrical Engineering & Computer Science (eecs), 计算机视觉, 设计, 城市研究与规划, 土木与环境工程, 视频游戏, 学生们, 研究生,博士后, 电影和电视, 增强和虚拟现实

回到顶部