""

澳门太阳城|网站注册

  • 澳门太阳城网站的研究生洛根恩斯特龙(左)和安德鲁·伊利亚斯·发表了五份文件一起探讨计算机视觉系统的脆弱性,他们有半打更多的管道。

    澳门太阳城网站的研究生洛根恩斯特龙(左)和安德鲁·伊利亚斯·发表了五份文件一起探讨计算机视觉系统的脆弱性,他们有半打更多的管道。

    照片:金·马蒂诺

    全屏

为什么我的分类只是误以为步枪乌龟?

澳门太阳城网站的研究生洛根恩斯特龙(左)和安德鲁·伊利亚斯·发表了五份文件一起探讨计算机视觉系统的脆弱性,他们有半打更多的管道。

两名老朋友探讨计算机视觉系统是如何出差错。


记者联系

金·马蒂诺
电子邮件: kimmarti@mit.edu
电话:617-710-5216
澳门太阳城网站追求情报

几年前,巧妙地通过改变像素的图像或黑客路牌诱使计算机视觉系统的想法似乎是比什么都认真地担心假想的威胁。毕竟,在现实世界自驾车将其感知从多个角度操纵的对象,抵消任何误导性的信息。至少,这就是一项研究 声称.

“我们认为,有没有办法,这是真的!”说澳门太阳城网站的博士研究生 安德鲁·伊利亚斯,然后在澳门太阳城网站的一名大二学生。他和他的朋友们 - 阿尼什athalye,洛根恩斯特龙,和杰西林 - 龟缩在澳门太阳城网站的学生中心,并想出了一个实验,以反驳的研究。他们将打印一组三维龟和显示,计算机视觉分类可能误以为是步枪。

他们的实验结果, 发表 在机器上去年的国际会议学习(ICML),被广泛涵盖了 媒体,并担任背后自动驾驶汽车和面部识别软件的人工智能系统是多么的脆弱可能是一个提醒。 “即使你不认为一个平均攻击者会扰乱你的站牌,它的困扰,这是一个可能性,说:”伊利亚斯。 “对抗性的例子研究是关于为最坏的情况,而不是平均情况进行优化。”

没有教师的合着者为他们提供担保,伊利亚斯和他的朋友笔名“实验室6,”一出戏下发表了他们的研究 课程6,他们的 电气工程与计算机科学系 (EECS)专业。伊利亚斯·恩斯特龙和,现在澳门太阳城网站的研究生,将继续发布五个文件一起,用半打更多的管道。

当时,由敌对的例子所带来的风险仍然知之甚少。亚·莱卡,脸谱AI的头部,著名 淡化问题 在推特上。 “这里的深度学习说法的先驱之一,这是怎么回事,他们说,罗!”说EECS教授 亚历山大madry。 “它只是没有健全的权利给他们,他们决心要证明为什么。他们的勇气是非常MIT“。 

问题的程度的增长更加清晰。在2017年,IBM公司的研究员 针宇晨 显示 该计算机视觉模型可以在所谓的黑盒攻击通过简单地喂养它逐渐改变图像,直到一个导致系统故障受到影响。去年扩大对陈的工作在ICML,实验室6队 突出 多个案件中,分类可以欺骗而混乱的猫和滑雪者分别鳄梨和狗。

今年春天,伊利亚斯,恩斯特龙,并在madry ICML提出了一个框架,用于制作暗箱攻击快好几倍通过利用从各个欺骗尝试中获得的信息。安装更高效的黑箱攻击的能力允许工程师重新设计他们的模型是更加有弹性。

“当我遇到安德鲁·洛根为本科生,他们已经看起来像有经验的研究人员,”陈,谁现在通过与他们的作品说: MIT-IBM沃森人工智能实验室。 “他们也很伟大的合作者。如果一个人说话,在其他的跳跃,并完成他的思想“。

这是动态显示上最近的伊利亚斯·恩斯特龙和在Stata坐下来讨论他们的工作。伊利亚斯似乎内省和谨慎,恩斯特龙,外向,有时候,性情急躁。

“在调研中,我们争论了很多,说:”伊利亚斯。 “如果你是太相似了,你加强彼此的坏主意。”恩斯特龙点了点头。 “它可以变得非常紧张。”

当谈到时间写论文,他们轮流在键盘。 “如果是我,我添加词语,说:”伊利亚斯。 “如果是我,我砍的话,说:”恩斯特龙。

恩斯特龙加盟madry实验室的superurop项目作为小辈;伊利亚斯去年秋天加入了早完成他的本科和猛度后第一年的博士研究生。面临着来自其他顶尖研究生院计划书,伊利亚斯选择留在澳门太阳城网站。一年后,恩斯特龙紧随其后。

这个春天对回来的消息再次,用 新方法 看着对抗性的例子:不是错误,但相应仍在学习算法有用的模式太微妙了人类感知的功能。我们本能地知道,人和机器不同的看世界,但文件表明,该差异可被分离和测定。

他们训练的模型是以“稳健”特征识别的人类,和“非稳健”特征识别猫,通常忽视了人类,并发现视觉分类可以很容易地识别来自非强大的功能为强大的猫。如果有的话,该模型似乎更多地依靠非强大的功能,这表明作为精度提高,该模型可能成为对抗性的例子更敏感。 

“这使得这些功能与众不同的唯一原因是,我们作为人类是不是敏感起来,”伊利亚斯 告诉有线.

他们的灵光一现来晚了一个晚上在madry的实验室,因为他们经常做的,下面的谈话小时。 “对话是科学发现的最有力的工具,” madry喜欢说。球队迅速勾勒出实验,以测试他们的想法。

“也有深层的学习提出了许多美丽的理论,说:” madry。 “但没有假设可以,直到你拿出验证它的一种方式被接受。”

“这是一个新的领域,”他补充道。 “我们不知道这个问题的答案,并且我认为我们甚至不知道正确的问题。安德鲁·洛根有光彩和驱动器,以帮助带路“。


话题: Electrical Engineering & Computer Science (eecs), MIT-IBM沃森人工智能实验室, superurop, 追求智慧, 科学学院, 计算机科学和人工智能实验室(CSAIL), 工程学院, 人工智能, 算法, 计算机建模, 计算机科学与技术, 机器学习, 计算机视觉, 学生们, 研究生,博士后

回到顶部