澳门太阳城网站-最新注册

  • CSAIL博士生金迪率领textfooler系统的开发。

    CSAIL博士生金迪率领textfooler系统的开发。

    照片:贾森·多尔夫曼/ MIT CSAIL

    全屏

Alexa的哎!对不起,我骗了你...

CSAIL博士生金迪率领textfooler系统的开发。

MIT的新系统textfooler可以欺骗类型的自然语言处理系统中使用谷歌来帮助那些强国的搜索结果,谷歌,包括音频产品。


记者联系

雷切尔·戈登
电子邮件: rachelg@csail.mit.edu
电话:617-258-0675
澳门太阳城最新网站计算机科学和人工智能实验室

人类可能可以告诉龟和步枪的差异。两年前,谷歌的AI并非如此 当然。很长一段时间,计算机科学研究的一个子集,一直致力于更好地了解机器学习模型如何处理这些“对抗性”的攻击,哪些输入创建故意欺骗或愚弄的机器学习算法。 

同时,许多工作都集中在ESTA 言语图片近日,来自澳门太阳城最新网站的一个团队的 计算机科学和人工智能实验室 (CSAIL)测试文本的边界。他们想出了“textfooler,”总体框架,可以成功地攻击自然语言处理(NLP)系统 - 的系统类型,让我们互动与我们的Siri和ALEXA语音助理 - 和“傻瓜”到他们做出错误的预测。 

人们可以想象使用textfooler的有关互联网安全,电子邮件垃圾邮件过滤许多应用:比如,仇恨言论下垂,或“敏感”的政治演讲文本检测 - 这些都是基于文本分类模型。 

“这些工具的弱势,如果对抗是有目的的攻击,那么后果可能是灾难性的,说:”金迪,澳门太阳城最新网站的博士生和主要作者在一篇新的研究关于textfooler。 “这些工具需要有有效途径来保护自己的防守,而为了使安全这样的防御系统,我们需要先检查对抗性的方法。” 

两个部分textfooler作品:改变给定文本,并使用两个,然后一个文本来测试不同的语言任务,看看系统是否可以成功地欺骗机器学习模型。  

该系统首先确定,这将影响目标模型预测的最重要的字,然后选择同义词那适合上下文。维持这一切,而原来的语法和意义看“人”够了,直到预测被改变。 

然后,该框架适用于两个不同的任务 - 文本分类,并蕴涵(这是在一个句子文本片段之间的关系),与改变分类蕴涵或原车型的判决无效的目标。 

在一个实例中,输入和输出textfooler的分别为:

“中的人物,在投不可能做作情况,是完全从现实疏远。” 

“中的人物,在投不可能工程的情况下,完全脱离现实疏远。” 

在这种情况下,当上NLP模型进行测试时,它得到正确的输入示例,但随后修改的输入可能得到错误的。 

在总textfooler成功攻击对象的三款车型,其中包括“伯特”的流行开源模式NLP。上当的目标车型拥有超过90%的精确度下20%,在给定的文本只改变10的话个百分点。该团队评估了三个标准的成功:改变模型的分类或蕴涵预测;它看起来像无论是意为人类读者,与原来的例子相比,无论是文字,看起来十分自然的。 

研究人员指出,尽管现有的车型是不是攻击的最终目标,他们希望这项工作将帮助更多的抽象模型推广到新的,未知的数据。 

“该系统可用于或扩展到攻击任何基于分类模型来测试NLP他们的鲁棒性,说:”斤。 “在另一方面,对手可以生成用于改善通过增加对抗性训练,这是这项工作的一个重要方向的稳健性和深度的学习模式的推广。” 

晋一起写A * STAR,新加坡澳门太阳城最新网站教授彼得Szolovits,香港大学止痉斤,和乔伊天翼周纸张。他们将在纽约人工智能AAAI会议中发表论文。 


主题: 计算机科学和人工智能实验室(CSAIL), 计算机科学与技术, 机器学习, 算法, 数据, 自然语言处理, 人工智能, Electrical Engineering & Computer Science (eecs), 工程学院, 技术与社会

回到顶部