""

澳门太阳城网站-最新注册

  • 澳门太阳城最新网站教授里贾纳barzilay(左)和CSAIL博士生TAL舒斯特尔正在研究机器生成的文本的探测器。

    澳门太阳城最新网站教授里贾纳barzilay(左)和CSAIL博士生TAL舒斯特尔正在研究机器生成的文本的探测器。

    照片:雷切尔·戈登/ CSAIL

    全屏

更好事实检查为假新闻

澳门太阳城最新网站教授里贾纳barzilay(左)和CSAIL博士生TAL舒斯特尔正在研究机器生成的文本的探测器。

新的研究揭示了假新闻的数据集的偏见和提高了使用自动探测器。


记者联系

雷切尔·戈登
电子邮件: rachelg@csail.mit.edu
电话:617-258-0675
澳门太阳城最新网站计算机科学和人工智能实验室

21世纪开辟了标题,文章和故事的无限的质量。此信息涌入,然而,部分地污染:沿着事实,真实含量是错误的,故意从可疑来源操纵材料。根据 由欧洲研究理事会的研究,一个在四个美国人2016年总统竞选期间访问至少一个假新闻文章。 

这个问题最近被一些所谓的加剧“文本自动生成。”先进的人工智能软件,如openai的 GPT-2语言模型, 现在正在使用的东西像自动完成,写作援助,总结,多,而且它也可以用来产生大量的虚假信息 - 快。 

要降低这种风险,研究人员最近开发 自动检测器 它可以识别这台机器生成的文本。 

然而,从澳门太阳城最新网站计算机科学和人工智能实验室的团队(CSAIL)发现,这种做法是不完整的。 

为了证明这一点,研究人员开发,他们表现出能骗得了国家的最先进的假新闻探测器的攻击。因为检测认为,人类书面文字是真实的,攻击者巧妙地(自动)冒充这样的文本。此外,由于探测器认为机器生成的文本是假的,它可能会被迫也错误地谴责文本自动生成的完全合法的用途。

但如何能在攻击者自动生成“假的人书面文字”?如果这是人写的,怎么能自动生成? 

该团队提出了以下策略:而不是产生从无到有的文字,他们用现有的人书面文字的丰富,但自动破坏它改变它的意义。保持相干性,它们在执行编辑时,,表明其潜在的恶意的用途不限于生成文本中使用的GPT-2语言模型。

“有关于机器生成的假文本日益关注,以及一个很好的理由,” CSAIL博士生TAL舒斯特,对他们的发现新的纸张主要作者。 “我有一个暗示说少了点什么在当前的方法识别通过检测自动生成的文本虚假信息 - 是自动生成的文字总是假的?是人为生成的文本始终是真的吗?”

在一个实验中,球队模拟使用类似合法来源自动完成书写援助工具的攻击。合法来源验证自动完成的句子是正确的,而攻击者确认,他们是不正确。 

例如,团队使用了大约NASA的科学家们描述的日冕物质抛射的新数据的收集的文章。他们促使发电机来产生这个数据是如何有用的信息。艾给了一个内容丰富,完全正确的解释,描述数据将如何帮助科学家研究地球的磁场。然而,被认定为“假新闻”。如果他们都是机器生成的假新闻探测器无法区分真正的文本假的。

“我们需要的心态,最内在的‘假新闻’的特点是事实虚假,不在于是否是由机器生成的文本,说:”舒斯特尔。 “文字发生器没有一个具体的议程 - 它是由用户来决定如何使用这项技术。”

该团队指出,由于文字发电机的质量可能持续改善,合法使用这些工具很可能会增加 - 另一个原因是我们不应该“歧视”对自动生成的文本。 

“这一发现我们的质疑中被用来帮助其他新闻来源检测误传当前分类的可信度,”澳门太阳城最新网站教授里贾纳barzilay说。

舒斯特和barzilay康奈尔高科技和特拉维夫大学,以及CSAIL博士生darsh沙阿旁边写道:舒斯特尔roei纸。

在AI偏见 没什么新鲜的 - 我们的成见,偏见,partialities已知会影响我们的算法铰链上的信息。样本偏差可能毁掉自驾车,如果没有足够的夜间数据和偏见偏见可能会不自觉地体现个人的成见。如果这些预测模型学会根据他们提供的数据,他们将无疑不明白什么是真的还是假的。

考虑到这一点,在第二篇文章中,澳门太阳城最新网站CSAIL同一小组使用世界上最大的事实检查数据集,事实上提取和验证(发烧),制定系统,检测虚假陈述。 

发烧已经使用了机器学习研究人员真实和虚假陈述,与维基百科的文章证据匹配的存储库。然而,球队的分析表明,在数据集中惊人的偏见 - 偏见,可能在它上训练的模型会导致错误。 

“许多由人工注释创建的报表包含赠品短语,说:”舒斯特尔。 “例如,短语,如‘没有’和‘没有’大多出现在虚假陈述。” 

一个坏的结果是,经过训练,对发烧机型看作否定句更有可能是假的,不管他们是否是真的。 

“亚当·兰伯特不会公开掩饰自己的同性恋,”例如,可能会被宣布为事实查证AI假,尽管说法是真实的,并且可以从AI给出的数据来推断。问题是,该模型的重点是要求的语言,并没有考虑外部证据考虑在内。

不考虑任何证据分类的要求的另一个问题是完全相同的声明中可能是真实的,但可以考虑在未来的假。例如,到2019年它是真实地说,女演员奥利维亚·科尔曼从来没有获得奥斯卡奖。今天,这句话可以很容易地通过检查她的IMDb外形反驳。 

考虑到这一点,球队创造了一些纠正这种通过去偏热的数据集。奇怪的是,他们发现,该模型对他们公正的评价组表现不佳,其结果从下降86%到58%。 

“不幸的是,该机型似乎过于依赖,而不是在所提供的证据中验证报表上的偏见,他们被暴露了,说:”舒斯特尔。 

与debiased数据集的武装,团队开发出一种新的算法,性能优于所有指标以前的。

“算法下的权重的情况下与人专门常见的有一个相应的类,最多权重的情况下与罕见该类词组,短语的重要性,”沙阿说。 “例如,短语真实声称‘没有’将upweighted,因此,在新权重数据集,这句话将不再与‘假’类相关。” 

该团队希望,在未来,其实检查合并到现有的防御会使模型受到攻击更稳健。他们的目标是通过开发新的算法,构建覆盖更多类型的误传数据集,进一步提高现有的模型。 

“这是令人兴奋地看到检测合成介质,这将是确保网络安全前进艾成熟越来越关键组件的研究,”英里布伦戴奇,在openai的科学家谁没有参与该项目说。 “这项研究开辟了艾未未在帮助解决数字信息的问题,取笑除了在检测事实准确性和出处的角色可能发挥的作用。”

对球队的事实检查贡献的论文,基于去除偏差,将在十月在自然语言处理实证方法在香港会议期间提交。舒斯特从DSO国家实验室,澳门太阳城最新网站的本科丹尼尔filizzola,和澳门太阳城最新网站博士后恩里科santus写道一起,沙barzilay,宁静杨荣文纸张。

这项研究是由Facebook的的人工智能研究,谁授予的团队在线安全标杆奖支持。


主题: 计算机科学和人工智能实验室(CSAIL), 电气工程和计算机科学(EECS), 人工智能, 计算机科学与技术, 算法, 社交媒体, 工程学院

回到顶部