""

澳门太阳城网站-最新注册

  • 使用超级计算机系统,澳门太阳城最新网站的研究人员开发出了全球捕获网络流量可能看起来像在某一天的事情,包括以前看不到的孤立链接(左)很少连接,但似乎影响核心网络流量(右)的模型。

    使用超级计算机系统,澳门太阳城最新网站的研究人员开发出了全球捕获网络流量可能看起来像在某一天的事情,包括以前看不到的孤立链接(左)很少连接,但似乎影响核心网络流量(右)的模型。

    研究人员的形象礼貌,由麻省​​理工学院新闻编辑

    全屏

超级计算机分析横跨整个互联网的网络流量

使用超级计算机系统,澳门太阳城最新网站的研究人员开发出了全球捕获网络流量可能看起来像在某一天的事情,包括以前看不到的孤立链接(左)很少连接,但似乎影响核心网络流量(右)的模型。

建模网络流量可以帮助网络安全,计算基础设施的设计,互联网政策,等等。


记者联系

艾比abaz要么ius
电子邮件: abbya@mit.edu
电话:617-253-2709
澳门太阳城最新网站新闻办公室

媒体资源

1张图片下载

媒体访问

媒体只能从本网站的桌面版本下载。

使用超级计算机系统,澳门太阳城最新网站的研究人员已经开发出什么捕获网络流量看起来像世界各地的某一天,它可以作为互联网的研究和许多其他应用的测量工具的模型。

在如此大规模的了解网络流量模式,研究人员说,是互联网告知政策,识别和防止断电,抵御网络攻击,并设计更高效的计算基础设施是有用的。描述方法的论文在最近的IEEE高性能极计算大会提出。

为他们的工作中,研究人员收集到的最大的公开可用的互联网流量数据集,包含50个十亿的数据分组在不同的位置在全球超过数年时间进行交换。

他们通过一种新颖的“神经网络”管道运行中的数据在整个MIT supercloud 10000个处理器运行时,从澳门太阳城最新网站林肯实验室和跨机构综合计算资源的系统。这条管道自动训练来捕捉数据集中各个环节的关系模式 - 从普通坪像谷歌和Facebook的巨头,到只是简单地连接但似乎对网络流量产生一定的影响罕见的链接。  

该模型可以采取任何大规模的网络数据集,并生成有关网络中的所有连接如何相互影响的一些统计测量。可以用来揭示关于对等网络文件共享,恶意IP地址和发送垃圾邮件的行为,在关键部门的攻击分布,交通瓶颈的见解,以更好地分配计算资源,并保持数据流动。

在概念上,工作类似于测量空间的宇宙微波背景辐射,近统一的无线电波围绕着我们的宇宙旅行已一个重要的信息来源,研究的现象在外太空。 “我们建立了一个精确的模型,用于测量互联网的虚拟世界的背景下,”杰里米·凯普纳,在澳门太阳城最新网站林肯实验室的超级计算机中心的研究员,并通过培训的天文学家说。 “如果你想发现任何变化或异常,你必须有背景的一个很好的模式。”

在纸张上加入凯普纳是:互联网主动性日本儿郎町;中心在加州大学圣地亚哥分校施加互联网数据分析的KC claffy;维杰gadepally和彼得·林肯实验室的超级计算机中心的michaleas;和劳伦milechin,研究员在地球,大气与行星科学的澳门太阳城最新网站的部门。

分手数据

在互联网研究,专家研究网络流量的异常可能表明,例如,网络威胁。这样做,它有助于先了解一下正常流量的样子。但捕获仍然具有挑战性。传统的“流量分析”模型只能分析数据包的小样本的位置限制的来源和目的地之间交换。这降低了模型的准确性。

研究人员并没有专门找解决这个流量分析的问题。但他们一直在发展,可能在MIT supercloud被用来处理海量网络矩阵的新技术。互联网流量是完美的测试用例。

网络通常在研究图的形式,与由节点所表示的行动者,以及表示节点之间的连接的链接。互联网流量,节点的尺寸和位置而有所不同。大超节点是流行的集线器,诸如谷歌或Facebook的。叶节点从该超级节点展开并具有彼此和超级节点的多个连接。位于外侧的是超节点和叶节点的“核心”是分离的节点和链路,其连接到彼此很少。

捕捉这些图的充分程度是不可行的传统模式。 “你不能碰这些数据无法获得一台超级计算机,”凯普纳说。

与广泛集成的分布式环境(宽)项目,由几个日本大学成立,中心的应用互联网数据分析(CAIDA)的合作伙伴关系,在美国加州,美国澳门太阳城最新网站的研究人员捕捉到的世界上最大的互联网流量数据包捕获数据集。匿名的数据集包含期间通过了日本和美国的不同位置,可以追溯到2015年随机天消费者和各种应用和服务之间近50十亿独特的源和目标数据点。

他们可以训练对数据的任何模型之前,他们需要做一些广泛的预处理。这样做,他们利用他们以前创建的软件,称为动态分配二维数据模式(d4m),它使用了一些平均技术能够有效地计算并含有更多的空比数据点空间排序“hypersparse数据”。研究人员打破了数据跨到MIT万处理器supercloud大约100,000包单位。这个生成的数十亿源和目的地之间的相互作用的行和列的更紧凑的矩阵。

捕捉异常

但绝大多数在此hypersparse数据集的细胞仍然是空的。处理矩阵,球队在同一个万芯跑了神经网络。在幕后,试错法开始拟合模型的数据整体,创造潜在的精确模型的概率分布。

然后,它使用了修正后的误差校正技术以进一步缩小各模型的参数来捕获尽可能多的数据成为可能。传统上,在机器学习的纠错技术将尽量减少,以使模型适合正常概率分布,这使得它更准确的整体外围的任何数据的意义。但研究人员用一些数学技巧,以确保模型仍然看到所有异常数据 - 诸如隔离环节 - 整体尺寸为显著。

最后,神经网络本质上生成一个简单的模型,只有两个参数,即描述了互联网流量数据集,“从真正流行节点孤立节点,之间的一切完全谱”凯普纳说。

使用超级计算资源来有效地处理,以确定有意义的模式和网络活动是“开创性的”工作“的交通流水流”大卫·贝德,计算机科学与研究所数据科学部主任的新泽西学院特聘教授说,技术。 “网络安全盛大的挑战是了解互联网流量的全球规模的趋势而言,如检测邪恶的来源,确定显著流聚集,对接种疫苗的计算机病毒。 [本课题组]成功解决了这一问题,并提出了全球网络流量的深入分析,”他说。

研究人员目前正在深入到科学界找到自己的模型下一个应用程序。专家介绍,例如,可以检查隔离链接研究人员在他们的实验是罕见的,但似乎影响在核心节点的网络通信中发现的重要意义。

超越互联网,神经网络的管道可用于分析任何hypersparse网络,如生物和社交网络。 “现在我们已经给科学界谁想要建立更强大的网络或检测网络的异常人奇妙的工具,”凯普纳说。 “这些异常可能是什么用户做的只是正常的行为,也可能是人在做你不想要的东西。”


主题: 研究, EAPS, 林肯实验室, 科学学院, 计算机科学与技术, 算法, 人工智能, 机器学习, 数据, 超级计算, 互联网, 网络安全

回到顶部