广告

新兴技术

拥抱万维网上文件共享的集体力量

Google NewsGoogle News Preferred Source
插画:John Hersey

新闻简报

注册我们的电子邮件新闻简报,获取最新的科学新闻

注册

无论你是否意识到,你很可能已经在万维网上参与过一场自发形成的大规模围观。某地的某个人决定分享一些引起你兴趣的东西:比如一段印度洋海啸冲毁海滩度假村的家庭录像。起初,这类分享内容吸引观众的速度很慢。少数人把链接发给朋友,但很快这些链接就形成了一个正反馈循环,不久后,大型媒体新闻网站也注意到了这个文件,最初的一小群访客变成了蜂拥而至的人潮。

广告

这个循环是万维网信息生态系统中无处不在的一部分,人们创造了许多不同的术语来描述它,包括引爆点、思想病毒和点对点营销。其基本原则是,热点是以分布式而非集中式的方式传播的。我们不再通过《纽约时报》或电视新闻来了解网上的热点事件,而是从朋友或朋友的朋友那里听说。互联网的连接如此紧密,以至于分布式通信模式可以迅速形成自发的大规模受众。

但这有一个问题。关于新视频片段的热度是以分布式方式传播的,但观看该片段的过程却依然是集中式的。数以百万计的人从成千上万个不同来源听说了海啸视频,但他们都涌向了托管该视频的单一网络服务器。当一百万人同时试图从一个没有准备好应对如此大流量的服务器请求文件时,结果就像一千人挤上一艘只能容纳一百名乘客的渡轮:要么大多数访客被拒之门外,要么渡轮沉没。

网络行家称之为“Slashdot效应”,得名于一个著名的技术网站,该网站以链接到有趣的新在线文件并瞬间使其服务器瘫痪而闻名。你可以把它看作是奥斯卡·王尔德那句老话“每个人都会杀死他所爱的东西”的数字时代版本。Slashdot链接到一个新文件,是因为它包含了一些值得称赞或有趣的内容,而正是因为这个链接,该文件瞬间就看不到了。

在我们的日常世界中,这种因受欢迎而产生的诅咒是合乎情理的。每个假日季节,总有一些热门玩具因为供不应求而让父母们头疼。但在一个纯信息的世界里,传统的稀缺性法则不一定适用:当你在网上看到稀缺的迹象时,那是一个设计缺陷,而非自然现象。在网络成为大众媒体十年后,一些软件先驱者终于在修复这个缺陷。他们的方式是拥抱“蜂群”的力量。

一段时间以来,已经有了一种应对自发大规模受众造成的网络拥堵的临时方法——建立包含原始文件副本的镜像网站。因此,当有人传播热门链接时,他们通常会提供一个补充的镜像网站列表,以防原始网站宕机。这个想法是通过分散人群来管理“蜂群”。

最近出现了一个更好的主意。一些网络高手不再创建镜像网站,而是在文件需求量很大时创建一个所谓的“种子”(torrent)。这使得其他人可以使用BitTorrent来下载文件。BitTorrent是一个小巧而优雅的程序,它积极鼓励“蜂群”的形成,并产生一种看似矛盾的效果:文件越受欢迎,下载就越容易。

在12月印度洋海啸袭击后的几天,一位名叫Camiseta的半匿名用户创建了一个关于这场灾难的家庭录像合集。文件本身非常大——21MB,比一个典型的网页大几百倍。在短短几个小时内,随着消息传开,需求变得势不可挡。但因为Camiseta为这个视频创建了一个种子文件,它开始在网络上毫不费力地传播。与此同时,另一位名叫PunditGuy的博主用传统方式在他的网站上发布了几个大型视频文件——几天之内,他就收到了服务提供商因处理所有流量而开出的一千美元账单。

BitTorrent的秘诀在于协作。每个试图下载文件的用户同时也参与了与其他用户分享该文件。传统的客户端和服务器关系是多个客户端从单个服务器请求文件,而在BitTorrent系统中,每个客户端同时也是一个服务器。这些网络被称为点对点网络。像Napster这样的老式文件共享系统也涉及点对点网络,但BitTorrent采取了非凡的措施来确保“蜂群”内部的协作。首先,每个文件被分成更小的片段,这些片段可以由对等节点(peers)自由分发,然后再重新组装成完整的文件。当我下载海啸视频时,我依赖于一个由50多个对等节点组成的“蜂群”,每个节点都向我发送大视频中的小片段。在我下载文件的同时,我也在将我已经组装好的片段分发给其他对等节点。“蜂群”中的对等节点越多,下载速度就越快。

在传统的点对点系统中,其他用户必须等到我下载完整个文件后才能开始向我请求它——如果我在他们请求的过程中下线或退出应用程序,那他们就倒霉了。而使用BitTorrent,对等节点的来去并不会干扰整个过程。如果在你获得视频末尾的15秒内容之前,其中一个对等节点下线了,没问题。通常会有另一个对等节点拥有那部分内容。为了加快下载速度,BitTorrent还采用了一个巧妙但略显反直觉的原则来选择从哪个对等节点请求哪个文件片段。该软件会扫描所有已连接对等节点上可用的片段,并选择“蜂群”中最稀有的片段。如果所有对等节点都只是按顺序下载片段,那么“蜂群”会迅速积累过多数量的初始片段,而后续片段的供应量则会少得多。BitTorrent的这种“最稀有优先”的方法,创造了更均匀的可用片段分布。如果某个片段供应短缺,对等节点就会更频繁地开始下载它,从而创造出更多的可用副本。

广告

BitTorrent的创造者布拉姆·科恩(Bram Cohen)还借鉴了一个关键的博弈论策略来说服对等节点采取无私行为:奖励合作,惩罚作弊。BitTorrent软件的设计旨在将合作的对等节点聚集在一起。如果你有上传信息的良好记录,而不仅仅是从其他对等节点吸取数据而不回报,软件会自动将你连接到其他同样慷慨的用户,让你能更快地下载文件。科恩称之为“防吸血”。

(译者注:原文段落13末尾内容不完整,此处按原文翻译。)

广告

正如你可能预料到的,BitTorrent已经成为各种非法文件共享活动的首选技术,特别是对于那些对于像Napster这样的服务来说大到令人望而却步的文件。当前热播电视剧的整季内容、许多新电影和视频游戏都可以在上面找到。美国电影协会去年年底对几个追踪BitTorrent文件的网站提起了诉讼。关于该软件的许多公众讨论都集中在知识产权滥用的可能性上。然而,从长远来看,BitTorrent的真正意义可能在于它为网络架构所昭示的未来。对于想要将大量数据分发给尽可能多的人来说,“蜂群”协作显然是最好的方法。你无需自己承担传输这些数据的成本,而是从你的每个受众那里借用一小部分带宽。电脑游戏开发者现在经常使用种子文件来分发他们产品的试玩版,这些试玩版有时可能达到数百兆字节的大小。

最终,娱乐行业或许最好能接受BitTorrent的方法,发布包含按次付费版权保护的种子文件。例如,你可以通过一个由其他《黑客帝国》粉丝组成的“蜂群”下载最新的《黑客帝国》电影,但当你启动组装好的文件时,你必须付费才能观看。最终用户将受益于能够通过点击鼠标获得可靠的最新媒体资源,而娱乐公司则将所有分销成本转嫁给“蜂群”而受益。

一些爱好者认为,种子文件的应用应该超越网络热点和娱乐,扩展到整个万维网。尽管围绕互联网的都是去中心化的言论,但在处理个人信息请求方面,大部分繁重工作还是由少数几个热门网络服务器完成的。如果这些热门服务器都由大公司运营,那还好。但在一个自发大规模受众越来越普遍的世界里,我们需要一个更具协作性的模型。目前,BitTorrent主要针对大文件进行了优化,但可以想见,一个真正的点对点系统几乎可以分发网上的所有信息。其结果将是更少的瓶颈和更均匀的带宽成本分配。小人物也能将他们的数据传递给自发形成的大规模受众,这都归功于“蜂群”的黄金法则:你给予的越多,索取就变得越容易。

保持好奇

加入我们的列表

订阅我们的每周科学更新

查看我们的 隐私政策

订阅杂志

订阅可享封面价高达六折优惠 《发现》杂志。

订阅
广告

1篇免费文章