直面危险：Dropbox 出走亚马逊云服务帝国的壮丽史诗

本篇文章6400字，读完约16分钟

文章来源:《连线》，由tech 2 IPO/创意林编辑。第一张照片显示的是Dropbox的基础设施经理丹·威廉姆斯。

如果你是dropbox的5亿用户之一，你必须知道它是你电脑桌面上的一个文件夹，它允许你在互联网上存储文档，发送文档给其他人，以及在笔记本电脑、手机和平板电脑之间同步文档。你需要的时候可以用这个文件夹。当你不需要它的时候，你会忘记它的存在，这是设计师的初衷。

事实上，在这背后，你可以在工程中找到史诗般的壮举。Dropbox运行在机器网络上，它的进化过程体现了过去十年改变互联网核心的力量。今天，这个系统已经发展到一个新的阶段。

在dropbox的前八年，超过5亿用户在其中存储了数十亿个文件。然而，这家旧金山的初创公司并没有真正自己存储文件。像近年来的许多初创公司一样，dropbox选择在亚马逊云服务中在线运营。亚马逊云服务由全球最大的在线零售商亚马逊运营。亚马逊云计算服务使任何人都可以开发或运行软件，而无需建立自己的硬件系统。换句话说，这数十亿个文件实际上存储在亚马逊设备上，而不是收存箱服务器上。

但这一切已经成为历史。在过去的两年半时间里，dropbox建立了自己的大型计算机网络，并将其服务转移到由自己的工程师设计的机器系统上。该系统由我们自己的程序工程师设计，依靠一种全新的汇编语言。多亏了许多曾为谷歌、脸书和推特等互联网巨头工作过的硅谷老手的努力，dropbox已经成功地将其90%的文件转移到了新的在线帝国。

当然，这是一个令人眼花缭乱的工程壮举，这一举动的意义已经超过了dropbox本身。更重要的是，它表明云计算服务正在迅速改变商业运作模式。同时，它也揭示了过去十年席卷整个硬件市场的巨大变化。

云计算服务如何改变商业运作模式？

如今，越来越多的公司选择云服务。根据弗雷斯特的预测，到2020年，云计算的市场规模将达到1910亿美元，一些互联网巨头，如谷歌和微软，将通过他们自己的云服务动摇亚马逊的地位。去年第四季度，亚马逊网络服务部的收入为24.1亿美元，而其年销售额达到了96亿美元，这对于没有收录机的亚马逊来说已经是一笔巨大的收入了。

但有些公司规模如此之大，建立自己的网络尤为迫切。由于经济规模大，谷歌、微软和亚马逊可以将云服务的价格降低到非常低的水平。但是他们不以成本价出售。“没有云服务提供商在做慈善。dropbox工程副总裁Aditya agarwal。如果你的公司足够大，你可以通过减少云服务来节省很多钱。Dropbox是一家如此大的公司。

然而，建立这样一个庞大的网络绝非易事，而且任务相当艰巨，并不适合所有公司。“正确的做法是不要自己建立这样的网络。加州大学圣巴巴拉分校的前教授？勒兹尔说。目前，他在谷歌工作，主要负责建立公司的全球网络，并帮助运行云计算服务。

他解释说，大多数公司没有规模，需要建立自己的网络系统。如果公司的增长停滞不前，那么这样的举措无疑会让公司雪上加霜。这非常适用于收纳盒的情况。最近几个月，专家和投资者开始瞧不起这家总部位于旧金山的公司，称该公司100亿美元的估值名不副实，很难吸引真正的商业用户。

但是。Lzle承认一些公司这样做是必要的。至少就目前而言，dropbox就是这样一家公司。该公司首席运营官丹尼斯伍德赛德(dennis woodside)表示，此举使公司获得了“必要的经济价值”。具有讽刺意味的是，dropbox在逃离云服务的同时，却一直强调云服务的力量。它正在进行这样的基础设施建设，以至于其他竞争者无法赶上它。也许它也会成为一家云服务公司。通过在大规模网络领域迈出坚实的步伐，dropbox与互联网巨头谷歌、微软和亚马逊一起为全球硬件市场和信息技术指明了新的方向。

文档文件的未来

亚马逊主导着云计算市场，其主要竞争对手包括谷歌和微软。这三家公司提供的云服务使商业和独立的程序员能够编写或运行任何软件，而无需构建自己的硬件设备。同时，还有一个以dropbox为核心的二级市场，其主要竞争对手包括box、saleforce和workday。这些公司相对较小，可以在互联网上提供内置软件应用。像一些稍微大一点的公司一样，他们也可以提供一些企业和开发人员可以使用的工具，而不必担心构建自己的硬件设备，这类似于云服务。“这个行业的下一个重要时期是平台之战。企业将建立什么样的平台来开展自己的业务成为了焦点。”box首席执行官艾伦·李维说。

机顶盒基础设施副总裁阿克希尔·古普塔

Dropbox希望成为这些平台中的一个，所以它尽一切努力自己构建一个云服务平台。但是这个过程充满了危险。随着公司在内置软件领域的不断扩张，公司将不可避免地面临来自亚马逊、谷歌和微软的越来越大的压力。事实上，这些互联网巨头已经准备好开始用文件共享工具挑战公司，比如收录机和机顶盒。在未来，文件共享市场的扩张将明显下降，而离散文件(如照片、视频和word文档等)的共享也将下降。)将变得越来越不重要。文件不是智能手机的核心业务。随着在线聊天工具和协作服务的成熟，文件将不再是中央笔记本应用场景的中心。

Dropbox知道这一切。它的高市场估值使它成为一些专家和投资者批评独角兽崛起的目标。最近几个月，没有一家初创公司能够抢得dropbox的风头，随之而来的是对其能否与互联网巨头竞争的质疑。毫无疑问，dropbox已经意识到世界正在发生变化，但问题是dropbox自身的变化(如花费大量时间、金钱和精力将它从亚马逊转移到自己的全球网络)能否跟上世界的变化。

初步结果

詹姆斯·考林早在麻省理工学院就认识dropbox的创始人。作为一名大学毕业生，他更关注分布式系统，即在数百台设备上运行的系统。早期，他还和dropbox的一些员工一起学习，这让他有机会认识dropbox的联合创始人兼首席执行官德鲁·休斯顿。在dropbox的开发过程中，他们在“永远保持”中相互联系，并讨论了dropbox在自己的网络系统中运行的可能性和可操作性。“可以说，这是一个非常大胆的想法。”考林说。

考林说，2012年，他有幸目睹了谷歌工程团队监管扳手，这是一个全球数据库，主宰了互联网巨头的许多在线业务。扳手可能是世界上最大、最复杂的单一数据库，也是分布最广的分布式系统之一。然而，考林选择了在dropbox工作。“我希望我能创造一些东西。”考林说。扳手已经建立，但dropbox的帝国还没有。

目前，dropbox的一部分业务在亚马逊上运行，而另一部分则没有。如果许多用户通过dropbox共享文件，公司将选择将文件存储在亚马逊的简单存储服务中，这些文件的元数据将存储在自己的服务器中。

考林与负责基础设施建设的副总裁阿克希尔·古普塔(akhil gupta)以及其他人合作，设计了一个软件系统，允许dropbox存储数百千兆字节的数据——足以填满数亿个u盘，而且存储效率远远高于亚马逊的简单存储服务。他们称这个系统为“魔法口袋”。“dropbox被认为是一个可以存放所有文件的地方。你不必担心它会消失，你可以随时访问它。就像一个装满魔法的口袋。”古普塔说。

詹姆斯·考林，收纳盒存储团队负责人

本质上，他们建立了自己的“亚马逊简单存储服务”，但他们根据自己的技术问题调整了软件。“我们还没有建立一个可以取代亚马逊简单存储服务的系统。我们刚刚建立了一个系统供自己使用。ゥ

甚至在dropbox还在亚马逊的时候，亚马逊就开始展示它将成为dropbox的强劲竞争对手——亚马逊推出了自己的文件共享服务。虽然亚马逊发布的这个版本不太适合用户，也缺乏dropbox独特的蓝色文件夹的品牌意识，但它确实让小公司担心。

然而，据agarwal称，dropbox退出亚马逊云服务的主要原因是经济而非政治。“你需要将这些大型科技公司视为不同的国家或友好的邻居，尽管偶尔会有小冲突。亚马逊有很多业务，但我不认为亚马逊的首要任务是成为像我们这样的云存储服务提供商。Dropbox已经建立了一个软件系统来为自己服务，但是现在他们已经向前迈进了一步。他们建立了自己的硬件系统——Dropbox重新设计了自己的电脑。

规模问题

几年后，互联网巨头如谷歌、脸书、微软和亚马逊已经设计了他们自己的数据中心硬件系统——计算机服务器、网络交换机和大数据存储硬件。这些公司别无选择，只能构建所有的硬件系统:他们的互联网帝国太庞大，这使得使用传统方法太昂贵和困难。他们需要一种新的、更便宜的、更精简的和更具延展性的硬件。因此，他们与全球硬件制造商和供应商通力合作，构建了一个云服务系统。

今天，谷歌是世界上制造服务器最多的公司，它几乎不卖服务器。亚马逊和微软采取了几乎相同的策略。由于这些公司也运行云计算服务，许多其他企业也将在传统硬件制造商之外的设备上运行他们的软件。当facebook向公众开放其定制服务时，这一点尤为明显。现在，大量供应商(包括广达等一些亚洲制造商)开始销售基于facebook硬件的产品。Rami aljamal亲眼目睹了这一发展过程。现在，他在收纳盒里设计了这样一台机器。像谷歌、亚马逊和微软一样，dropbox设计这款设备是为了满足其独特的需求。

dropbox存储了大量数据，因此它需要适合这项任务的设备，这正是aljamal和他的团队在旧金山Dropbox总部实验室所做的工作。他们称这台机器为“diskotech”。“我们最关心的是磁盘，它是存储所有数据的地方。”阿尔贾马尔说。每个磁盘盒都存储pb级数据。迄今为止，50个这样的设备可以存储人类写的所有数据。

更换“轮胎”

考林和他的同事在2013年夏天开始开发神奇的袖珍软件，花了大约6个月的时间来构建初始代码。但这只是开始的一小步。一旦系统建立，他们还必须确保系统能够正常工作。他们需要将该系统应用于多个数据中心的设备。他们还需要将软件应用到最新的硬件产品中。不仅如此，他们还需要从亚马逊撤出所有数据。

Rami aljamal，收纳盒工程经理

整个过程持续了大约两年。毫不夸张地说，这样一个项目是一个巨大的技术挑战。但这也是一个物流挑战。在互联网上传输大量数据是一回事，将许多设备传输到数据中心是另一回事，而dropbox必须完成这两件事，才能继续为数亿人服务。“这就像一辆移动的汽车。你想在汽车还在行驶的时候换轮胎。”前facebook网络工程师丹·威廉姆斯说。换句话说，收存箱不能在传输数据时停止。他不能告诉他的用户他们的文件暂时不可用。因此，衡量工作是否做得好的标准是用户是否感觉到了不寻常的东西。

考林和他的同事完成了初始代码后，他们在一个标准化的硬件网络上进行了测试，这是dropbox的缩写版本，其中大约20%的数据放在亚马逊的服务器上。他们希望能够连续测试180天而不发现任何大的错误，甚至在测试室的墙上挂一个时钟。两个月后，他们发现了一个程序错误——他们可能看到数据存储在错误的地方，然后他们重置了时钟。整个测试持续了大约8个月。

在确认系统可以运行所有dropbox之后，团队进一步将代码应用到越来越多的系统中，从而从亚马逊云服务器上复制越来越多的数据。为了成功完成这个过程，dropbox与亚马逊的合同延长了6个月。“整个过程实际上非常紧凑。”考林说。

事实上，将数据从亚马逊迁移到其他数据中心是一项巨大而艰巨的任务。将pb级数据从一台机器传输到另一台机器和下载一首歌曲是完全不同的数量级。事实证明，传输4pb的数据需要一天时间。"光速是我们传输数据的极限速度. "阿格沃尔说。

同时，需要将计算机转移到数据中心来接收数据。想象一下，你办公室里的it精英正试图为新员工制造一台新电脑——但这个过程是在收录机的规模上完成的。所有这些过程都有时间限制。如果他们不能足够快地将系统应用到数据中心，他们就不能快速地从亚马逊获取数据。Dropbox平均每天携带40到50个机柜，每个机柜携带大约8台机器。每天，卡车将来自世界各地的机器运送到dropbox的数据中心。

为了成功完成数据传输任务，dropbox设定了一个截止日期。同时，由于其在欧洲的业务不断增长，他们选择继续在欧洲使用亚马逊云服务，但该公司90%的数据已经从亚马逊转移到了dropbox数据中心。然后，更激烈的项目开始了。

准备好了吗

在所有数据从亚马逊云服务中撤出后，硬件工程师拉米·阿尔贾马尔会见了程序员杰米·特纳。神奇口袋仍然只在普通机器上运行，下一步是将其转移到客户定制的硬件上。Aljamal和turner联手确保该软件能在新硬件上成功运行。Aljamal和硬件工程师设计了一台机器diskotech，它可以存储1pb的数据。然而，有一个问题是神奇的袖珍软件与这种新硬件不兼容。因此，特纳用一种新的编程语言重写了魔法口袋。

米歇尔·索达尔，收纳盒供应链经理

这似乎很奇怪。为什么在把程序放到成千上万台机器上，然后把它们放到成千上万台其他设备上的时候，你需要改变代码？但是大型互联网数据中心的工作方式。机器的老化非常快，总会有一些零件出现故障，然后你需要更换这个零件，并且你总是需要更新你的设备。首先，收纳盒需要确保它的魔法口袋能够正常运行——这一部分已经非常困难了。然后更换部分硬件，同时，要保证两者能够很好地相互配合。

Crowling、turner和其他工程师在构建神奇口袋时使用了谷歌的一种新编程语言go。Dropbox引领着一个更大的趋势，即适合新的广泛分布的在线系统的编程语言。苹果有一种类似的语言叫做swift，mozilla有rust，还有一种独立的语言叫做d。所有这些语言都允许程序员快速生成运行速度快的软件。但是对于公司正在构建的海量存储系统来说，go的内存消耗太大。Dropbox需要一种占用较少内存的语言，因为空的所有内存都可能被传入的文件占用。因此，在这个两年半的项目中，他们最终选择了diskotech设备中的铁锈。

直面危险

目前，谷歌、亚马逊和dropbox经历了许多其他公司没有经历过的极端过程。这就是云计算的力量。事实上，dropbox不是谷歌或亚马逊。它不为程序员和企业提供原始的计算能力和基础设施，但它为个人和企业客户提供共享和存储数据的服务。dropbox希望共享可以成为一个平台，这就是为什么Dropbox选择开发一个在线文档编辑和协作工具“dropbox paper”。

杰米·特纳，收录机软件工程师

dropbox面临的潜在危险是，随着亚马逊、谷歌和微软自身业务的扩张，它们势必会限制dropbox的发展。在这种情况下，公司将数据转移到自己的数据中心可能更像是一种负担。众所周知，总部位于旧金山的社交游戏公司zynga在达到快速增长阶段时，选择将其所有业务转移到自己的数据中心。但是当他们的企业倒闭时，他们发现他们根本无法使用如此庞大的基础设施。现在一切都落到了亚马逊身上。

dropbox的优势之一是许多优秀的工程师，如agarwal、gupta、williams和sordal，都有丰富的经验。丹·威廉姆斯说:“如果你曾经在facebook或谷歌上体验过这种快速增长，你会非常怀念这种感觉。ゥ

现在，dropbox已经建立了自己的系统，这也代表了一种正在硅谷迅速传播的态度。谷歌取得如此巨大的成功，不仅仅是因为它建立了一个非常完善的网络搜索引擎业务，还因为它建立了大规模运行搜索引擎的技术。脸书和推特做了同样的事情。现在，它是一个收纳盒。为了成为一个巨人，你必须首先站在别人的肩膀上。但是一旦你长成一个巨人，你会觉得是时候为自己建造一个家了。

源自原始技术(tech2ipo/)，请注明转载来源。

关注微信公众账号“老虎嗅探网”，定期推送，福利互动更加精彩