谷歌技术大牛解密 Magic Leap背后不得不说的秘密

本篇文章6829字，读完约17分钟

Ar眼镜，如果你想做好，你可以想象你需要投入巨大的人力和物力，你必须在软件和硬件上取得巨大的突破。像苹果、微软和谷歌这样的公司可能有财力做到这一点。为什么他们认为一个小型初创企业可以做到这一点？

(标题:谷歌纸板虚拟现实)

是什么让一家没有发布任何产品的公司吸引了阿里巴巴8亿美元的投资，而该公司的估值高达45亿美元？

在硅谷的“硅谷vr/ar技术论坛”报告厅，谷歌资深研究员、关注VR/AR技术9年的美女吴博士与纽约州立大学的顾险峰教授共同分析了VR/AR过去的黄金时代，以及魔术飞跃和全息透镜背后的技术和未来挑战。

讲座结束后，作者与吴博士进行了交流，并获得了她的独家授权，分享她对魔术飞跃的独特见解。原文以媒体形式发表。(注:本文仅代表个人观点，与公司无关。文章内容基于公共信息。(

(a)什么是魔术跳跃和全息透镜？

Magic leap和hololens都是增强现实(ar)眼镜的代表，一个相关的概念也很流行:虚拟现实(vr)。

ar和vr眼镜有什么区别？

Ar眼镜是透明的，所以你可以同时看到真实世界和叠加在上面的虚拟影像。应用示例:赶不上lady gaga的演唱会？没关系，戴上眼镜，她会在你家开一个。代表产品原型:神奇的飞跃和微软全息透镜。

虚拟现实眼镜是不透明的，只显示虚拟世界，完全屏蔽了物理世界。应用示例:你也可以坐在家里去塔希提岛潜水。代表性产品/原型:三星的齿轮虚拟现实、谷歌的纸板虚拟现实和脸书的oculus rift。

facebook oculus vr

2.为什么魔术飞跃和微软制造透明ar眼镜？

总的来说，这是计算机发展的必然趋势。自2007年苹果推出iphone以来，手机发展如此之快，以至于用户可以随时随地携带，各种使用数据毫无悬念地超越了个人电脑。因此，人机交互界面的未来主要在于移动。然而，今天的手机的局限性是:(1)由于它很容易携带屏幕，它很小，当屏幕很小时，一些功能是有限的；(2)显示屏是平面的，即二维的(2d)，而现实世界是三维的(3d)。

未来的透明ar眼镜有望实现重大突破，也就是说，它们可以被用户携带，在她眼前显示大屏幕，并将真正的3d内容渲染到她看到的真实世界中(想象你坐在教室里听讲座，你的老师看起来很真实，但实际上你的眼镜上是虚拟的)。这种眼镜可能不会完全取代手机，但毫无疑问，它们有很大的潜力。

与虚拟现实相比，虚拟现实有更广泛的应用场景(你不能带着虚拟现实头盔在街上行走)。本质上，ar是vr的超集，镜头前面的第一个档位变成vr(前提是视角几乎可以一样大)。

3.但是戴眼镜很麻烦。你为什么不像《星球大战》那样在空空中直接显示全息图呢？

全息摄影是人类的美好愿景，也许有一天会实现，但在不久的将来实现还为时过早。目前，一些大学实验室正在研究裸眼光场显示，但它们需要复杂、笨重和昂贵的设备，并且只能在安装它们的地方使用。相对来说，眼镜的可行性要大得多。如果能制成便携式ar眼镜，将是移动人机界面和计算机发展的一大创新。

4.在虚拟现实头盔上增加一个前视摄像头不是一个增强现实吗？为什么我们必须透明？

问得好。比方说有两种ar，一种是前面提到的透明ar(光学透视)——现实世界是通过镜头直接看到的。另一种是“视频透视或视频叠加”——真实世界由摄像机捕捉，然后以视频的形式呈现给用户(在其上呈现一些东西)。事实上，许多视频叠加应用已经出现在手机和平台上，比如帮助用户观看《空之星》、寻找翻译、选择家具等等。

那为什么不用虚拟现实头盔和摄像机来实现这个增强现实呢？当然，许多虚拟现实头盔现在正在测试这种做法。与透明ar相比，它有自己的优点和缺点。例如，它的优点是通过视频实现的虚拟和现实的叠加比透明ar简单得多，这就是为什么它已经在移动终端上商业化。

然而，缺点也是可以想象的。毕竟，用户看到的只是一个2d视频，质量仍然与肉眼直接看到的世界大不相同。此外，视频采集和显示之间总是存在延迟，如果与体感信号不一致，会导致身体不适。因此，无论如何，还是会有公司做出透明的ar。magic leap和微软hololens就是例子。

5.为什么神奇飞跃如此之好，可以获得14亿美元？(最近的c系列已经合并了8亿)

上面提到的无止境的应用潜力，以及技术、创始人和团队，无疑是给予帮助的原因。

Magic leap的核心技术来自华盛顿大学的前研究员brian schowengerdt，他的导师eric seibel是扫描光纤内窥镜的专家。众所周知，医生在手术过程中使用内窥镜对身体内部进行成像，这实质上是一个微型照相机。布赖恩巧妙地颠倒了光路，并将这项技术应用到显示器上，这样就可以用激光通过一根非常细的光纤打印出彩色图像(如左图所示)。这项技术在十多年前就发表了[2]，然后不断改进，产生了一系列专利。

因此，神奇的飞跃很大程度上是基于布赖恩的专利(不幸的是，如此重要的技术骨干既没有成为创始人，也没有被列为“核心员工”，但这是题外话)。

然而，仅有技术是不够的。如果你想做好ar眼镜，你需要投入大量的人力和物力，而且你必须在软件和硬件上取得重大突破。像苹果、微软和谷歌这样的公司可能有财力做到这一点。为什么他们认为一个小型初创企业可以做到这一点？

我认为犹太创始人罗尼·阿博维茨扮演了一个重要角色。Rony以前是mako外科的联合创始人。这家公司认识的人不多，但说他们做什么很可怕——他们做机器人手术，主要是骨科手术。这听起来像科幻小说，但它成立于2004年，于2008年推出，并于2013年以16.5亿美元的价格卖给了史赛克医疗。他无法在这个记录中吸引投资。谁能？

除了创始人和首席执行官，团队还没有建立，计算机视觉部分已经吸引了像加里·布拉德斯基和让-伊夫·布盖这样的大人物。我们合作的工作室正在为好莱坞的电影做特效，而《指环王》就是他们的工作。因此，神奇飞跃用来吸引投资的概念视频就像一部微型电影。

6.现在是时候回到前面的问题了。为什么魔力飞跃的光场显示技术很重要？

首先，它是基于非常薄的光纤，这可以使玻璃又轻又薄。但更重要的是，布赖恩证明了这项技术不仅可以投影二维图像，还可以显示光场。

现代近视眼镜有两种主要技术来实现3d:立体(中文翻译为“三维”，但不够精确)和光场(光场)。立体眼镜已经商业化很长时间了(例如，市场上的所有ar和vr眼镜/原型，包括微软hololens、爱普生moverio、Lumus DK-40、Facebook Oculus，都是立体眼镜)。然而，光场在实验室里只有一个原型(魔术跳跃可能是最好的一个)。什么是立体3d？为什么光场不够好？什么是光场？

立体3d是假3d

3d图像比2d图像多一个维度，即景深。看过3d电影和2d电影的学生都知道有明显的感官差异(只有少数人有双重失明，看不见)。众所周知，人眼感知景深有多种机制，包括单眼和双目。一只眼睛可以感知许多景深信号，例如:一个物体的遮挡、熟悉物体的相对大小/高度以及物体运动的变化(远处物体变化缓慢，近处物体变化迅速，即运动视差)。在此基础上，双眼的景深信号也非常强(因此在古代，我们可以更好地判断老虎或鹿离我们有多远)。当两只眼睛看到同一个场景时，会有细微的差异，这使得大脑能够通过三角测量获得物体的景深。

立体3d利用这一原理向双眼显示不同的图片(如下所示)，它们非常相似，只是在水平方向略有不同。拍摄这两张照片时，两台并排的相机被用来模拟人眼的位置。现在3d电影就是基于这个原则。

但是这样的立体3D有什么不好呢？简单地说，它会引起身体不适，如头晕和恶心。为什么？这反过来又涉及到人眼的一个有趣机制。当我们在现实世界中看一个物体时，我们的眼睛实际上有两种自然反应:

(1)聚焦(调节/聚焦)。眼睛的晶状体就像一个凸透镜，它调整凸度，使物体清晰地成像在我们的视网膜上。

(2)“收敛”(convergence)。当每只眼睛聚焦时，两只眼球会一起旋转指向物体。

自然，这两种反射运动是神经耦合的，也就是说，任何一种运动都会自动触发另一种运动。这也意味着当人们观察真实物体时，聚焦和会聚的距离总是相等的(聚散距离=调节距离，见下图)。

然后立体3d的问题来了。由于立体影像的投影距离总是固定的(即调节距离是恒定的)，图像的视差会使眼睛会聚在不同的距离上，产生景深的3d效果(见下图B)。因此，这两个距离经常是不一致的(聚散距离≠调节距离)，这将导致这两种与神经连接的运动被力分开。

另一方面，在自然世界中，当人类的眼睛聚焦并会聚在一个物体上时，其他距离的物体应该是模糊的(下图C)。然而，在立体3d中，无论眼睛聚焦在哪里，其他距离的物体的图像都是清晰的(如下图D所示)。

这些都不符合人类眼睛在自然界的规律，所以大脑会被弄糊涂，并会引起长时间的恶心和眩晕[4]。因此，立体实际上使用了一个小技巧，使人们看到3d效果，但它不是真正的3d。

光场是真正的三维

光场显示与立体3d的一大区别在于，它能够将人们的眼睛聚焦到不同的距离，从而与会聚距离保持一致。这是用人眼观察自然世界的最佳方式，所以它被称为真三维。

可以想象，实现这种光场显示并不那么简单。目前，主要有两种方法:空空间复用和时间复用。“空之间的多路复用”是简单地使用一个像素作为几个块来实现不同的聚焦距离。siggraph上显示的nvidia原型就属于这一类。这种方法的最大问题是分辨率大大降低。我试过一次，基本上是在雾中看花。

“时间复用”是指利用高速原件快速生成不同的聚焦距离，这让人们认为它们是同时生成的。这样做的好处是分辨率不会丢失。众所周知，人眼对速度的感知是有限的，很多显示器都是60hz，因为人眼能够分辨的极限一般是60hz(在一些高速内容中，比如游戏，可能会达到90-120hz)。这是什么意思？如果高速显示360hz，可以实现六种不同的聚焦距离。然而，一些研究表明，使用六个聚焦距离加上线性混合渲染算法基本上可以实现从大约30厘米到无限远的自然聚焦[5]。

什么是神奇飞跃的技术？它没有透露最近在演示中使用了哪种技术，但它可能是基于布赖恩的高速激光扫描光纤技术，这也是一种时间重用的方法。布赖恩首先试图只用一根光纤扫描不同的聚焦距离，这显然需要太多的速度。后来，他使用了一个光纤束/阵列，例如，16根光纤，每根都有一点点位置差异，然后同时扫描以获得不同的聚焦距离。

由于实际系统的限制，这样的光场不可能是连续的，它们都是下采样的。然而，即使这样的光场被投射到眼睛中，理论上这也是真实世界物体的光进入眼睛的相同原因，因此它可以实现真三维。回到最初的问题，这就是为什么魔术飞跃技术是重要的。现在你可以理解为什么罗尼说“全息透镜让人生病”？

(2)透明ar眼镜面临哪些挑战

陶博谈到了一些重要的挑战(智虎)，如3d感知和定位、手势识别、眼球运动跟踪、计算、电池问题等。我会再加几个。

1.显示

首先，实现近场显示非常困难。如今，除了神奇飞跃，所有公司都使用旧的立体3d方法，用户长时间佩戴会感到困倦、眩晕和恶心。魔术飞跃使用的近眼显示技术在理论上是有效的，但在现实中仍有许多问题需要解决。例如:

系统尺寸:magic leap还没有发布它的原型照片，据报道它们仍然和冰箱一样大，在可穿戴之前还有很长的路要走。

光场采样:既然是采样，就一定会有损失，例如，在对比度和清晰度方面，我们怎样才能最佳地采样？

调节-聚散度匹配:即使聚焦距离是正确的，聚散距离也应该始终与其一致。Magic leap的演示视频仅用一只眼睛制作，没有证据表明他们很好地解决了双目问题。

户外展示:现在每个人的演示都在室内进行。当用户在户外时，阳光的强度比显示光高几个数量级。至少镜头需要自动调光技术。

拍摄内容:虽然现在可以用计算机图形来做演示，但未来的应用肯定需要摄像机拍摄的内容，在光场拍摄方面还有很多问题需要解决。

散热是一个容易被忽视的问题。谷歌眼镜问世时，有人说用你的脸就像烧起来一样。没有证据表明全息透镜和神奇跳跃眼镜可以长时间保持凉爽。

2.镜头

近眼显示器有两个关键部件:显示器和镜头。目前，大多数ar眼镜镜片都是基于分束棱镜的，如谷歌眼镜、全息透镜和爱普生moverio。如左图所示，简单的分束器呈45度角，将显示器产生的光线从眼镜框反射到人眼，同时允许真实世界的光线透过。这简单又便宜，但镜片很厚。以色列公司Lumus已经制造了一种波导技术来制造非常薄的透镜，但是不幸的是，这个过程很复杂，而且成本太高。后来，出现了一些便宜的光导产品，但质量远不如lumus。因此，镜头还有很长的路要走，不仅要获得大的视野，而且要轻薄，具有良好的透光率。当折射/反射显示光时，尽量保持光的属性，尽量减少光损失。

3.视野和分辨率

视角直接决定用户体验。许多ar眼镜的视角仍在20°到40°之间，许多尝试过全息透镜的记者对他们的视角感到失望。人眼的横向视角在双眼中几乎为200°，在纵向方向上为130°。大视角意味着总分辨率必须很大才能覆盖，8k*8k是理想的。

4.闭塞

如前所述，单目景深感知的一个非常重要的信号是物体之间的遮挡。在使用透明ar眼镜时，一个关键问题是如何实现虚拟物体和真实物体之间的遮挡。

如果真实对象在前面，而虚拟对象在后面，则相对容易做到，即自动检测真实对象的距离，然后计算虚拟对象的哪些部分需要被遮挡以便不被渲染。然而，另一方面，如果虚拟物体需要阻挡真实物体，则不是那么直接，因为理论上，有必要选择性地过滤来自眼镜的真实物体的光。根据最近魔术飞跃的演示，当虚拟物体亮的时候，它的亮度自然会挡住它后面的真实物体，但是当虚拟物体暗的时候，仍然有所谓的“鬼效应”，这不符合自然规律，会在大脑中造成混乱。

如果我们想达到完全正确的遮挡效果，我们只能在镜头上制作实时的每像素快门机制，但是目前的技术还不成熟。

神奇的飞跃:用增强现实展示科幻世界

5.渲染黑色

透明ar眼镜目前无法呈现黑色。因为它是虚拟光和自然光的叠加。如果你画黑色，用户看不到它，但只能看到背后背景中真实物体的光。类似的深色也有这个问题。

6.耽搁

透明ar玻璃的另一大挑战是延迟。将虚拟对象叠加到真实对象上(例如将虚拟水杯放在真实桌子上)涉及一系列计算:检测真实对象→计算其在空之间的位置和方向→计算叠加位置→渲染虚拟对象等。所有这些都必须在一眨眼的时间内发生，这样用户就不会感觉到延迟。例如，在水杯的例子中，我们的头可能一直在移动，当我们的头移动时，我们看到的水杯不应该在桌子上的原始位置移动。如果系统延迟太大，我们看到的杯子的位置可能总是错的，大脑会再次混乱。这对于透明增强现实来说尤其具有挑战性，因为我们可以直接看到真实世界，几乎没有延迟，虚拟物体以这种速度渲染也是很自然的。在视频叠加中，没有这样的问题，因为我们看到的真实世界的视频已经被延迟了，所以更容易与叠加在上面的对象保持同步。

7.激光

Magic leap之前的技术专利是用激光直接击中人的眼睛。尽管据说它是安全的，但还没有确切的科学证据。因此，用户接受度是一个问题，许多人害怕听到它。

话虽如此，下一代移动人机交互界面将于何时问世？就我个人而言，我觉得制作一个人们喜欢和听到的版本至少需要五年，也许更长。由于上面列出的这些挑战，需要付出很多努力来解决每一个挑战。目前，它们中的许多还没有达到定量变化的阶段(只是需要优化)，而是需要一个大的质的飞跃。因此，道路是漫长的，修远是繁忙的。但既然这是计算机发展的必然方向，我们将拭目以待。

最后，强烈建议:

顾险峰教授神奇飞跃核心技术秘诀:blog.sciencenet/blog-2472277-954754

智虎问答:神奇的飞跃和微软的全息透镜有什么相同点和不同点

参考

[1]Brian t . schoenggerdt等人，使用扫描激光投影的3d显示器，sid专题讨论会技术论文摘要

第43卷，第1期，第640-643页，2012年6月。

[2]Brian t . schoenggerdt等人，真正的三维显示器，允许观众动态地改变调节，使不同观看距离的物体进入和离开焦点，网络心理学和行为第7卷，第6期，2004年。

[3]刘旭和李海锋，光场三维显示器的进展，信息显示，2014年。

[4] david m. hoffman等，vergence调节冲突阻碍视觉表现并导致视觉疲劳，j. vis .2010.

[5] k. j. mackenzie，d. m. hoffman和s. j. watt，多焦平面显示器的调节:改善立体显示器和调节控制的含义，视觉杂志(2010年)。

-

[钛媒作者董飞，微信公众号:董老师在硅谷。关注硅谷的趋势，共同学习和成长。】