本篇文章6829字,读完约17分钟

Ar眼镜,如果你想做好,你可以想象你需要投入巨大的人力和物力,你必须在软件和硬件上取得巨大的突破。像苹果、微软和谷歌这样的公司可能有财力做到这一点。为什么他们认为一个小型初创企业可以做到这一点?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

(标题:谷歌纸板虚拟现实)

是什么让一家没有发布任何产品的公司吸引了阿里巴巴8亿美元的投资,而该公司的估值高达45亿美元?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

在硅谷的“硅谷vr/ar技术论坛”报告厅,谷歌资深研究员、关注VR/AR技术9年的美女吴博士与纽约州立大学的顾险峰教授共同分析了VR/AR过去的黄金时代,以及魔术飞跃和全息透镜背后的技术和未来挑战。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

讲座结束后,作者与吴博士进行了交流,并获得了她的独家授权,分享她对魔术飞跃的独特见解。原文以媒体形式发表。(注:本文仅代表个人观点,与公司无关。文章内容基于公共信息。(

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

(a)什么是魔术跳跃和全息透镜?

Magic leap和hololens都是增强现实(ar)眼镜的代表,一个相关的概念也很流行:虚拟现实(vr)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

ar和vr眼镜有什么区别?

Ar眼镜是透明的,所以你可以同时看到真实世界和叠加在上面的虚拟影像。应用示例:赶不上lady gaga的演唱会?没关系,戴上眼镜,她会在你家开一个。代表产品原型:神奇的飞跃和微软全息透镜。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

虚拟现实眼镜是不透明的,只显示虚拟世界,完全屏蔽了物理世界。应用示例:你也可以坐在家里去塔希提岛潜水。代表性产品/原型:三星的齿轮虚拟现实、谷歌的纸板虚拟现实和脸书的oculus rift。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

facebook oculus vr

2.为什么魔术飞跃和微软制造透明ar眼镜?

总的来说,这是计算机发展的必然趋势。自2007年苹果推出iphone以来,手机发展如此之快,以至于用户可以随时随地携带,各种使用数据毫无悬念地超越了个人电脑。因此,人机交互界面的未来主要在于移动。然而,今天的手机的局限性是:(1)由于它很容易携带屏幕,它很小,当屏幕很小时,一些功能是有限的;(2)显示屏是平面的,即二维的(2d),而现实世界是三维的(3d)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

未来的透明ar眼镜有望实现重大突破,也就是说,它们可以被用户携带,在她眼前显示大屏幕,并将真正的3d内容渲染到她看到的真实世界中(想象你坐在教室里听讲座,你的老师看起来很真实,但实际上你的眼镜上是虚拟的)。这种眼镜可能不会完全取代手机,但毫无疑问,它们有很大的潜力。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

与虚拟现实相比,虚拟现实有更广泛的应用场景(你不能带着虚拟现实头盔在街上行走)。本质上,ar是vr的超集,镜头前面的第一个档位变成vr(前提是视角几乎可以一样大)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

3.但是戴眼镜很麻烦。你为什么不像《星球大战》那样在空空中直接显示全息图呢?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

全息摄影是人类的美好愿景,也许有一天会实现,但在不久的将来实现还为时过早。目前,一些大学实验室正在研究裸眼光场显示,但它们需要复杂、笨重和昂贵的设备,并且只能在安装它们的地方使用。相对来说,眼镜的可行性要大得多。如果能制成便携式ar眼镜,将是移动人机界面和计算机发展的一大创新。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

4.在虚拟现实头盔上增加一个前视摄像头不是一个增强现实吗?为什么我们必须透明?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

问得好。比方说有两种ar,一种是前面提到的透明ar(光学透视)——现实世界是通过镜头直接看到的。另一种是“视频透视或视频叠加”——真实世界由摄像机捕捉,然后以视频的形式呈现给用户(在其上呈现一些东西)。事实上,许多视频叠加应用已经出现在手机和平台上,比如帮助用户观看《空之星》、寻找翻译、选择家具等等。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

那为什么不用虚拟现实头盔和摄像机来实现这个增强现实呢?当然,许多虚拟现实头盔现在正在测试这种做法。与透明ar相比,它有自己的优点和缺点。例如,它的优点是通过视频实现的虚拟和现实的叠加比透明ar简单得多,这就是为什么它已经在移动终端上商业化。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

然而,缺点也是可以想象的。毕竟,用户看到的只是一个2d视频,质量仍然与肉眼直接看到的世界大不相同。此外,视频采集和显示之间总是存在延迟,如果与体感信号不一致,会导致身体不适。因此,无论如何,还是会有公司做出透明的ar。magic leap和微软hololens就是例子。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

5.为什么神奇飞跃如此之好,可以获得14亿美元?(最近的c系列已经合并了8亿)

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

上面提到的无止境的应用潜力,以及技术、创始人和团队,无疑是给予帮助的原因。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

Magic leap的核心技术来自华盛顿大学的前研究员brian schowengerdt,他的导师eric seibel是扫描光纤内窥镜的专家。众所周知,医生在手术过程中使用内窥镜对身体内部进行成像,这实质上是一个微型照相机。布赖恩巧妙地颠倒了光路,并将这项技术应用到显示器上,这样就可以用激光通过一根非常细的光纤打印出彩色图像(如左图所示)。这项技术在十多年前就发表了[2],然后不断改进,产生了一系列专利。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

因此,神奇的飞跃很大程度上是基于布赖恩的专利(不幸的是,如此重要的技术骨干既没有成为创始人,也没有被列为“核心员工”,但这是题外话)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

然而,仅有技术是不够的。如果你想做好ar眼镜,你需要投入大量的人力和物力,而且你必须在软件和硬件上取得重大突破。像苹果、微软和谷歌这样的公司可能有财力做到这一点。为什么他们认为一个小型初创企业可以做到这一点?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

我认为犹太创始人罗尼·阿博维茨扮演了一个重要角色。Rony以前是mako外科的联合创始人。这家公司认识的人不多,但说他们做什么很可怕——他们做机器人手术,主要是骨科手术。这听起来像科幻小说,但它成立于2004年,于2008年推出,并于2013年以16.5亿美元的价格卖给了史赛克医疗。他无法在这个记录中吸引投资。谁能?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

除了创始人和首席执行官,团队还没有建立,计算机视觉部分已经吸引了像加里·布拉德斯基和让-伊夫·布盖这样的大人物。我们合作的工作室正在为好莱坞的电影做特效,而《指环王》就是他们的工作。因此,神奇飞跃用来吸引投资的概念视频就像一部微型电影。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

6.现在是时候回到前面的问题了。为什么魔力飞跃的光场显示技术很重要?

首先,它是基于非常薄的光纤,这可以使玻璃又轻又薄。但更重要的是,布赖恩证明了这项技术不仅可以投影二维图像,还可以显示光场。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

现代近视眼镜有两种主要技术来实现3d:立体(中文翻译为“三维”,但不够精确)和光场(光场)。立体眼镜已经商业化很长时间了(例如,市场上的所有ar和vr眼镜/原型,包括微软hololens、爱普生moverio、Lumus DK-40、Facebook Oculus,都是立体眼镜)。然而,光场在实验室里只有一个原型(魔术跳跃可能是最好的一个)。什么是立体3d?为什么光场不够好?什么是光场?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

立体3d是假3d

3d图像比2d图像多一个维度,即景深。看过3d电影和2d电影的学生都知道有明显的感官差异(只有少数人有双重失明,看不见)。众所周知,人眼感知景深有多种机制,包括单眼和双目。一只眼睛可以感知许多景深信号,例如:一个物体的遮挡、熟悉物体的相对大小/高度以及物体运动的变化(远处物体变化缓慢,近处物体变化迅速,即运动视差)。在此基础上,双眼的景深信号也非常强(因此在古代,我们可以更好地判断老虎或鹿离我们有多远)。当两只眼睛看到同一个场景时,会有细微的差异,这使得大脑能够通过三角测量获得物体的景深。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

立体3d利用这一原理向双眼显示不同的图片(如下所示),它们非常相似,只是在水平方向略有不同。拍摄这两张照片时,两台并排的相机被用来模拟人眼的位置。现在3d电影就是基于这个原则。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

但是这样的立体3D有什么不好呢?简单地说,它会引起身体不适,如头晕和恶心。为什么?这反过来又涉及到人眼的一个有趣机制。当我们在现实世界中看一个物体时,我们的眼睛实际上有两种自然反应:

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

(1)聚焦(调节/聚焦)。眼睛的晶状体就像一个凸透镜,它调整凸度,使物体清晰地成像在我们的视网膜上。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

(2)“收敛”(convergence)。当每只眼睛聚焦时,两只眼球会一起旋转指向物体。

自然,这两种反射运动是神经耦合的,也就是说,任何一种运动都会自动触发另一种运动。这也意味着当人们观察真实物体时,聚焦和会聚的距离总是相等的(聚散距离=调节距离,见下图)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

然后立体3d的问题来了。由于立体影像的投影距离总是固定的(即调节距离是恒定的),图像的视差会使眼睛会聚在不同的距离上,产生景深的3d效果(见下图B)。因此,这两个距离经常是不一致的(聚散距离≠调节距离),这将导致这两种与神经连接的运动被力分开。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

另一方面,在自然世界中,当人类的眼睛聚焦并会聚在一个物体上时,其他距离的物体应该是模糊的(下图C)。然而,在立体3d中,无论眼睛聚焦在哪里,其他距离的物体的图像都是清晰的(如下图D所示)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

这些都不符合人类眼睛在自然界的规律,所以大脑会被弄糊涂,并会引起长时间的恶心和眩晕[4]。因此,立体实际上使用了一个小技巧,使人们看到3d效果,但它不是真正的3d。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

光场是真正的三维

光场显示与立体3d的一大区别在于,它能够将人们的眼睛聚焦到不同的距离,从而与会聚距离保持一致。这是用人眼观察自然世界的最佳方式,所以它被称为真三维。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

可以想象,实现这种光场显示并不那么简单。目前,主要有两种方法:空空间复用和时间复用。“空之间的多路复用”是简单地使用一个像素作为几个块来实现不同的聚焦距离。siggraph上显示的nvidia原型就属于这一类。这种方法的最大问题是分辨率大大降低。我试过一次,基本上是在雾中看花。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

“时间复用”是指利用高速原件快速生成不同的聚焦距离,这让人们认为它们是同时生成的。这样做的好处是分辨率不会丢失。众所周知,人眼对速度的感知是有限的,很多显示器都是60hz,因为人眼能够分辨的极限一般是60hz(在一些高速内容中,比如游戏,可能会达到90-120hz)。这是什么意思?如果高速显示360hz,可以实现六种不同的聚焦距离。然而,一些研究表明,使用六个聚焦距离加上线性混合渲染算法基本上可以实现从大约30厘米到无限远的自然聚焦[5]。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

什么是神奇飞跃的技术?它没有透露最近在演示中使用了哪种技术,但它可能是基于布赖恩的高速激光扫描光纤技术,这也是一种时间重用的方法。布赖恩首先试图只用一根光纤扫描不同的聚焦距离,这显然需要太多的速度。后来,他使用了一个光纤束/阵列,例如,16根光纤,每根都有一点点位置差异,然后同时扫描以获得不同的聚焦距离。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

由于实际系统的限制,这样的光场不可能是连续的,它们都是下采样的。然而,即使这样的光场被投射到眼睛中,理论上这也是真实世界物体的光进入眼睛的相同原因,因此它可以实现真三维。回到最初的问题,这就是为什么魔术飞跃技术是重要的。现在你可以理解为什么罗尼说“全息透镜让人生病”?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

(2)透明ar眼镜面临哪些挑战

陶博谈到了一些重要的挑战(智虎),如3d感知和定位、手势识别、眼球运动跟踪、计算、电池问题等。我会再加几个。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

1.显示

首先,实现近场显示非常困难。如今,除了神奇飞跃,所有公司都使用旧的立体3d方法,用户长时间佩戴会感到困倦、眩晕和恶心。魔术飞跃使用的近眼显示技术在理论上是有效的,但在现实中仍有许多问题需要解决。例如:

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

系统尺寸:magic leap还没有发布它的原型照片,据报道它们仍然和冰箱一样大,在可穿戴之前还有很长的路要走。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

光场采样:既然是采样,就一定会有损失,例如,在对比度和清晰度方面,我们怎样才能最佳地采样?

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

调节-聚散度匹配:即使聚焦距离是正确的,聚散距离也应该始终与其一致。Magic leap的演示视频仅用一只眼睛制作,没有证据表明他们很好地解决了双目问题。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

户外展示:现在每个人的演示都在室内进行。当用户在户外时,阳光的强度比显示光高几个数量级。至少镜头需要自动调光技术。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

拍摄内容:虽然现在可以用计算机图形来做演示,但未来的应用肯定需要摄像机拍摄的内容,在光场拍摄方面还有很多问题需要解决。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

散热是一个容易被忽视的问题。谷歌眼镜问世时,有人说用你的脸就像烧起来一样。没有证据表明全息透镜和神奇跳跃眼镜可以长时间保持凉爽。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

2.镜头

近眼显示器有两个关键部件:显示器和镜头。目前,大多数ar眼镜镜片都是基于分束棱镜的,如谷歌眼镜、全息透镜和爱普生moverio。如左图所示,简单的分束器呈45度角,将显示器产生的光线从眼镜框反射到人眼,同时允许真实世界的光线透过。这简单又便宜,但镜片很厚。以色列公司Lumus已经制造了一种波导技术来制造非常薄的透镜,但是不幸的是,这个过程很复杂,而且成本太高。后来,出现了一些便宜的光导产品,但质量远不如lumus。因此,镜头还有很长的路要走,不仅要获得大的视野,而且要轻薄,具有良好的透光率。当折射/反射显示光时,尽量保持光的属性,尽量减少光损失。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

3.视野和分辨率

视角直接决定用户体验。许多ar眼镜的视角仍在20°到40°之间,许多尝试过全息透镜的记者对他们的视角感到失望。人眼的横向视角在双眼中几乎为200°,在纵向方向上为130°。大视角意味着总分辨率必须很大才能覆盖,8k*8k是理想的。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

4.闭塞

如前所述,单目景深感知的一个非常重要的信号是物体之间的遮挡。在使用透明ar眼镜时,一个关键问题是如何实现虚拟物体和真实物体之间的遮挡。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

如果真实对象在前面,而虚拟对象在后面,则相对容易做到,即自动检测真实对象的距离,然后计算虚拟对象的哪些部分需要被遮挡以便不被渲染。然而,另一方面,如果虚拟物体需要阻挡真实物体,则不是那么直接,因为理论上,有必要选择性地过滤来自眼镜的真实物体的光。根据最近魔术飞跃的演示,当虚拟物体亮的时候,它的亮度自然会挡住它后面的真实物体,但是当虚拟物体暗的时候,仍然有所谓的“鬼效应”,这不符合自然规律,会在大脑中造成混乱。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

如果我们想达到完全正确的遮挡效果,我们只能在镜头上制作实时的每像素快门机制,但是目前的技术还不成熟。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

神奇的飞跃:用增强现实展示科幻世界

5.渲染黑色

透明ar眼镜目前无法呈现黑色。因为它是虚拟光和自然光的叠加。如果你画黑色,用户看不到它,但只能看到背后背景中真实物体的光。类似的深色也有这个问题。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

6.耽搁

透明ar玻璃的另一大挑战是延迟。将虚拟对象叠加到真实对象上(例如将虚拟水杯放在真实桌子上)涉及一系列计算:检测真实对象→计算其在空之间的位置和方向→计算叠加位置→渲染虚拟对象等。所有这些都必须在一眨眼的时间内发生,这样用户就不会感觉到延迟。例如,在水杯的例子中,我们的头可能一直在移动,当我们的头移动时,我们看到的水杯不应该在桌子上的原始位置移动。如果系统延迟太大,我们看到的杯子的位置可能总是错的,大脑会再次混乱。这对于透明增强现实来说尤其具有挑战性,因为我们可以直接看到真实世界,几乎没有延迟,虚拟物体以这种速度渲染也是很自然的。在视频叠加中,没有这样的问题,因为我们看到的真实世界的视频已经被延迟了,所以更容易与叠加在上面的对象保持同步。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

7.激光

Magic leap之前的技术专利是用激光直接击中人的眼睛。尽管据说它是安全的,但还没有确切的科学证据。因此,用户接受度是一个问题,许多人害怕听到它。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

话虽如此,下一代移动人机交互界面将于何时问世?就我个人而言,我觉得制作一个人们喜欢和听到的版本至少需要五年,也许更长。由于上面列出的这些挑战,需要付出很多努力来解决每一个挑战。目前,它们中的许多还没有达到定量变化的阶段(只是需要优化),而是需要一个大的质的飞跃。因此,道路是漫长的,修远是繁忙的。但既然这是计算机发展的必然方向,我们将拭目以待。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

最后,强烈建议:

顾险峰教授神奇飞跃核心技术秘诀:blog.sciencenet/blog-2472277-954754

智虎问答:神奇的飞跃和微软的全息透镜有什么相同点和不同点

参考

[1]Brian t . schoenggerdt等人,使用扫描激光投影的3d显示器,sid专题讨论会技术论文摘要

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

第43卷,第1期,第640-643页,2012年6月。

[2]Brian t . schoenggerdt等人,真正的三维显示器,允许观众动态地改变调节,使不同观看距离的物体进入和离开焦点,网络心理学和行为第7卷,第6期,2004年。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

[3]刘旭和李海锋,光场三维显示器的进展,信息显示,2014年。

[4] david m. hoffman等,vergence调节冲突阻碍视觉表现并导致视觉疲劳,j. vis .2010.

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

[5] k. j. mackenzie,d. m. hoffman和s. j. watt,多焦平面显示器的调节:改善立体显示器和调节控制的含义,视觉杂志(2010年)。

谷歌技术大牛解密 Magic Leap背后不得不说的秘密

-

[钛媒作者董飞,微信公众号:董老师在硅谷。关注硅谷的趋势,共同学习和成长。】

标题:谷歌技术大牛解密 Magic Leap背后不得不说的秘密

地址:http://www.3mta.com/xlxw/3934.html