阿里格罗布曼,CEO和特拉维夫告示等方式,执行副总裁R&d的Lumus公司,停下来的路上,看到几个公司在美国与他们的最新Lumus公司Maximus的原型(以下简称鲆)。更好的是,他们说我可以通过镜头拍摄高分辨率照片。
Lumus Maximus 原型具有令人印象深刻的整体图像质量,包括视场 (FOV)、分辨率、色彩均匀性和亮度(超过 3,000 尼特!),具有眼镜般的外形。
作为原型,存在 Lumus 知道并计划在最终产品中修复的问题。Maximus 原型只有眼镜中的显示器,没有电池、处理、相机和 SLAM。外部电缆通过视频和电源驱动眼镜。毕竟,这是一个原型。
Lumus Maximus 使用复合光子学 ( CP ) 2048 x 2048 像素 LCOS 微型显示器。虽然我听说过一些关于 CP 的 LCOS 的好消息,但直到 Maximus 之前我才看到它。虽然本文将重点介绍 Maximus Glasses,但我不得不说CP 的设备应该改变对 LCOS 的看法。它具有高对比度和出色的色彩,小(3 微米像素)适用于小型设备和显示引擎,高反射率可实现良好的效率。除了所有这些功能之外,它还支持非常高的场序列速率,以防止颜色因头部运动而破裂。
第一个 2D 反射式扩展器
有些人可能还记得 Lumus 在2017 年 CES上首次展示“Maximus”概念。Lumus 于 2000 年率先推出一维扩展波导。但一维扩展波导需要更大的光学引擎。通过二维扩展,结合CP的小型LCOS器件,大大缩小了光学引擎的尺寸。
Lumus 指出,具有方形纵横比的 50 度对角 FOV 只是他们 2-D 扩展器的起点。他们可以上下缩放波导以支持其他纵横比和 FOV。
超过 3,000 尼特的 2K x 2K(2048 x 2048)令人惊叹
当你第一次戴上它时,有很多“令人惊叹的因素”。对于具有方形 (1:1) 纵横比而不是更常见的类似 HDTV 的 16:9 或 3:2 的 Hololens(更多关于纵横比)的基于波导的薄显示器,图像在垂直方向上特别大之后)。
您会注意到图像有一些枕形效果。这是一个使用更简单的球面光学元件的原型。量产版将配备非球面光学元件来纠正这种失真和其他光学问题。Lumus 目前有软件以数字方式消除失真,但我要求在没有校正的情况下查看它以更好地查看光学性能。
下面是一张直接通过 Maximus 光学器件拍摄的照片,显示了 Maximus 的整个 FOV。
图像的颜色和亮度均匀性虽然不完美,但比我见过的任何其他波导型光学器件都要好得多。要了解它比当前最先进的设备好多少,您需要将它与其他设备进行比较。
下面是三张使用相同相机和镜头的图片,因此您可以分辨出相对 FOV 分辨率。左下方是 Maximus 以 2K x 2K 显示。中间是 Hololens 2,显示 1280×854。右侧是 1K x 1K 模式,数字预缩放为 2K x 2K 并显示在 Maximus 上。您将需要单击图像以查看详细差异(组合的三张图片约 11000 像素宽)。
下面我使用焦距更长的镜头 (42mm) 将 Maximus 和 HL2 的中心光学放大约 2.5 倍。与 Hololens 2(仍为 1 倍)相比,Maximus 上的 1、2 和 3 像素宽线进一步放大了 2 倍。这些是我能在 Maximus 和 HL2 显示器中找到的“最佳情况”区域。Maximus 可以显示每度 60 像素的单像素宽线,而 Hololens 2 甚至无法显示每度 30 像素。Maximus 的水平和垂直角度分辨率似乎是 4 倍,至少在图像的中心是这样。
下面是在白色背景上显示高分辨率图像的 Maximus 与在 Hololens 2 上显示类似但分辨率低得多的图像的比较。这些图像是使用相同的相机和镜头拍摄的,并公平地展示了它们的真实外观。
球面原型光学元件和拐角处的畸变
下图是黑底白字测试图的右上角,既有失真又有一些重影。如前所述,Maximus 原型使用更简单的球面光学元件,而最终产品将使用非球面光学元件来纠正这些问题。
此外,相机正在捕捉您用肉眼看不到的问题。例如,我怀疑几乎没有人会注意到角落里的重影,因为 A)它们通常在你视野的角落里,这是低得多,B)即使你的中心视力也很难看到它们,因为它们太小了.
黑底白字 vs 白底黑字
随着更多的总光注入波导,深色背景上的图像将比白色/浅色背景上的图像具有更好的对比度。您会在每个近眼显示光学器件中看到这个问题。Maximus 的性能优于其他基于波导的光学器件。下面显示的是白底黑字和黑底白字测试图案的中心裁剪图。
Lumus Maximus 的效率可能比衍射波导高约 10 倍
对效率数字进行完全的苹果对苹果比较几乎是不可能的。不仅效率难以衡量,而且还有许多可能影响比较的变量,包括视野和眼框大小。尽管如此,人们普遍认为 Lumus 波导比衍射波导更有效。
Lumus 在他们的AR/VR/MR 2021 会议演讲中表示,他们预计Maximus将达到650nits/lumen。我能找到的最接近的可比规格是具有类似 56° FOV的WaveOptics Oden波导, 额定值为50nits/lumen pegging Maximus 的效率超过 10 倍。如上所述,这可能不是一个完全公平的比较,但这是我能找到的最好的比较,并且与我从业内其他人那里听到的相匹配。
效率优势是耳机设计的主要因素。效率转化为电池功耗,更重要但不太明显的是 散热。虽然 AR 的临时追随者似乎担心电池寿命,但设计 AR 耳机的人通常更担心没有风扇或大型散热器的热管理。热量往往会在小型 AR 头显中积聚。
Maximus 与 Hololens 2 的显示引擎尺寸
在查看显示引擎和光学器件时,重要的是要采取整体观点,而不是关注任何一个元素的大小。您还必须考虑显示器的性能,包括分辨率、图像质量和亮度。
我从Lumus 的网站上获取了显示引擎和光学器件。我将它与我在 Hololens 2 显示评估中写的 Hololens 2 的拆解图片进行了比较,并将它们调整到相同的比例。尽管具有更高的分辨率和约 6 倍的亮度,但 Maximus 的显示引擎似乎只有 Hololens 2 的 1/4 体积。
Aviv Frommer在 2021 年 AR/VR/MR 会议上的演讲(在 SPIE 付费专区后面)展示了有关该引擎的更多细节。我已经包括了 Lumus 网站的另一个视图和Schott 新闻稿中关于他们制作 Maximus 波导的波导图片。
令人印象深刻的是,Maximus 可以通过波导显示超过 3,000 尼特,并在单个 PCB 上使用一小组 LED。他们使用“光管积分器”棒来均化(均匀混合)来自单个 LED PCB 的红光、绿光和蓝光。看起来它们具有类似鸟盆的光学结构。“注入棱镜”内置于波导结构中,以直角注入光以支持波导中的TIR(全内反射)。
光管使来自 LED 的光均匀化。其他光学器件(未显示)将校准和塑造光。偏振分束器将偏振光(也可能有预偏振器)并将其导向场序彩色复合光子学 2K by 2K LCOS 微显示器。LCOS 器件将有选择地改变每个像素的光偏振以控制亮度。然后,“正确”偏振光将通过分束器到达曲面镜以准直图像。可能有四分之一波片(未显示)会导致从镜子反射的光从分束器反射到输出。Lumus 还使用了其他一些光学“技巧”,因此以上是更明显的结构的轮廓。
令人印象深刻的复合光子学 (CP) 2048 by 2048 LCOS 微型显示器。
CP 将场序 LCOS 提升到一个全新的水平。我以前设计过LCOS器件,所以有一些直接的经验。忘记有时与 Hololens 1 和 Google Glass 的 LCOS 相关的低对比度和色差声誉(见下文)。
CP 还有一个 1920 x 1080 设备,采用相同技术,对角线为 0.26 英寸。如果数量有保证,CP 可以做出其他决议。
CP 非常高的颜色序列率色场序列率有助于防止在 Hololens 1 上看到的颜色分裂。它们支持高达 240Hz 的帧率以减少“电子到光子的延迟”,还支持“GPU 模式”,可以进一步减少这种延迟。
CP 的 LCOS 使用对比度非常高的 VAN 型液晶 ( LC )。通常,VAN 的开关速度比更常见的 Tn LC 慢,但 CP 已经找到了如何从高对比度 VAN LC 中实现高速和高场色率的方法。
CP 具有非常小的 3 微米像素,同时保持高反射率和非常好的对比度。
右侧显示的是取自 Compound Photonics 网站的表格。它们还支持高达 1440Hz 的场序列速率,以防止颜色分裂。我相信 Hololens 1 的 LCOS 慢了四到八倍。使用Maximus,即使是轻微的分手,你也必须很快摇头。Compound Photonics 支持 240Hz 帧速率和直接 GPU 更新模式,以减少“电子到光子”延迟。
CP 的 LCOS 与 Lumus 更高效的波导技术的使用帮助 Maximus 实现了目前超过 3,000 尼特的一流亮度,他们预计很快将超过 4,000 尼特。
进出视野
左边是我在 Aviv 戴眼镜时拍摄的照片,室内显示大约 200 到 300 尼特。请注意,由于波导的高透射率 (~85%) 和没有外部变暗透镜,您是如何看到他的眼睛的。他眼睛的两个插图来自同一张照片。你甚至可以看到他正在看的图像从他的角膜反射出来。
看人的眼睛是一个重要的社交方面。人们自然希望看到一个人的眼睛(眼睛就是众所周知的“通往灵魂的窗户”)。
下面是 Maximus 与 Hololens 2 在相似照明条件下的眼睛视图的比较(两种情况下都有来自正面的照明)。请注意使用 Maximus 如何轻松看到眼睛,而使用 HL2 几乎看不到眼睛。
透明度意味着眼镜不会使现实世界严重变暗。在 Maximus 上,从世界进入眼睛的光线减少了约 15%,而 HL2 阻挡了大约 60%或大约 4 倍的真实世界的光线。HL2 并不是最严重的问题,大多数其他耳机,尤其是 Nreal 等基于鸟盆的耳机,会阻挡超过 70% 的光线。大多数房间都亮着,假设人们不会戴深色太阳镜,所以这对 Maximus 来说是一个很大的优势。
此外,眼睛周围的周边视觉被阻挡的情况要少得多,尤其是向上。由于显示引擎的原因,靠近太阳穴的上角有一些轻微的遮挡,但总体而言,它是一个非常开放的设计。
我有一个较旧的 Lumus 720p ( DK-52 )、WaveOptics 衍射波导,以及LG 在韩国销售的 Nreal 产品(提示——我已经拆下 LG 装置看看里面有什么)。我用相机和漫射白色背光在相同设置下背靠背拍摄了以下 4 张照片,让您了解四组波导的透射率。Lumus 约为 85%,WaveOptics 规格 >70%,Hololens 2 为 40%,Nreal 透射率约为 25%。
应该注意的是,Hololens 2 和 Nreal 除了显示光学器件外还具有挡光功能。额外阻挡真实世界光的部分原因是减少前向光投射。
前投灯
考虑到佩戴者的网络外观,大多数波导都存在光投射问题。HL2(右下方)因这个问题而闻名。向前投射的光量与投射到 HL2 上的眼睛的光量大致相同,并且在相当广的角度上,您会得到发光的眼睛效果。如果没有 HL2 的光线变暗前屏蔽,HL2 的正面投影会显得更糟。
Maximus 有一些正面投影,但比 HL2 小一个数量级。Lumus 表示,当前的原型正面投射了大约 5% 的光,并且在 LOE(Lumus 波导中的“板条”)上改进了 AR 涂层,他们预计正面投射将减少到仅 1%。
眼盒和 FOV – 物理现实检查
当我第一次开始戴上 Maximus 时,让我印象深刻的一件事是光线似乎几乎充满了波导/眼镜的整个区域。我自己并没有捕捉到这种效果,但事实证明Lumus 的 Maximus 介绍视频有一个摄像机移动到一个拆卸下来的Maximus 波导上,显示了这种效果。我在视频中捕获了大约 23 秒的 3 帧序列(见下文)。从远处看,图像看起来“断断续续”,但随着相机大致移动到眼睛所在的位置,它会一起进入图像。请注意有多少波导(以绿点勾勒)填充了波导;这就是“眼盒”。
Lumus 向我展示了我拍摄的同一只鸟(但鸟类视频中的不同帧)的演示(下图),显示了最终图像的高对比度、细节和饱和色彩。
如果您查看 Maximus 眼镜,您可能会注意到与普通眼镜相比,它们的镜片开口已经相当高。他们需要用足够大的眼盒来支持 35.4 垂直 FOV,以支持眼球运动、不同人的瞳距 ( IPD ) 和眼睛位置,以及相对于眼睛的移动眼镜位置。
下面是 FOV 和眼盒的简化视图以及如何“投影”到波导上的简化视图。FOV 是两个角度(水平和垂直),它们形成与波导平面相交的矩形投影。眼框在眼睛处以毫米为单位进行测量,并确定眼睛相对于显示器可以移动多少(考虑眼睛和眼镜的移动)。将眼框大小和 FOV(Eye Box + FOV)组合在一起形成更大的矩形投影。波导的光出射面积必须至少与眼盒+波导位置处的FOV投影一样大,否则当眼睛相对于波导移动时,图像会被截断。
Maximus 有一个 2-D 瞳孔扩展器,可以有效地获取一个微小的输入图像并复制/扩展它以分两个阶段填充整个眼框。第一阶段水平扩大瞳孔,第二阶段垂直扩大瞳孔。最终结果是大致绘制在眼镜上的眼框(右下方)。我还(粗略)绘制了 FOV 和 Eye box 在波导上的投影。
当您允许相对于波导进行实际数量的眼球运动时,波导处眼框的投影几乎填满了 Maximus 的大部分波导。因此,如果您想要更大的 FOV 以提供合理/实用的眼箱,您将需要更大的眼镜,而眼镜的视距比典型眼镜要大。对于期望从眼镜外形中获得巨大 FOV 的人来说,这似乎是一个问题。
虽然上面的简单图中没有显示,但Maximus支持全景倾斜(垂直方向)和包角,并且眼框不是简单的矩形。
镜片和屈光度调整
所有波导输入的光都聚焦在无限远,这导致输出聚焦在无限远。Bernard Kress 的优秀参考书“用于增强、虚拟和混合现实耳机的光学架构(我强烈建议获取 PDF/数字版本)中讨论了这个问题。Maximus 原型输出也集中在无穷远处。
通常,“一般用途”最好将焦点设置在 2 米处。我将避免对 vergence-accommodation-conflict ( VAC )进行非常深入的讨论。 这是我在 2016 年写的一篇关于 VAC 的关于 Magic Leap 的文章的链接,但你可以在其他地方找到数百篇关于该主题的文章。这是 AR 中一个非常活跃的话题。
Hololens 1 和 2 都使用双镜头排列(见上图)。-1/2 屈光度镜片内置于保护波导的塑料护罩中。第一个镜头将焦点从无限远移动到大约 2 米。第二个镜头,靠近波导的胶水,基本上预先校正了现实世界的视图,因此现实世界的焦点不会移动。
Lumus 和/或其客户可以使用与 Hololens 相同的双镜头技巧来移动焦点。Lumus 的另一个选择是使用 Lumus 的合作伙伴Deep Optics生产的动态液晶镜头移动焦点。我在 2018 年写了一些关于深度光学的文章。
还宣布 Lumus 正在与 Luxexcel 合作开发 3-D 打印光学器件,该光学器件将封装 Maximus 波导。下面是Luxexcel 在 2021 AR/VR/MR 会议上的演示文稿(在 SPIE 付费专区后面)的幻灯片。使用Luxexcel技术,可以同时进行虚像焦距的改变和处方矫正。
为什么是方形 50° FOV?
许多人,包括 Lumus,发现更方形的 FOV 更适合增强现实,因为它更符合人类视觉。我们已经看到 Hololens 2 从 Hololens 1 上类似 HDTV 的 16 x 9 宽高比变为 3:2 宽高比。
正如微软 Hololens 的合伙人光学架构师 Bernard Kress 多次指出的那样,包括他的SPIE Paper Digital 光学元件和技术(EDO19):AR/VR/MR 的应用(来自下面那篇论文的图片),有一个“固定“注视点区域”位于 FOV 中心 40-50° 处,眼睛将倾向于以最高分辨率看到。也是在两只眼睛有双眼重叠和感觉深度的区域。
即使最终图像更加方正,也非常需要以电子方式调整 IPD,而不是为每个 IPD 定制波导,或者更糟糕的是,大多数 VR 耳机都采用笨重且不可靠的机械调整。允许电子 IPD 调整本质上意味着拥有更宽的图像,可以根据用户的 IPD 在任一端进行裁剪。
我觉得虽然方形图像在某些方面在技术上更适合眼睛,但人们自然似乎想要更宽的图像。因此我认为最终的图像会倾向于 3:2 或 4:3 的纵横比加上一些用于 IPD 调整的额外宽度。
结论:微软在 Hololens 上花费了数十亿美元,看起来比 Maximus 差很多。
本文对Maximus 和Hololens 2 ( HL2 )进行了一些比较。HL2 是最著名的 AR 头戴设备,使用带有 2-D 瞳孔扩展衍射波导和激光束扫描显示器的激光扫描。HL2 被广泛认为是迄今为止最成功的(在某些方面)AR 耳机。
微软在 Hololens 上花费了数十亿美元,其中只有一部分用于显示器。尽管如此,看起来他们花了数十亿美元只是为了完善波导和激光扫描引擎。即使他们想保留他们的专有(他们最初从诺基亚那里获得的)波导,整个激光扫描引擎在图像质量上也是一个巨大的倒退(“草一定看起来更绿了”)。他们应该在 HL2 中使用更好的 LCOS 设备。HL1 使用了设计时可用的最差的器件之一,而到 HL2 设计时,已有更好的 LCOS 器件可用。
Maximus 使用 Lumus 的新型 2-D 扩展反射波导和 LCOS 显示器。因此,这是比较和对比各种技术的好机会。我对HL2有很多经验,有很多关于它的文章。此外,我可以使用 HL2 来制作比较图片。
Hololens 2 是一款带有 SLAM(同步定位和映射)相机的完整产品。它有一个屏蔽来保护波导、内置处理、电池、屈光度调整到 2 米,以及一个完整的计算机系统,带有无线通信以及更多功能。随着产品从单纯的展示变成完整的产品,它们的尺寸呈螺旋式上升。我在Starts with Ray-Ban®, Ends Up Like Hololens 中写到了这一点。随着 Maximus 技术进入产品,它与 HL2 的相似之处可能不仅仅是雷朋®眼镜。
在纸面上,HL2 和 Maximus 显示器具有相似的规格。HL2 声称(错误地 - 参见此处和此处)每度有 47 个像素 (PPD),而 Maximus 声称具有 60 PPD(它在大部分图像中都非常接近,如上图所示)。HL2 在 3:2 的纵横比中有大约 52° 的对角线图像,而 Maximus 在 1:1 的纵横比中有大约 50° 的图像。与 HL2 相比,Maximus 的亮度超过 3,000 尼特(计划在最终产品中超过 4,000 尼特),部分图像的亮度约为 500 尼特。Maximus 仅阻挡了约 20% 的真实世界光线,而 HL2 阻挡了约 60%。
就像展示一样,Maximus 吹走了 Hololens 2。 列举 Maximus 的一些大优势:
亮6倍以上
透明度提高约 4 倍
显示光效提高约 10 倍
更小的光学引擎和更小的波导
HL2 分辨率的 10 到 16 倍(H 乘以 V)
更少的前向光投射。
颜色和亮度均匀性要好得多
颜色质量更好
除了几乎黑色的图像外,对比度更好(波导中的散射更少)
发动机要小得多,我预计功率会低得多。
业界对 Lumus 的“敲门声”是他们能否负担得起。Lumus 认为他们与 Schott Glass 的新关系对他们来说是制造方面的重大突破。Schott 也为衍射波导制造光学玻璃,他在 SPIE AR/VR/MR 会议上展示了反射(又名 Lumus)波导可以使用较低折射率(应该更便宜)的玻璃技术。
正如 Lumus 首席执行官 Ari Grobman 所说,“如果 Schott 认为 Lumus 不能大批量生产,他们就不会与 Lumus 合作。” 我过去的半导体经验告诉我,如果他们将制造开发资金的一小部分用于 Hololens 1 和 2 衍射波导,那么它们至少可以像衍射波导一样具有成本效益。
附录:一些拍照细节
我调整了 Olympus D5 mk.3 相机,以便在眼镜的有限区域内拍摄出最好的照片。当使用 17 毫米镜头显示完整 FOV 时,相机在显示器中每像素只有 1.7 个相机像素,这比完全解析 Maximus 中最精细的细节所需的要少一些。每个完整的 FOV 图像大约为 3.5K x 3.5K 像素(在裁剪相机的 4:3 纵横比之后)。
我用 42 毫米焦距(大约 2.5 倍放大率)的第二个镜头对中心进行了一些放大图像,以查看单个像素。即使使用 17mm 镜头图像,您在大型计算机显示器上看到全尺寸图像,您也会看到肉眼看不到的缺陷。Maximus 每度显示大约 60 个像素(每像素 1 弧分),每度至少比大多数其他 AR 耳机多 1.5 倍。
Lumus 已经采用了该博客的1920 x 1080 像素测试图案并复制了子元素以构建 2048 x 2048 测试图案图像,以展示Maximus的分辨率和视野 ( FOV )。