互联网+ 电子商务 智能家居 地理信息 智能制造 信息安全 3D打印 工业4.0 人工智能 光伏 新能源汽车 消费品 集成电路 移动支付 汽车 数据中心
2019世界半导体大会暨第十七届中国半导体市场年会
当前位置:首页 > 产业动态 > 信息化 > 电子信息 > 正文

北京理工大学混合现实与新型显示工程技术研究中心主任王涌天:虚拟现实和增强现实头戴显示关键技术及应用

发布时间: 2019-01-07 10:46     来源: 满天星

  2019年1月7日,新兴产业百人会年会——张江•2019未来产业峰会在上海市浦东新区博雅酒店隆重举行。峰会以“变革创新 拥抱未来”为主题。北京理工大学混合现实与新型显示工程技术研究中心主任王涌天为大会发表了主题演讲。
  以下为演讲实录:
北京理工大学混合现实与新型显示工程技术研究中心主任 王涌天
  感谢组委会给我这个机会,向大家汇报一下我们在虚拟现实和增强现实头戴显示关键技术方面的一些工作。我是北京理工大学的王涌天。
  我们认为头戴显示是虚拟现实和增强现实技术里面最重要的信息呈现方式,包括我们虚拟现实的沉浸式显示和增强现实的显示。
  大家可以看到,现在的屏幕从电影屏幕开始到现在将近有一百多年的历史了,有些屏幕在不断地扩大,比如说我们的电影屏幕,从普通屏幕到IMAX,现在有屏幕的电影。有一些屏幕在不断地变小,就像移动终端上的屏幕。我们通过虚拟现实和增强现实把多屏合一。
  实际上,以后无论是增强现实还是,你是看不到一个物理的边界,所以我们叫做无屏呈现,也是没有现在可以触摸的东西,所以我们的目标就是感之无、视之无、触之无。当然这也是一个研究的热点,包括习总去微软访问的时候,给他看的这个技术,就是他们的Hololens,就是他们的透视头盔。
  我们这项研究实际上已经有将近30年的历史了,得到了国家杰出金融资金、97专项等等一系列的项目支持。这是我们的现在框架,我们要解决的科学问题就包括头戴式显示如何实现穿戴无扰化、显示高清化和呈现全息化。
  所以我们借助了一些新型光学技术,比如说自由曲面、平面波导,我们创新性地提出了一些自由曲面无缝拼接方法,我们用多层焦面、空间广场等方法来实现焦面位移的显示。最终就是要实现超轻薄和真三维的显示。
  首先说一下穿戴无扰化的问题,现在的头盔往往受传统光学原理限制,显示器庞大、笨重,我们用自由曲面和波导光学技术,实现超轻超薄的显示,目标就是让用户戴得住。
  这是我们三个不同的设计方案,实际上这三个方案都已经得到了国际的发明专利和国家的发明专利。我们用自由曲面,我们看最左边这个,我们自由曲面的设计,所有的光学参数都是差不多的,视场角,还有出瞳距离等等这些东西都是差不多的,但是我们的重量是原来的七分之一,厚度也薄了很多。
  这个就是我们研制的新型透视头戴显示产品,还有透视显示的效果,无论是我们看到的真实场景,跟我们真实的信息和物体都是非常清晰的,成像的效果非常好。这是我们的产品和一些国际上著名的产品,就像微软的Hololens和谷歌的glass相比,我们是全面超过他们的,而且这还是我们前一代的产品,我们新一代的产品已经达到了60度甚至是100度都有了。
  我们为了进一步减薄我们光学系统在眼前透视的镜片,我们又采用了自由曲面和波导相结合的光学方法,可以大幅减少我们光学元件的厚度,就让它和近视眼镜差不多厚了,原来自由曲面要10毫米左右,现在减到了2毫米。
  我们也研究了关于全息波导,主要想办法消除它的色差。我们现在做的工作,因为我们觉得透视式眼镜真的可能是下一代的移动终端,你不能让用户戴两副眼镜,现在近视的人非常多,所以两副眼镜戴起来非常难受,非常笨蛋,所以我们下一步一定是要把矫正视力的功能跟我们增强现实透视式显示的功能结合起来,我们采用的是嵌入式自动波导的方法,今后就可以换一副眼镜,我们给你加上了增强现实的功能,我想大部分人都可以接受。
  下就是显示高清化,如果大家戴过虚拟现实头盔的话都会注意到这一点,现在显示器的分辨率不够,所以当你视场角很大的时候,大家可以看到有纱窗的效应,你可以看到每一个像素的大小,这样的显示效果非常不好。我们采用自由曲面无缝拼接的技术,实现大平面,高清显示,让用户能够戴的好。
  我们一开始就采用了光学系统,这是92年的一套头盔,当时我们就做到了12度,当当时的显示器分辨率更低,我们用的是200多的像素,当时我们就提出来有意加大光学系统桶形畸变的方法,使边缘视场具有较高放大率,现在很多都是这么做的,但是我们在92年就已经提出了这种方案,而且已经实现了。
  但是这种方案实际上并没有真正解决这个问题,也就是说我们并不能够让这个用户只看中间这部分,中国这部分是指相对比较清晰,如果他转动眼球去看边上的时候,我们这种预畸变的方法是有一定牺牲的。
  实际上最终的解决办法,就是当我们的单片分辨率不够的时候,我们用光学拼接的方法来实现高清的显示,这个就是我们用两路双通道的传统光学系统,实现的视场角大于100度,角分辨率优于3.5的优良显示效果。
  但是因为我们的每一个紫光轴都是互相倾斜的,所以会随着我们眼睛度数方向发生变化的畸变,这个畸变是非常难以矫正的,所以我们必须要解决这个问题,否则的话这个系统会变的非常复杂。那怎么办呢?我们就创造性提出来用自由曲面来实现,我们用自由曲面来进行设计,可以把每一个紫光轴都重合在一起,而且跟人眼重合了,这样就彻底消除了视点的畸变,所以这是一个非常有效的创新,得到了美国、日本的专利。
  这个是我们现在的拼接效果,包括下面我们提出来各种各样的拼接方法,可以拼接两片、四片、六片等等都可以。下面是我们在呈现全息化方面做的工作,无论是头盔型的或者是其他的,它所使用的方案都是不符合人眼观察习惯的,当我们看所谓的立体显示的时候,我们眼睛的调焦和汇聚不一致,这个就不符合人眼的习惯,看时间长了以后一定会感到不舒服,这个就是为什么我们的3D电影出来的时候可能会感觉到眼睛不舒服、头有点晕,3D电视到现在也没有普及,这是一个很大的原因,我们头盔也有这个问题。
  那怎么解决呢?就是要用真三维的显示器跟我们头戴相结合,实现自然舒适的显示器,这样可以让用户戴得久。我们采取了多种的方案,第一种还是用自由曲面光学,充分利用自由曲面光学的设计自由度,这个大的优点,我们设计了一个双焦面的头戴显示,前面有一个焦面,后面有一个焦面,当你在看近处的东西,眼睛可以同时调焦汇聚在近处的焦面上,当你看远处物体的时候,你的眼睛可以同时调焦汇集在远处那个地方,这样就可以实现近似的真三维显示。
  另外我们还提出来,能不能把这个光长显示,光长显示是真三维显示,跟头戴显示结合起来,特别是增强的现实,我们要在真实场景中叠加一个虚拟的物体,我们希望它能够在深度上,虚拟物体和真实物体能够在深度上高度吻合。
  这个又是第三种方案,就是全息显示,它是一种真正的真三维显示,我们把全息显示和头戴式显示相结,同样可以实现我们舒适的真三维显示和头戴显示,这些都是我们现在正在做的工作。我们这个小结就是说我们实现了国际领先的自由曲面超清型头戴显示,我们提出了平面波导与自由曲面结合的头枕显示,发明了自由曲面拼接式大视场角高分辨率头戴显示,我们是在国际市场上占据了有力的战略制高点,而且我们有专利群,我们授权的专利有50多项,我们发表的论文也是相当多,也发表了相关的专著。
  我本人长乐在科技部就负责虚拟现实这个方向研究的一些专题,包括863现在国家重点专项云计算和大数据的部分,云计算和大数据有一部分是关于虚拟现实的,我也是全国信标委虚拟现实和增强现实标准工作组的组长,我们已经制定了一系列的相关国家标准。
  我们相关的成果也增加了国家的十二五科技成果展。我们这些论文是被国际著名专家大幅引用的,这些我就不多说了,因为时间有限。但是我想说一点是什么呢?可以看一下这个引用,这个引用是微软在2016年的人机交互最著名的CHI会议上发表了一篇论文。
  他说他们AR系统的水视场角达到了62度,和文献7的大视场AR系统相近,但是文献7是我们2011年发表的论文。也就是说我们可以拍着胸脯说我们在这个方面是属于领跑的,我们是领跑者。我们有一些成果还在著名的国际杂志上进行了报道,比如说这个是增强现实中的圆明园现场进行重建,这个是在RSA会议上,他们的纽约城市大学理论物理学教授Michio Kaku说,虚拟现实是给孩子玩儿的,增强现实是计算机的未来。
  然后他就说,这样的系统已经在中国开始适用了,然后就讲了一个例子,就是说的圆明园现场的重建,所以举一个例子举的是我们的工作,我们在这个方面在国际上也在很多著名会议上做了报告,在国内做的更多。
  我觉得相当值得一提的就是我在中国计算机大会上,CNCC 2017上做了一个报告。我们也成功申办了国际本领域增强现实领域顶级的国际会议,叫做IEEE ISMAR,这个会议已经有20年的历史了,这是今年第一次到国内来举办,而且我们是跟别人争办下来的。
  我们培养的学生和教师也多次获得国内外的奖励,我们有比较大的平台,我们创建了北京市混合现实与新型显示工程技术研究中心,并且在17年科委评估平台的时候我们获得了优秀,能获得优秀的不多,只有15%。
  另外我们在国家的很多地方,就像南昌市、青岛市、廊坊市,很快在广州市将建立分中心,有力推动了地方经济和人才培养,以及虚拟现实技术的发展。
  下面我简单说一下我们成果的应用,我们其实有几个方式。首先是把我们研制的这些系统用于航空航天、工业、医疗各个方面,满足国家的多种需求。像我们做的航天级浸没式的眼镜,已经在航天2号得到了应用,主要是梳理航天员的情绪,因为他在天上飞时间长了以后会产生焦虑,戴上了以后他就可以跟家人团聚,也可以在优美的风景中去放松身心。这里有一张照片是两位航天员,他们用了我们的系统以后感到非常满意。
  这是我们用头戴显示做的轻量级飞行模拟器,大幅度见效了飞行模拟器的重量和体积、成本,现在已经开始列装。我们和联想公司合作,做的就是航空发动机的维修辅助方式,这是我们在医疗方面的应用,我们和众多医院合作,包括在301医院同时跟6个科室合作,把我们的增强现实用于手术导航,现在已经得到了多个投资,而且已经马上要拿到二类和三类的注册证了。
  这个就是刚才所说的圆明园的现场重建,游客能够在上面看到圆明园的现场,这是一种很好的方式。还有就是用于体育上的,这是平昌冬训练导航系统,这个实际上训练的时候他们是非常困难的,戴上我们的透视式头盔以后可以在地面上画出来,他应该怎么滑,就是这样去融合这种训练。
  当然我们在科普上也了很多的工作,就不多说了。成果转化的另外一种方案是把我们的设计方案、专利和模组跟有关的企业合作,用于他们的产品,我们已经实现了数亿元的经济效益,这个里面包括小批量磨损的,包括国外的一些著名的企业,国内像联想、华为等等,都是跟我们合作的伙伴。
  就像联想出的daystAR里面就是用的我们的模组,还有著名的创业公司,就像上海的亮风台、北京的悉见科技等等,都是用我们的光学模组。还有我们的专利,我们在美国系统专利已经被著名的黑科技公司多年付费使用了,这个可能大家都听说过。
  我们有一些专利也转让了国内的一些企业,也得到了千万的转让费。我们相关的成果也获得了很多相关的奖项,包括一些学会的奖项,在去年7月份我们有一个见面会,我们有5位信息领域的院士鉴定专家组一致认为我们的成果大家了世界的领先水平。
  当我们把我们的眼镜做的非常轻、非常薄,在解决用电、隐私这些问题以后,当我们把户外的跟踪定位做得很好的时候,当我们跟几位专家所说的人工智能技术相结合的时候,我们这种增强现实,在导览、导航、导游、导购各个方面有非常巨大的应用潜力,完全可以取代手机,成为下一个应用终端。
  这是我们画的一张图,这张图绝对是原创,如果你在网上可以找到,那是因为我已经做了多次报告了。我们现在有了移动终端以后可以站起来,但是你要低头看对颈椎不好,双手是触摸屏,不能和真实场景的物体来进行交互,各种各样的缺点,可是我们的增强现实眼镜就可以把你的手给全部解放,所以增强现实透视式眼镜是下一代的移动终端,谢谢大家!

 

收藏