即将深度合作
根据韩媒ET News,高通确认与三星和LG合作研发XR设备。其中,三星和LG都在构建基于高通芯片的XR头显。报道指出,“韩国的代表性电子企业将向因苹果Vision Pro而火热的XR产业发起挑战”。
尽管高通早前已提到与三星的合作,但这是他们首次确认LG的入局。不过,相关公司都没有给出进一步的介绍。
值得一提的是,高通同时表示将在2024年Q1季度发布全新的XR芯片。司宏国指出:“我们计划在明年第一季度发布新一代XR芯片。”
这预示着比当前Meta Quest 3搭载的芯片更先进的第三代XR专用芯片上市。ET News的报道指出,与第二代相比,高通的第三代XR专用芯片在图像处理和人工智能性能,以及透视效果方面都有望得到加强。
ET News指出,预计三星电子和LG电子将以高通的第三代XR专用芯片为基础,构建与Meta Quest 或苹果Vision Pro竞争的XR设备。特别是,LG电子表示会在眼镜形态设备领域与高通进行合作。
VR低谷回暖尚需时间
从行业来看,苹果VR头显设备的面世,对于目前疲软的VR头显设备市场,会带来明显的积极作用。
其实,在苹果推出正式的VR头显设备之前,包括Meta、微软等在内的科技巨头,都已经大幅收缩阵线,其中Meta在年后做了大幅度裁员,核心涉及到VR部门多个项目。
微软则将其收购的整个混合现实团队整体裁撤,这意味着外国科技巨头对投入VR事业的整体降温。
回看国内市场,大厂的VR业务也在纷纷瘦身:字节旗下的PICO裁员、腾讯XR业务全线撤退。对此有业内人士表示,主要是因为这两年VR不景气,VR头显设备市场的出货量始终上不来,因此很多大厂不得不宣布叫停相关的项目。
在这样的大背景下,苹果自家VR头显的面世显然意义重大。
并且市面上的主流XR头显,口碑确实毁誉参半。XR头显的性能争议是全方位的,焦点集中在几个环节:比如续航能力、交互效果、视觉效果等。
其中,有一些问题可以靠镜片、光学手段来解决,比如苹果Vision Pro就尝试采用“液态镜头”专利技术,通过可调节液态镜腔改善折射、定焦效果。但绝大部分争议,都和芯片性能有关。
从功耗到分辨率、刷新率、数据传输速度、显示延时等最基本的功能,再到考验AI算力的图像渲染、环境感知,都由芯片决定。
尤其是目前占据主流的一体机,对CPU的算力、GPU的渲染能力要求更高,分体机还可以借助处理单元转嫁压力。
高通迄今为止性能最强的XR专用芯片
高通最早在2015年涉足XR芯片领域,不过初代产品设计十分简单,只是针对骁龙820的改款,优化了VR头显的延迟、图像渲染校正等功能,甚至算不上一颗XR专用芯片。
直到2018年,高通发布了第一代专用XR芯片骁龙XR1,次年发布的大朋V2一体机则成为该芯片的首发产品。
高通的初代产品骁龙XR1,已经针对性改进分辨率、交互体验等问题,骁龙XR2则在CPU、GPU性能上做出较大提升。
骁龙XR2是全球首款支持5G传输的产品,单眼分辨率、续航能力都较上一代产品有成倍增长。在这之后,高通和Meta开启了深入合作。
2022年,双方签署了合作协议,共同研发基于骁龙XR平台的定制化芯片组。被Meta寄予厚望的“王炸”产品Quest 3,使用了高通的骁龙XR2 Gen2芯片——这也是高通迄今为止性能最强的XR专用芯片。
Vision Pro的M2和R1芯片
Vision Pro的核心是两个芯片它们协同工作以实现虚拟和现实的无缝结合。
Vision Pro配备了苹果公司的M2芯片,执行计算和多任务处理,还配备了专有的新款R1芯片,该芯片与Vision Pro内外的所有传感器协同工作,以跟踪用户的视线、控制输入,并帮助虚拟元素在现实世界中无缝呈现,实现很多令人惊艳的功能。
比如在用户周围的世界投下阴影,当你四处走动时角度会随之改变,或者当现实中有人走进用户的视野时消失/淡出。
R1芯片可以说是Vision Pro的秘密武器。它处理来自设备上每个传感器的数据,同时以惊人的精度跟踪用户的环境、位置、手,甚至眼球的运动。
跟踪用户的眼球运动,是Vision Pro掌握用户想与哪些元素交互的基础,实际上可以将它们变成真正的光标。
R1芯片还利用用户的眼睛数据来了解屏幕上哪些元素需要渲染,哪些元素不需要渲染。鉴于人在任何给定的时间只能专注于有限的区域,R1芯片知道只渲染视觉外围的一部分,而不是浪费资源渲染整个场景。
这是一种非常聪明的方法,可以优化电池使用,同时提供身临其境的卓越体验。
顺应潮流提升AI算力
但无论如何,各方都很清楚XR专用芯片的重要性,并押宝下一代产品的性能提升——尤其顺应潮流提升AI算力。
骁龙XR2 Gen2就已经在AI性能上下了很大功夫,GPU性能提升超过2倍,相比之下CPU的性能提升只有33%左右。
此外,结合NPU神经处理单元的应用,使得算力提升超过8倍。值得一提的是,高通另一个王牌产品骁龙8 Gen3也是重点发力GPU和NPU,支持超过100亿参数的模型运行。
Meta高层也说过,AI技术可以显著改善XR头显的性能,暗示将发力自研芯片。
今年5月,Meta就发布了应对未来10年AI算力增长需求的一系列研发计划,包括自研AI优化数据中心、AI模型定制芯片和专用GPU等。
虽然这些产品、技术距离落地还有一段时间,但Meta的投入和决心是不用怀疑的。
苹果更不用说,不久前刚宣布将每年投入至少10亿美元发展AI技术,芯片肯定会占据一个重要位置。
苹果A系列、M系列芯片的算力水平,在业内已处于领先位置,尤其是采用台积电3nm先进制程工艺的M3芯片。
M2芯片负责运算和交互,R1芯片负责定位、传输和图像处理的Vision Pro已经展现了很好的效果,只是稳定性仍需时间检验。
如果下一代产品能用上M3芯片,性能必定会有很大改善。
结尾:
当下,性能、高算力芯片未必能解决所有问题,但肯定会改变体验效果。
有更好的产品体验,消费者也乐于看到各路巨头继续卷算力,值得期待!
内容参考来源于:雷科技:VR/AR的“芯”病,有救了!;苹果MR现世,VR回光返照?;移动Labs:XR产业观察——苹果Vision Pro发布带来的行业发展思路分析;MiniLED网 MicroLED网:高通确认与三星、LG研发XR
本公众号所刊发稿件及图片来源于网络,仅用于交流使用,如有侵权请联系回复,我们收到信息后会在24小时内处理。