据报道,苹果正在开发 AI 驱动的情绪跟踪和健康教练应用和/或服务。彭博社记者 Mark Gurman 表示:“苹果正在开发一种 AI 驱动的健康指导服务和跟踪情绪的新技术,这是它通过健康和保健功能吸引用户的最新尝试。”更具体地说,“新的教练服务(代号为 Quartz)旨在保持用户锻炼的积极性,改善饮食习惯并帮助他们改善睡眠”。按照同样的思路,苹果在欧洲的一项新专利从另一个方向扩展了他们对健康的关注。
苹果公司在欧洲申请的这一专利名为“基于眼球的生物反馈”,该申请于 2023 年 4 月 12 日在欧洲公布。该专利涉及使用 XR 头显显示内容,以确定用户在显示内容期间的注意力状态。
苹果在其专利背景指出,用户在电子设备上查看内容时的认知或注意力状态会对用户体验产生重大影响。
例如,在 XR 环境中使用头戴式设备(HMD)时,可能需要保持专注和参与,以实现有意义的体验,例如冥想、学习新技能、观看教育娱乐内容或阅读文档。用于评估用户查看和与内容交互的注意力状态的改进技术可以增强用户对内容的享受、理解和学习。此外,内容可能不会以对特定用户有意义的方式呈现。内容创建者和显示系统可能能够提供更好、更量身定制的用户体验,使用户更有可能在能够确定认知状态的基础上享受、理解和学习。
苹果的专利涵盖在呈现内容(例如,视觉和/或听觉内容,可能包括现实世界的物理环境、虚拟内容或每种内容的组合)期间或之后确定用户注意力状态的设备、系统和方法,以增强体验。
虽然该专利可能侧重于 XR 头显的使用,但苹果指出,他们的系统也可以应用于 iDevice、MacBook 和 iMac /桌面,向用户提供内容(例如,视觉和/或听觉体验),并通过传感器获得与用户对内容的反应相关的生理数据(例如,注视特征)。
基于获得的生理数据,所描述的技术可以通过对用户的注视特征进行分类来确定用户在呈现期间或之后(例如,冥想体验)的注意力状态(例如,冥想与走神)。
基于分类的注视特征,这些技术可以向用户提供当前注意力状态与内容的预期注意力状态不同的反馈,推荐类似的内容或类似部分,和/或基于当前的注意状态与内容的预期注意状态不同,调整内容或对应于内容的反馈机制。
在示例实施中,冥想和正念练习与本专利中描述的技术相结合,可以通过为个人提供有关冥想表现的实时反馈来增强冥想体验。
在 XR 中使用 HMD 时,在冥想期间保持专注和参与可以改善用户的冥想练习,并帮助用户获得与冥想相关的好处。
例如,对冥想感兴趣的新手在冥想过程中可能难以专注于任务,他们可能会从对自己表现的准确反馈中受益。该专利中描述的技术可以根据用户注视特征的变化来检测用户在冥想时何时分心。
在冥想期间找到明确的注意力缺失标志并提供表现反馈可以增强用户体验,从冥想课程中获得额外的好处,并为用户提供指导和支持性的教学方法(例如,脚手架教学方法),以推进他们的冥想练习。
眼球注视模式可以根据个人的注意力状态和面前场景的特征而变化。这些模式可以在使用带有眼动追踪技术的 HMD 时获得,同时用户执行需要不同程度注意力的正念任务,例如集中注意力进行呼吸冥想。
在冥想过程中,注意力可能会向呼吸方向波动。当一个人在睁眼冥想任务中专注于他们的呼吸时,眼睛的注视可能会很慢,并且仅限于场景的特定区域。当个体失去注意力并开始走神时,眼睛注视稳定性可能会降低和/或眼睛注视速度可能会增加。
观察一段时间(几秒钟到几分钟)内眼球注视速度和位置的重复测量可以深入了解用户在不同时间尺度上的注意力状态。这些注意力指标可用于在冥想体验期间提供反馈。
苹果专利图 1 说明了显示视觉体验并从用户获取生理数据的设备;图 2 说明了图 1 用户的瞳孔,其中注视特征随时间变化;图 3 是用于对注视特征的可变性进行分类,以确定用户注意力状态的方法流程图表示。
苹果专利图 4A 和 4B 是说明用户在两种不同注意力状态下的注视特征变化的图表;图 5A 和 5B 是说明用户在两种不同注意力状态下的注视特征变化的图表。
在苹果公司的专利图 6 中,能够看到一个框图,说明一个示例性设备的设备组件;图 7 是一个示例性头戴式设备(HMD)的框图。