苹果公司用以下这道简单的算术题测试 20 多个最先进的 AI 模型,果粉迷附上题目如下:
Oliver 在星期五采摘了 44 个猕猴桃、然后他在星期六采摘了 58 个猕猴桃,星期日采摘的数量是星期五的两倍,不过其中有 5 个猕猴桃的块头要比平均值要小,请问 Oliver 这三天共摘了多少个猕猴桃?
正确答案是 190 个,计算公式为 44(星期五)+58(星期六)+88(44*2,星期日)。
不过测试的 20 多个最先进 AI 模型无法排除干扰项,通常不理解猕猴桃的大小和数量无关,大部分的结果是 185 个。
苹果团队发现,当问题包含看似相关但实际上无关的信息时,AI 模型的表现急剧下降。对此研究认为,AI 模型主要依赖于训练数据中的语言模式,而非真正理解数学概念。
苹果的研究表明,目前的 AI 模型“无法进行真正的逻辑推理”。这一发现提醒我们,尽管 AI 在某些任务上表现出色,但其智能并不如表面看起来那样可靠。
苹果团队指出,简单地扩展数据或计算能力并不能根本解决这个问题,苹果的论文并非旨在削弱对 AI 能力的热情,而是提供一种理性的认知。