当前人工智能发展“并非最佳路径”
认知科学家Gary Marcus近年来成为生成式人工智能(AI)最知名的怀疑论者之一。他在新书《驯服硅谷》中明确表示,目前无论从技术角度还是道德角度看,“我们都尚未走在最佳道路上。”在与科技作家Leah Hoffmann的对话中,Marcus深入探讨了他对AI当前局限性的看法。
神经网络的固有缺陷:插值而非外推
“严格来说,神经网络通常是函数近似器,而大语言模型(LLM)主要用来模拟人类如何使用语言。” Marcus解释说,“尽管它们在这方面表现出色,但这种‘近似’与真正的‘学习’有着本质区别。”
早在1998年,他就指出了后来被称为“分布漂移”的问题。当时他用单一隐藏层神经网络训练了一个简单的恒等函数f(x)=x,并发现这些系统能够正确处理未曾见过的偶数,但在面对奇数时则完全失效。这促使他区分了插值和外推的概念。“神经网络擅长于在已知数据范围内进行插值,但对于超出训练数据范围的情况,则往往表现不佳。”
这一问题至今未能解决。例如,一篇由六位苹果公司研究人员发表的论文再次验证了这一点:如果输入数据与训练集差距过大,现有系统仍然会崩溃。
抽象意义缺失:无法理解真正含义
哲学上常将概念分为“内涵”(intention)和“外延”(extension)。内涵指的是抽象意义,比如“偶数”这个概念;外延则是所有具体例子的集合。然而,神经网络的工作机制仅限于后者——它们并不能真正理解任何事物的抽象含义。
因此,在面对一些需要深刻理解的任务时,生成式AI显得力不从心。例如,当要求解决渡河类问题时,AI可能会提出看似合理但实际上荒谬至极的答案。这类模型对人物、物体缺乏完整表征,因此容易犯低级错误。此外,用户也无法可靠地指示其遵循特定规则,比如“不要撒谎”或“避免版权侵权”。即使基于现实世界的数据训练,这些模型也更可能延续既有的刻板印象,而非遵守抽象原则。
单纯依赖大数据已达瓶颈
Marcus在2022年的文章中提出了“深度学习撞墙”的观点,认为单纯扩大训练数据规模无法克服核心的技术障碍。虽然起初这一看法遭到广泛质疑,但近期趋势表明,增加更多数据并未带来预期的技术突破。
“大型企业投入巨资进行大规模训练,却未见到理想效果。”他表示,许多迹象表明,当前的LLM发展正进入收益递减阶段。
新方向:结合经典AI与神经网络
为解决上述问题,Marcus建议探索神经网络与传统AI相结合的新路径。“我们可以将这种方法类比于心理学家Daniel Kahneman提出的‘系统一’与‘系统二’模型。前者快速直觉化,类似当前的大语言模型;后者强调深思熟虑,对应经典AI。如果将二者结合起来,或许可以显著提升AI性能。”
但他也承认,这一方案并非最终答案。例如,它仍无法帮助AI观察某一现象并构建关于该现象工作原理的结构化表示。不过,这至少为未来研究提供了一条新的思路。
对AI评估标准的反思
谈到衡量AI进步的标准时,Marcus提到了自己在2014年提出的“理解挑战”基准测试。他认为,真正的AI应该能够观看一部电影、建立情节的认知模型,并回答相关问题,如“角色为什么这么做?”或“为什么这句话有趣?”
“目前的LLM可能偶尔答对一些问题,但远远达不到普通人的水平。”他说,“如果有一天,AI能够分析从未见过的新电影,并准确解读其中的复杂寓意,那时我才会真正感到惊讶。”
结语
科技的进步离不开批判性思维。通过重新审视现有的技术路线和评价体系,或许我们能更好地指引人工智能迈向更加稳健、全面的发展方向。
作者简介:Leah Hoffmann是一名居住在纽约州皮尔蒙特的技术作家。