通用智能可以被形式化定义和测量
莱格与 Marcus Hutter 合作提出了通用智能的形式化定义:一个智能体的通用智能是其在所有可计算环境中,按照环境复杂度(Kolmogorov 复杂度)倒数加权的平均性能。这把 AGI 从哲学概念变成了数学可处理的对象。
来源:Shane Legg and Marcus Hutter, Universal Intelligence: A Definition of Machine Intelligence, Minds and Machines, 2007 / Shane Legg, Machine Super Intelligence, PhD Thesis, University of Lugano, 2008
AGI 是人类面临的最大潜在风险
莱格早在 2008 年的博士论文和多次采访中便警告,如果人类建造出超越人类智能的 AI 系统,但未能确保其与人类价值观对齐,后果可能是灾难性的。他是 AI 安全研究作为严肃学术领域的早期倡导者之一。
来源:Shane Legg, Machine Super Intelligence, PhD Thesis, Chapter on AI Risk, University of Lugano, 2008 / Shane Legg interview with Luke Muehlhauser, Less Wrong blog, 2011
神经科学是通往 AGI 最重要的指路灯
莱格相信,人类大脑是迄今为止唯一已知的通用智能实例。理解大脑如何学习、如何处理信息、如何实现跨领域泛化,是构建 AGI 的最重要灵感来源。DeepMind 的创始使命——用神经科学原理构建通用 AI——正是这一信念的体现。
来源:Shane Legg, Demis Hassabis, Mustafa Suleyman, DeepMind founding documents and early interviews, 2010-2014 / Demis Hassabis and Shane Legg, DeepMind company overview, Nature, 2015
强化学习是通向通用智能的最有希望路径
莱格相信,强化学习(通过奖励和惩罚信号学习)是最接近人类学习机制的 AI 学习范式。不像有监督学习需要大量标注数据,强化学习可以在开放环境中自我改进,更接近通用智能的学习方式。
来源:DeepMind research papers on deep reinforcement learning, 2013-2016
通用智能量化框架
将智能定义为在所有环境中的加权平均性能,用 Kolmogorov 复杂度对环境重要性排序,摆脱对单一任务表现的依赖。
现有 AI 基准(ImageNet、围棋等)只测量单一领域能力。莱格的框架提示我们:真正的通用智能应该在所有环境中表现良好,而非在特定任务上表现超人。这推动了 ARC、BIG-bench 等综合评估基准的开发。
AI 能力评估AGI 基准设计智能系统比较AI 研究框架
AGI 风险预先评估框架
在开发更强大的 AI 系统之前,系统评估其潜在的失控风险和价值观对齐问题,将安全置于能力之前。
莱格在 2008 年 AGI 尚未实现时,便在博士论文中系统分析了超级智能的潜在风险。这一早期预警比大众关注 AI 安全早了超过十年,最终推动 DeepMind 将 AI 安全列为核心研究议程。
AI 安全研究AGI 开发规范技术风险评估AI 伦理框架
神经科学驱动的 AI 设计
以大脑作为唯一已知通用智能系统的参照,从神经科学原理中提取可工程化的 AI 设计灵感。
DeepMind 的 DQN(深度 Q 网络)将神经科学的工作记忆概念(经验回放)融入强化学习;AlphaGo 的树搜索结合了神经网络评估,类比大脑的直觉加理性结合。
AI 架构设计认知科学应用AGI 研究方法神经网络设计