徐宗本
中国科学院院士
嘉宾简介
中国科学院院士,数学家、信号与信息处理专家、西安交通大学教授。
主要从事智能信息处理、机器学习、数据建模基础理论研究。曾提出稀疏信息处理的L(1/2)正则化理论,为稀疏微波成像提供了重要基础;发现并证明机器学习的“徐-罗奇”定理, 解决了神经网络与模拟演化计算中的一些困难问题,为非欧氏框架下机器学习与非线性分析提供了普遍的数量推演准则; 提出基于视觉认知的数据建模新原理与新方法,形成了聚类分析、判别分析、隐变量分析等系列数据挖掘核心算法, 并广泛应用于科学与工程领域。曾获国家自然科学二等奖、国家科技进步二等奖、陕西省最高科技奖; 国际IAITQM 理查德.普莱斯(Richard Price)数据科学奖;中国陈嘉庚信息技术科学奖、华罗庚数学奖、苏步青应用数学奖、吴文俊人工智能最高科技成就奖;曾在2010年世界数学家大会上作45分钟特邀报告。
曾任西安交通大学副校长。现任鹏城国家实验室广州基地/琶洲实验室(黄埔)主任、陕西国家应用数学中心主任、大数据算法与分析技术国家工程实验室主任。是国家大数据专家咨询委员会委员、国家新一代人工智能战略咨询委员会委员。
报告题目
极限理论:解译几个热点大模型基础问题
报告摘要
以大模型为特征的生成式人工智能近年来迅猛发展,正深刻影响并变革着科学技术的研究范式与工业革命进程。按照流行的认识,大模型的能力之所以强大源自它可能存在的智能涌现(Intelligent Emergence)。然而,什么是智能涌现? 是什么要素摧生了智能涌现?大模型在什么情况下才会出现智能涌现?大模型为什么能工作? 对这些问题充满着疑惑和争论。
本报告基于“智能涌现源于知识从有限到无限所引起的认知改变”观点,提出一个数学框架和数学理论来对此加以解析。我们的核心思想是: 利用三元随机函数ℰ(N, P, K)来度量大模型性能, 利用 ℰ(N, P, K)的极限行为/极限速度 (N→∞, P→∞, K→∞)来度量大模型的尺度变化律(Scaling Law),并以此为基础来解译智能涌现和尺度律,这里N 是用以训练大模型的数据规模, P是模型尺寸(包含参数个数), K是训练步数。我们定义“极限架构”这一无穷维系统概念,说明大模型智能涌现存在的必要条件是极限架构存在,而极限架构存在的必要充分条件是构成大模型的基块算子Ti满足:(i)Lipschitz特征Lip(Ti)≤1 和 (ii) {Ti} 具有凝聚性质。一旦极限架构存在,我们说明,极限架构便承载了大模型的湧现智能,換言之, 涌现后所表现出的新特征和新行为(由ℰ(∞, ∞, ∞)刻画。我们证明,作为无穷维系统的极限架构,它由一个有限维系统与一个快速衰减的无穷维系统之和构成, 因而应用中可由有限维系统一致逼近。这是大模型可用的理论依据。
我们也提出ℰ(N, P, ∂ℓ)- ℰ(∞, ∞,0)的标准误差分解,并应用非线性Lipschitz算子工具, 无限维Bayes估计工具来对这些误差进行估计。最终, 我们获得大模型的尺度律估计。所获得理论揭示: (1) 大模型是否出现智能涌现依赖于数据、训练和架构多重要素, 但架构是核心, 而架构完全由大模型的功能块{Ti}特性决定; (2) 大模型智能涌现只会出现在临界动力学环境 Lip(Ti)=1,这提供了临界动力学原理成立的理论证据; (3)大模型是靠有限维系统工作的, 从而理论上支持”Universal Weight Subspace Hypothesis” (Kaushik et al, 2025)。
将所建立的理论用于ChatGPT大模型, 我们验证: ChatGPT-2及以后改进模型会出现智能涌现/尺度律, 但ChatGPT-1不能。
