首页 > 分享 > Scaling Law假设是否成立？所谓的AI难道只是镜花水月？从模型的底层构架方面探讨一些关于生成式AI的粗浅认识

Scaling Law假设是否成立？所谓的AI难道只是镜花水月？从模型的底层构架方面探讨一些关于生成式AI的粗浅认识

花匠小妙招
2024-11-18 23:49

越来越感觉生成式AI走错了方向，不是说生成式AI没有前途，而是目前的生成式AI只依赖于基于概率算法的大模型。事实上，只使用大模型作为生成式AI引擎的技术路线存在一种很隐蔽的根本性缺陷，这种缺陷导致需要浪费地球的许多资源，从材料到能源、从训练时间到算力中心空间。我认为这种缺陷，事实上说明当今的AI缺少一种能力。

我们确实应该重视算力、能源的发展，而且这一点在最长的时间尺度上，完全没有问题。我始终坚信，AI一定是第四次工业革命的新质生产力之一。

但是，投资界中出现了对AI界投资是否能够回本的顾虑。

（可以参考高盛的这篇报告A skeptical look at AI investment | Goldman Sachs）

这其中有一个理由是非常值得考虑的。第三次工业革命期间，互联网之所以能够普及，是因为成本的大大降低：人们使用互联网的成本越来越低，人们搭建互联网也越来越容易。另外的问题就是如何应用这个强大的力量，也就是应用场景是什么的问题，但我相信解决这个问题只是时间问题。

但目前的AI似乎不一样。目前的AI是堆算力，堆大数据，数据利用效率还可以更高。我知道大模型在只有数据量大到一定程度的时候表现会大大提升。但隐藏的代价是消耗大量资源，比如能源需要投入以前的好多倍，比如高精材料需要大量投入生产。

所以，这里可能存在潜在的泡沫。当然，这也意味着AI需要更深层次的变革。类似于互联网时代，突破了这个关口，就意味着社会面貌与生活水平将因为AI技术高速进步。

当然，也有一些大佬在试图突围，例如浙大团队提出的“群体智能代替注意力机制”的想法

（脑注意力机制启发的群体智能协同避障方法）

再比如斯坦福团队提出的KAN2.0架构

（https://arxiv.org/abs/2408.10205）

我们训练AI的方法，如果从我们人类的角度看，就相当于是观千剑。这个阶段是特别重要的。人为什么是人？因为人类会思考！众所周知，人类的思维大致可以分为感性思维和理性思维。感性思维，就是观看大量的案例，然后建立一种感觉，好比现在的AI使用大量的样本进行训练，这也是思维产生的第一步……肯定是先有感觉后有思维……而且感性思维适合与发散思维搭配。人们依据感觉做决策的时候往往会说“我猜测”“我想”“也许”（是不是也是很明显的一种黑箱特性——你说不出你为什么有这样的感觉，你只知道这种感觉是确确实实存在的）——说到底，感觉出来的东西本质上是概率，人们一般不会认为它们是严格坚实的，而且具备明显的黑箱特性，然而这正是目前AI所使用的方法。换句话说，大模型只有基于感性的、具备黑箱特性的感性思维，没有基于严密逻辑的、可解释性强的理性思维。

事实上，苹果公司在论文《GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models》中指出，现在的大模型内部的结构其实并不是严格意义上的推理。对于推理出来的东西，我们往往会说“如果A成立那么一定有B成立”。也只有推理，才构成了人类思维的骨架，支撑起了感性思维的血肉。事实上推理的另一个特性就是线性，在推理的时候人们往往需要专注——这也说明了理性思维需要与专注思维搭配。

这种奇妙的对应，正好解释了为什么只是简单地增大样本量却不能够增加数据的利用率。如果模型越变越大，其变大的速度超过了数据产生的速度的话，模型的表现就会陷入瓶颈。（Will we run out of data? Limits of LLM scaling based on human-generated data）这正是最近热议的scaling law假设是否成立的问题。事实上，道理很简单。感性思维对标思维的广度，所以有些东西，你再怎么瞪眼，也不可能看出来（这正是我们数学系强调的“动手写一写”）；而理性思维，对标的思维的深度，这恰恰是当今的AI尚缺少的思维能力。

而且还有一个很有意思的事情。

当年的科学界，麦克斯韦发现了电磁波。赫兹在复现麦克斯韦实验的时候，记录了光照在某些金属上会发电的现象，但是没有深究它。这个现象，后来被称为著名的光电效应……很多伟大的发现事实上是相伴而生的。

2024年，人工神经网络荣登2个诺奖舞台。然而，标志着人工神经网络论文问世的那个时代，专家系统却是当时人工智能的主流……

当然，这意味着很多事情

1. 从国际投资的角度看，要密切关注AI领域，准备抓住新一轮的（抄底，如果有底的话）增长机会

2. 人们逐渐意识到大模型的局限性，Scaling Law中的另一个维度推理能力将被发现，在这之后，AI的能力将根据广度×深度的方式（即大模型与推理引擎的协同作用）快速提升

3. 拥有强大推理能力的、为客户个性化专属定制的、高度专业化的、可部署到边缘或者本地的小模型将成为新的风口

4. （这一条我不是很肯定）大模型也许还会是大公司的专利，但是，小模型的普及将有助于打破大型企业与顶尖学校对AI技术的垄断与集中（很大程度上是因为算力资源导致的）

所以我的观点准确的说是，基于序列预测的大语言模型的前景依旧没问题，而有推理能力的推理引擎将会回归AI的舞台，让世人重新看见它的价值。如前所述，感性思维和理性思维这两种思维共同构成了人类思维——没有感性思维，理性思维无从形成；没有理性思维，感性思维并不总是靠谱。如果大模型是感性思维的延伸，那么今天需要的其实是一个理性思维的延伸，与大模型携手并进，各取所长。

下面是那个时代主流的方法之一：专家系统。受到数学知识体系的启发，我写了如下的产生式系统算法，这种算法正是AI需要的推理引擎。配合这个系统之后，AI将拥有逻辑思维能力：

from copy import deepcopy

知识库之前的状态 = None

推理全过程 = []

知识库当前的状态 = {'【事物】有波动性': True, '【事物】有粒子性': True, '【事物】有波粒二象性': False}

def 波粒二象性():

if 知识库当前的状态['【事物】有波动性'] and 知识库当前的状态['【事物】有粒子性']:

知识库当前的状态['【事物】有波粒二象性'] = True

单轮推理.append('''```mermaid

flowchart TD

0("【事物】有波动性") --> 且{且}

1("【事物】有粒子性") --> 且{且}

且 --> 2("【事物】有波粒二象性")

```

''')

定理库 = ['波粒二象性']

while 知识库之前的状态!=知识库当前的状态:

知识库之前的状态 = deepcopy(知识库当前的状态)

单轮推理 = []

for 定理 in 定理库:

exec(定理+"()")

推理全过程.append(单轮推理)

推理全过程 = 推理全过程[:-1]

推理全过程 = sum(推理全过程, [])

for 推理 in 推理全过程:

print(推理)

这里，我要严厉警告所有的人类同伴们：

绝对不要放弃独立思考与批判性思维，如果把科学探索完全依赖于AI，也许某一天，《三体》中所说的科学界停滞不前的现象将从小说走向现实

我们知道，命题往往是以一个句子的形态存在。机器可不像人类，最好这些知识能够被整理得整整齐齐的才方便它读取。这里需要一项技术——文本规范化。我们输进去的自然语言可能有错误，灵活多变，然而机器最好读取一种统一且规范的语言。

在以往的神经网络中，神经网络之间的连接是难以解读且不完全彻底的（意思就是，连接与不连接之间的界限很模糊，不像逻辑推理中，成立就是成立，不成立就是不成立这般具备明显的二元对立特性）。神经网络的不可解释性源于每个神经元的不可解释性以及边（神经元之间的连接）的不可解释性。如果能给每一个神经元对应一个特定的“知识”，比如代码中的“【事物】有波动性”，并通过逻辑规则（例如“与”“或”“非”）将神经元们连接起来，那么神经网络的黑箱难题有望从根源上打破。在配合推理引擎和大模型的技术路线中，点亮一个“知识”（即满足定理库中的某些定理的条件）需要将自然语言映射到预设的、有指定格式的知识图谱。这离不开文本规范化。这项技术不仅能够将无结构化的知识映射到我们的知识库，还可以架起自然语言到高级语言的桥梁。有一种很自然的假设：规范的文本是符合语法的。

语法知识与自然语言处理的结合，必将成为提升模型表现的新突破口。对多数理科生而言，语法知识，不再局限于高中的语文考试；今天，语法知识将成为使用工程方法对自然语言建模的强大利器。当语法知识成为产生式系统中的一部分时，文本规范化将不费吹灰之力。