主题：【原创】生成式 AI 有没有推理能力？ -- 孟词宗
家园 【原创】生成式 AI 有没有推理能力？ 讨论 AI 会不会产生自我意识的过程中，有位朋友提到了这篇文章：
AI推理能力大“翻车”！苹果最新论文：LLM只是复杂的模式匹配，而不是真正的逻辑推理
这篇文章设计的测验很有意思。从实验结果看，文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说，AI 并不理解抽象的概念，而推理能力恰恰依赖抽象的概念。
最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验，大家有兴趣的话可以玩玩。
给 AI 的提示：Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.
AI 回复表示理解了提示中的这个这个规则。于是有下面的实验：
我: A
AI: B
我: B
AI: C
我：X
这里，不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则，所以无解。 很显然，回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而，这并不代表 AI 没有推理能力，而可能只是语句处理模块不好。
真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问：
我：Z
这下大多数的 AI 模型都冒烟了，有些回答说不合规则，有些回答说序列到头了没有答案。有意思的是两种回答：一种回答说 Z， 另一种则回答说 A。
而这个问题，如果用来盲测人类，其实人类也会给出同样的四种答案。也就是说，单就这个问题来看，如果盲测，提问者无法分别回答者是人类还是AI。换言之，能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的，而是真正的推理能力。
有意思的是训练程度越高的模型，越倾向于给出这四种答案。比较 Mistral， 狗屁通，Gemma， Llama， 通义千问等等大模型的不同版本，都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩，成人除了脑部发育完全，更储备了更多的知识。
至于这篇文章中说到的语序问题，非相关语句问题等等，前面说过，必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟，“屡战屡败”和“屡败屡战”用的字数和字完全相同，但把语序换一下，意思就完全不同了。然而，你去问一个三岁小孩这两句话有何不同，三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题，狗屁通则会说：
“屡战屡败”和“屡败屡战”这两句话虽然字面相似，但含义有所不同。
1. **屡战屡败**：强调的是多次进行战斗，但每次都失败。这种表达往往暗示一种无奈或沮丧，强调了失败的频繁。
2. **屡败屡战**：则是指经历了多次失败，但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神，体现了勇气和韧性。
总的来说，前者更偏向于消极的失败感，而后者则传递出一种积极向上的拼搏精神。
通宝推：zwx650,偶卖糕的,菜根谭,大眼,川普,家园 应该有吧，在棋类游戏中AI战胜人类 有推理的因素吧
家园 什么是【推理能力】 我们再说一句话的时候，每个词都应该定义清楚，才好比较。
很多时候，分歧在定义的时候就已经发生了。或者说，在这个西西河常见的，随着辩论尤其是对方证据的愈见丰富，为了保证自己观点的正确，概念定义会不停的变化。所以我文中的第一句就很重要。
而在这个例子里，如果你翻译成汉语，问一个明朝人，他跟AI一样抓瞎。而对于现在的受过拉丁字母训练的人，他有一些隐含的“知识”（而不是能力）：字母表，字母表常用于排序。所以这个例子不能说明人和机器在推理上有能力差别。
家园 数理逻辑中的推理，毫不神秘 各种同义反复，加上三段论，就是推理的全部内容了。给定某个公理系统，就可以推导出每一条定理，只要时间足够，因为是纯粹的枚举，依句子长度罗列可数集。
实际上大部分人并没有推理能力，至少不经过系统训练是不行的，看大一的数学课就知道。而大一学生还是同龄人中的翘楚呢。
所以，应该说人工智能的推理能力，不低于普通人类。
现在大家对于人工智能要求太高了，只有几年经验积累的人工智能，要求它挑战全人类数千年文明史的成就。人工智能要真做到，人类存在的意义就很小了。
家园 成人与小孩比较发育成熟的主要是脑前叶 prefrontal lobe，这个至少要到二十多岁才能完全发育，主要负责executive function, 即逻辑推理的决策功能。在这之前，大脑其他部分都受原始大脑功能很大影响，比如好恶，情绪，习惯等积累学习产生形成的结果，比其他动物聪明很多（大脑皮层多）包括语言功能，但本质上仍然是动物性的直觉能力上的复杂化高级版。
例外的是乌鸦章鱼等一些非哺乳动物的大脑，具备逻辑推理的能力，但似乎还没有完全解开谜团。
目前的最新一代大模型，训练经费充足的大型版本，基本上都是MoE，就是多个模型集体运行，互相取长补短，所以类似上面那种四个答案的情况不难产生。这也是OpenAI号称superintelligence只需要几年时间的信心来源。
苹果的着眼点是小模型，是可以在手机上运行的基本版，自然其天生的缺陷是不容易解决的。这直接影响了苹果的产品策略，因为苹果不希望凡事都交给后台远程大模型去处理的，除了隐私也存在成本问题。但恐怕小模型无法满足很多商业性需求，玩一玩还是可以的。比如LLM的能力目前是可以玩一定话术的，具备一定的销售人员能力，许多客服，甚至销售行业已经开始使用LLM去做这种卖房卖车的工作，但进入法庭辩论等复杂的使用繁杂逻辑链那种实时市场推广的工作，短期内还做不到。
我感觉大模型的一个重要短板是抽象能力，比如如何能够不只是总结，而是通过提炼，把内容里的关键节点提取出来，理清之间关系，重新建立逻辑链。这个能力虽然人类也不是人人都具备或做的很好，但经过一定教育训练是可以提高的。
目测大模型在提取抽象能力上没有自带的天生能力。如果具备抽象能力，那么数理逻辑这些都可以通过外包到其他系统上轻易解决，我觉得人也是这样的，通过长期逻辑训练，可以不被具体细节或精确度与噪音所干扰（简单的例子比如网上河里常见的数据党挖掘党😂），而能够直接找到逻辑链节点，并根据判断重新建构逻辑链，同时储存起来为以后的抽象提取能力提供判断基础。
实现superintellience，抽象能力是大模型不得不迈过的一个坎。从目前公开的科研上，目前还看不到有什么解决的路径。但估计即使开发出来的话，也是大利器，不会随便向社会公开，而是类似《商君书》那样在统治阶层（ruling class）内部流传😄。
通宝推：潜望镜,Swell,铁手,家园 哺乳类和鸟类大脑根本结构不同 鸟类，以及其所代表的恐龙类大脑是集中处理器，哺乳类是分布式处理器。
人的大脑分为很多区间。各管各的。语言的，逻辑的，图画的等等。某一个区间坏了，不影响其他区间。而有时候一个区间彻底没用了（比如人瞎了），它这个区间还可能被征用干别的。好处自然是可以休息。一个人可以学习几个小时，再运动一下，然后听听音乐，再开一个会。整个人一天也不会感觉很累。坏处就是如果某一项过载，其他的地方宁可闲着也不会帮忙。你考试的时候，只是局部的大脑都要烧干了，其他的地方闲的要死。
鸟类是集中的。核心部分负责处理所有的信息。好处自然是大大的。 可以用非常小的脑容量处理各种信号。所以像乌鸦那种，那么小的脑袋却可以有很高的智力。 当然，如果突然之间遇到各种信号一起进来，会不会造成系统过载甚至当机就不知道了。
章鱼那种属于走了邪路。信号传输速度太慢，本来是个缺陷。但是索性不管了，下放权力到地方，各管各的。 属于超级分布系统。 章鱼算是一个多脑共同体了。假如给章鱼机会一条路进化到黑。也许章鱼是最像AI的一种生物，按照局部脑统计学做决策。
通宝推：川普,家园 人类是通过卷积来实现抽象的 过去多年，自然语言的研究都是通过卷积来做的，但是卷积需要海量的算力，大家一直没有大的进展。
后来的故事大家都知道了，transformer模型抄了近路，绕过了卷积，呵呵，根子就在这里。
我对大语言模型的前景持中性偏灰色的判断，要得到真正的归纳和推理能力，必须回到卷积。当然，一旦实现，超级电脑的智慧将超过全球人类的智力总和，也就没有人类的事了。后续如何，这是哲学问题。人类必须问自己，我是谁？从哪里来，到哪里去。
这件事距离现在，估计就在10年内。
家园 CNN主要还是对图像处理比较管用 不同模型有各自擅长的方向。transformer你就把它当作一个提速器就行了，还有其他语言模型，但速度不够用。大模型的产生基于一个基本发现，就是数据量超级大的时候，模型的性能不但不会overfitting还会提高，所以对算力与效率有很大要求。
我觉得楼下这位nobodyknows兄弟也太执着了。 虽然gpt属于语言类本质也是统计概率，但人类语言不同于自然界图像，而人类语言本身自带的所谓“话术”性，也不能全部归结于是糊弄😄，否则话术就不会那么流行了，随便就能被识破，还玩什么话术。
我感觉语言本身的特点也是造成gpt成功的一个原因，之所以在语言类模型上发生这种“飞跃”现象不是偶然的。围棋不用说，虽然组合可能性堪比宇宙繁星，但棋盘只有那么大。 其他针对自然现象包括图形目标运动物体等的模型，都离不开自然界中的固有规律，抓住了这些规律一通百通。 所谓自然规律用还原论去解释的话，万变不离数学原理，至少生活中常见的用经典物理就足够了，而那是一个目前人工智能技术可以努力实现的方向，事实上李飞飞们也是朝着这个方向发力中的。
但是语言是人类特有的现象，其表征的是人脑的外在形式，其中虽然有逻辑有话术，但其复杂的形式与内涵外延，不是简单一个忽悠可以代替的。 糊弄忽悠不过是其中一种使用语言对逻辑不清或认知茧房短板的战术现象，远远不能代表人类语言的博大精深与人类智能的无底深渊。但是gtp在人类语言上发掘到了什么深度，这才是一个有意思的话题，甚至gtp是不是唯一路径，或者与其他方法结合提高gpt的能力，目前这方面的探索很多。
好处是gpt已经提供了一个对人类语言的内在coherence高度自洽的能力，这确实是一个突破，也是人类有史以来从来没有奢望过非人智能包括计算机可能解决的。这本身就是对人类自诩为傲的人类智能的一个挑战，对所谓的天选之说可谓有毁天灭地的心理打击😂。
当然目前的gpt水平距离AGI还差的很远，不过最低门槛已经越过了，这一点是无疑的，也是令人震惊的，这次绝不是什么炒作生产力甚至美元金融的战略欺诈那种笑话，每一个头脑正常的人稍微对AI与认知有所涉猎的人都不会等闲视之。
当然OpenAI能否依样画瓢，还是下一个突破来自何方，那是更有意思的期待。 同时，这个方向与自动驾驶没多大关系，不理解为什么总有人把AI全当作一个篮子，华为小米是华为小米，与这个话题真的无关😂。
家园 你看看AI的语言类大模型现在用在什么领域不就知道了？语言类！ AI的语言类大模型看似超出了聊天机器人的范畴，但它的本质上依然是聊天机器人，而不是问答机器人。
划重点——胡编乱造一流，所以现在采用在各种AI绘画等人类不敏感领域和文科领域，各种纯理科领域是一点用处也没有；对于取代码农，依然只能用在特别成熟的前端领域，后端领域作用不大。
--
聊天机器人就是话术机器人，语言类大模型因为融合了大量的资料，让你可以自己从这些资料中获得想要的答案，并不代表模型能够理解问题或得出答案。
即使你不懂机器学习，你也可以从语言类大模型的模式中获得上述信息，语言类大模型的输入、输出、训练实例是“问题+答案”。注意，所有的语言类大模型都不负责理解问题，也不负责生成答案，真正学习的是问题和答案之间的统计关系，也就是共现性，而对于自然语言领域，最常见的共现性就是各种话术，例如百度体、小编也想知道……各种零信息量的话术，才是语言类大模型最最擅长的领域。
使用的时候，是根据问题，生成答案，好坏的标准是能否糊弄住用户，注意是糊弄——如果是一个网上已有问题和正确回答，它就给你复述一遍；如果是一个相对陌生的问题，它就利用话术根据相对熟悉的问题给你编一个。
前者是搜索，后者是糊弄，但大多数人看不懂其中的区别，对于糊弄的警觉性也不高。事实上，大多数糊弄的话术，只要不涉及你专业领域，你就拆穿不了。更何况，大多数用户根本没有所谓的“专业领域”，他们的提出的问题大多数时候只会触发前者，也就是“搜索”。
本帖一共被 1 帖 引用 (帖内工具实现)