主题:【原创】生成式 AI 有没有推理能力? -- 孟词宗
prefrontal lobe,这个至少要到二十多岁才能完全发育,主要负责executive function, 即逻辑推理的决策功能。在这之前,大脑其他部分都受原始大脑功能很大影响,比如好恶,情绪,习惯等积累学习产生形成的结果,比其他动物聪明很多(大脑皮层多)包括语言功能,但本质上仍然是动物性的直觉能力上的复杂化高级版。
例外的是乌鸦章鱼等一些非哺乳动物的大脑,具备逻辑推理的能力,但似乎还没有完全解开谜团。
目前的最新一代大模型,训练经费充足的大型版本,基本上都是MoE,就是多个模型集体运行,互相取长补短,所以类似上面那种四个答案的情况不难产生。这也是OpenAI号称superintelligence只需要几年时间的信心来源。
苹果的着眼点是小模型,是可以在手机上运行的基本版,自然其天生的缺陷是不容易解决的。这直接影响了苹果的产品策略,因为苹果不希望凡事都交给后台远程大模型去处理的,除了隐私也存在成本问题。但恐怕小模型无法满足很多商业性需求,玩一玩还是可以的。比如LLM的能力目前是可以玩一定话术的,具备一定的销售人员能力,许多客服,甚至销售行业已经开始使用LLM去做这种卖房卖车的工作,但进入法庭辩论等复杂的使用繁杂逻辑链那种实时市场推广的工作,短期内还做不到。
我感觉大模型的一个重要短板是抽象能力,比如如何能够不只是总结,而是通过提炼,把内容里的关键节点提取出来,理清之间关系,重新建立逻辑链。这个能力虽然人类也不是人人都具备或做的很好,但经过一定教育训练是可以提高的。
目测大模型在提取抽象能力上没有自带的天生能力。如果具备抽象能力,那么数理逻辑这些都可以通过外包到其他系统上轻易解决,我觉得人也是这样的,通过长期逻辑训练,可以不被具体细节或精确度与噪音所干扰(简单的例子比如网上河里常见的数据党挖掘党😂),而能够直接找到逻辑链节点,并根据判断重新建构逻辑链,同时储存起来为以后的抽象提取能力提供判断基础。
实现superintellience,抽象能力是大模型不得不迈过的一个坎。从目前公开的科研上,目前还看不到有什么解决的路径。但估计即使开发出来的话,也是大利器,不会随便向社会公开,而是类似《商君书》那样在统治阶层(ruling class)内部流传😄。
- 相关回复 上下关系8
🙂统计是一方面吧,可以说占相当大一部分因素 1 偶卖糕的 字227 2024-10-23 09:09:42
🙂什么是【推理能力】 5 龟虽寿 字661 2024-10-19 15:30:27
🙂数理逻辑中的推理,毫不神秘 5 潜望镜 字669 2024-10-19 23:27:35
🙂成人与小孩比较发育成熟的主要是脑前叶
🙂哺乳类和鸟类大脑根本结构不同 7 Swell 字1347 2024-10-22 00:42:31
🙂人类是通过卷积来实现抽象的 7 陈王奋起 字643 2024-10-21 10:05:21
🙂CNN主要还是对图像处理比较管用 川普 字2800 2024-11-10 13:49:41
🙂你看看AI的语言类大模型现在用在什么领域不就知道了?语言类! 5 nobodyknowsI 字1792 2024-10-19 02:35:25