主题：对ChatGPT的几点思考 -- 唐家山

如果语言模型（河里有过不少LLM的相关文章）本质就是搜索下一个词，当这个范围扩大到很大，比如下一百个词的搜索都在每一个词后续的搜索范围内，当然这个数量级是巨量，语言模型实际能做到的只是在给定问题内的最优解释与方案。当这个搜索不仅对单一简单问题，天量计算量下，它做到可能只是拼凑每个分化问题的最优解释与方案。 这可能是为什么与chatGPT打交道prompt的技术很关键，因为问题的提问方式直接影响了语言模型对复杂问题的细分，但本质仍然是问题中每个词出现或不同组合甚至组合的组合的概率，所谓的“理解”，最后影响到模型根据这些组合的概率寻找“答案”的然后拼凑起来的结果。

能做到现在这样水平，说明这个模型对语言的处理能力已经基本上到了人类大脑对语言的处理水平，所以从人的角度感觉，一个完整问题输入之后的结果与换成一个人给出的结果不差，这样的答案也包括所有语言模型训练过的大学本科物理以语言方式表现的知识，比如教科书与文献。但这是不是推理能力还有待商榷。

本质上这仍然是知识对应的搜索与叠加拼凑，但因为语言本身在描述事物上的自带逻辑，尤其是比较正规的知识文章，所以表现的结果也就很有逻辑性，就是说整体上chatGPT学习训练而得到的知识根据问题去叠加组合的话，本身的自洽性很强。而且这个知识范围很庞大，远远超过一般人一生包括高等教育所能收集的总量，因此从普通人角度看不出毛病来。

但是两个角度可以帮助判断这个涌现的“推理”能力是不是真的存在，一是解决实际问题，而且是复杂的历史上没出现过也就没有正式答案的问题。 这可以说的独创性，但也可以理解为非传统非经典教科书式的知识的排列组合叠加，这个能力对人类来说是很普通的，网上俗称“脑补”，“开脑洞”，当然脑补结果的质量则受限于开脑洞人的自身知识总量与自身的对知识的排列组合能力，但人是可以经过教育具备基本逻辑推理能力的，因此这个排列组合知识的过程就包括了排除法，反推，归纳，联想等能力。 但是我不认为chatGPT具备这些能力，语言模型做到的其实是根据已知的知识与现成答案的已知的排列组合去提高答案，当然这些排列组合也是知识的组成部分。 但超出这个知识范围的去依赖接近或类似等思考能力产生全新的知识排列组合，因为没有存在过各种文献中所以chatGTP应该是做不到的。

结论就是这个“推理”错觉其实是因为chatGPT语言输出的知识的复杂度与对知识点的合理排序排列组合，本质上还是语言，只不过人类的知识都是以语言方式存在所以自带了各种人类知识的光环。那么当OpenAI推出之后市场的焦点都在传统搜索业巨头谷歌身上，其实是没错的，可以看做是一个搜索的高级辅助加速器，虽然这个加速器的帮助是量变带来质变级别的，意义很大，但本质上仍然是更好的搜索。

第二点在第一点的前提下，反推一下。比如大语言模型训练收集的语言知识来源会不会起到很关键作用。 当然这是脑补，因为目前没人有能力去做这个试验。 这里如前所说，chatGPT的所谓”知识“依然不过是语言本身词汇之间的关系或概率，被这个语言模型学习到极致之后给人带来的”智慧“错觉。 那么这个语言模型的答案质量很大程度上是依赖与其训练所收集的语言素材本身的质量与逻辑，或者说是其训练所用语言的智慧的原因。 那么使用不逻辑的”推理“，指鹿为马，张冠李戴，前后矛盾，不是蠢就是坏，那么这个语言模型的运行效果会不会就产生类似的答案，给人一种明显不靠谱的感觉呢？ 我估计一定会，实际上即使目前的chatGPT仍然存在这样问题，因为训练素材的质量不可能做到百分百。 版本4对3.5已经改进了很多，但肯定不是因为微调的某种”推理“能力的结果，而只能是修改了对知识语言的排列组合叠加的模型权重，加入某些歧视性的边界条件权重，至于这些是什么就没人知道了，但貌似结果有提高，甚至提供”脑洞“版与”严谨“版，实际上bing目前就是这样。

总结的说，这个”推理“能力其实是语言知识来源自带的，语言知识来源的质量的控制才是其答案逻辑性强不强的真正因素，所以至少一个核心竞争力不但是模型算法本身，同时也包括对训练语言来源的质管技术。 真正到了人都分不清的地步，这个质管也就无法保证了，因此chatGPT表现出的”三观“，”屁股“就很正常了，因为语言来源质管的源头仍然是人。这也可以从广义导航当作一个知识茧房效应去理解。

但同时，这个模型本身解决不了汽车自动驾驶中出现的简单逻辑问题，除非可以把问题语言化，通过人类知识的传输方式去自动驾驶，比如每次看到前面一个画面，都去问一下chatGPT，类似”我目前在高速路上，车速xxx，前方这个画面我判断是个STOP sign，请回答确认”，这样可能可以做到帮助AI实现一些在人类知识范畴内很普通的常识答案。

至于chatGPT本身，可能是对搜索应用带来革命性的一个里程碑，甚至堪比互联网本身的出现对知识传播的作用，但仍然还是一个搜索引擎的性质，至于算法对NLP甚至AI行业的贡献因为深藏不露，所以也就无法了解了，但可以有把握的说这远远到不了AGI的程度，不需要像马斯克那样贩卖焦虑。