主题：对ChatGPT的几点思考 -- 唐家山

最核心的还是，给出训练集和训练集的答案，然后不停的调整和训练，使得AI的输出和答案尽量一致。里面还有很多细节，但总体就是这样，可以认为是一种多变量多次函数的拟合。这样的方法，通常会带来过拟合，就是训练集内的样本，结果很好，而训练集外的样本，则非常差。现在这样的方法神奇之处在于，训练集外的样本，也非常不错。这个能力是怎么回事，现在还没能解释得清楚，这可能是仿造生物的神经网络带来的好处，毕竟是几千万年进化而筛选出来的信息基础结构。

那么AI有没有创造性呢？可以说有，也可以说没有。比如你喂给他梵高的画，莫奈的画，他可以创造出介于两者之间的，我们没见过的风格。这也可以认为是创造性吧。但是你希望它能无中生有，生成一幅唐伯虎风格的画，目前不可能，未来看起来也不太可能。所以也可以认为没有创造性。至于“顿悟”那样的创造性，从原理可以看出，是不可能具备的。

人类的思考，按目前来看，也可以认为是一堆神经元网络的互相刺激，最后得到一个输出，到底和计算机的模拟人工神经网络，有什么样的区别？从数学角度来说，本质上并没有什么区别。但是我们真的了解我们自己的思考过程吗？我们是否也是样本集+答案训练的结果？这个好像目前也不知道。