主题：对ChatGPT的几点思考 -- 唐家山
家园 这点我有点疑惑 ChatGPT再厉害，也只能去吸取虚拟数字中的数字信号，是无法与现实世界做真实交互的。它可以听一万个专家告诉他做A就会得到B，但是不从真实世界中做实验，就无法从最底层确认这个说法究竟是真是假。绝知此事要躬行，才能有判断力的根基。
假如有人协助在真实世界做实验，将实验结果喂给它，那又怎么样？
甚至有没有可能进化到某一程度，它自己做实验呢？
这样是不是就很可怕了？
通宝推：唐家山,- 复 这点我有点疑惑
家园 AI 会不会问问题？ 人类的知识都是在实践中提出问题，再试图自己解答获得的。目前为止好像还没看到 AI 会提问，再自己找答案，一般都是被动的回答问题。但这也不妨碍其做出一些重要发现，比如一个问题在某个领域还没有解决办法，但它可能被转化到其它领域的某个已被解决的问题，数学中就有很多类似的情形。这样利用AI的海量存储知识能力，有可能解决一些交叉领域的问题。
通宝推：唐家山,家园 人类有好奇心但AI没有 很多（其实是绝大多数）动物也没有。
好奇心也是人类的情感之一，所以AI目前是没有的。而有实验可以证明很小的婴儿就表现出了好奇心。
河是之前有一个帖子提到苹果砸到AI头上会不会也能“发现”万有引力定律。我认为不会，因为AI没有好奇心，没有动力问“为什么”。
家园 你这个观察令我联想起这句话 ”会说的不如会听的“。
可以基本肯定GBT对公众开放之后的对话一定会被用于提高GBT，至于具体如何做外人无从知晓，但目测不会是简单的如微软小冰那样被用户”带节奏“完全崩溃那么容易。 这点GBT似乎有过教训，一个新闻中引起我注意的这句话，提到GBT开放前的最大重点是不能几天之内被玩残下线，重蹈许多对话AI的覆辙，现在看GBT这一点还是很成功的，始终保持了政治正确的对话纲领，虽然也有prompt jailbreak的运动，但目前看没有闹出大气候。
不过显然如懒厨所说，真正的互动是互相提问题，而不是审问形式的单方向问答。 这也许是一个未来LLM领域竞争的突破口。目前世界大环境有太多的公众环境政治禁忌，因此这方面门槛自然被拉高，但是谁能早一步跨过谁就可能后来者居上。
家园 这个我就不知道了 但是我知道，在工程实践里很常见，只要提出了正确的问题，问题就解决了一大半。
所以，AI会不会提问题，这个是个好问题！😄😄😄
家园 你引的这一篇非常好 讲清楚了不少东西。特别是这一段：
而GPT-3涌现出的in-context learning能力（现在其他大模型也有，比如Google的PaLM，同时不确定GPT-3是第一个涌现的，希望得到指正）和上述范式有本质不同，“过往的fine-tuning”需要更改模型参数，也就是说，换了个新模型。但是in-context learning，模型并没有变化，却能在新数据上表现更好。研究甚至发现，你给大模型一堆范例，只要对应关系整体是对的，这时候改变具体对应的顺序，大模型仍然能输出正确的结果。这真的很神奇。再重新强调一遍，模型没有变化，没有被重新训练，但是能“理解”新数据，并且表现更好！
是我思考的盲区，我需要再想一想其中的道理。
家园 可以再想 但把它当成游戏就好。
我先前参与讨论的帖子一开头就说复杂的真实世界，你能能理解为何引入老庄哲学的辩证引喻？ signifier and signified 能指与所指
更多阅读：
https://link.springer.com/article/10.1007/BF02954535
https://www.worldscientific.com/doi/abs/10.1142/S2717554522300018
关键词(Tags): #metaphor，#computability，
本帖一共被 1 帖 引用 (帖内工具实现)
家园 一句话就能骗AI帮你传谣 [URL=https://user.guancha.cn/main/content?id=975273]
一句话就能骗AI帮你传谣，也不知道人类能不能顶住[/URL]
这就是聊天狗屁通现在的真实水平。辅助不足，造假有余。
家园 目前看ChatGPT4存在明显漏洞 网上已经兴起一个jailbreak运动，使用各种办法让chatGPT说胡话，或说政治不正确的“实话” 😁
昨天看到一篇分析，与我上贴对ChatGPT的分析大致结论相同，认为实际上没有那么高“智能”，但是语言界面的华丽流畅让人产生的错觉。比如他举个例子让GBT把三个不同来源的数字凑起来成为一个prime number，结果给了个错误答案。 可以看到的是GBT没有规划，反证，前面三个数字收集部分都按照要求去做，但是结果是不是prime number就不管了 😄 而且屡试不爽。
但这并不是说GBT在故意“造谣”，而是与GBT的内部工作方式有关。 不过可以很确定GBT没有自我生成新的认知的能力，具备的不过是在已知的知识与知识结构里去尽最大努力生成符合提问的答案，哪怕提问包含了复杂的结构，只要是GBT训练材料经历过的都可以理解。 但人的实时沟通有时没有论文那样一步步娓娓道来，往往是直接给出结论，但是人之间经常可以不用言传而可以意会导致结论的中间步骤，但是GBT训练中遇到这种问题因为没有脑补能力，所以不知道自己误入歧途而得出很明显的错误结论。
虽然人与人沟通中因为认知与知识面差距太大，脑补出现离谱导致结论差之千里的现象也存在，但是对于GBT这是一个很通常的现象。 目前不知道下一个GBT版本会不会有改进。
还是那句话，GBT的主要威胁目标是搜索引擎，解决了搜索引擎如何用的问题，那些SEO，key words都可以休矣。 同时带来的应用面革命主要是人类日常生活中绝大部分浅层次solution，比如每天的工作安排，日常遇到的一些琐碎但不能忽略的杂事，行程安排，行业法规等不需要太多深度斟酌但需要很多随机应变与广大知识面覆盖的事情。 但是宏大的问题，比如股市的升降，利率的高低，俄乌战争走向，甚至中国是不是个社会主义这些“哲学”问题，那肯定是强人所难了。 在可预见的未来，键政的圈子里肯定不用担心GBT的参与。 口水贴可以，但是像我这个的帖子的样子，完全不用担心GBT有任何机会参与 😁，就是参与也一眼就可以识别。
通宝推：铁手,唐家山,孟词宗,家园 这是属于网络安全方面的问题了 网络安全问题不仅仅是计算机网络，而且跟人类社会相关，从技术角度是没法完全解决的。只能是技术和管理相结合，看看有没有好的解决办法。
家园 AI真实智能随想 看楼主文摘Hinton问答又想到一点
问：有人说这些大型模型只是自动补全，这种说法对吗？答：从某种程度上来说，这些模型确实是自动补全。我们知道这些大型语言模型只是预测下一个词。这并不简单，但确实如此。它们只是预测下一个词，所以它们只是自动补全。但是，问问自己一个问题：要准确预测下一个词，你需要了解到目前为止所说的内容。基本上，你必须理解已经说过的话来预测下一个词。所以你也是自动补全，只不过与它们一样。你可以预测下一个词，虽然可能不如ChatGPT那么准确，但为了做到这一点，你必须理解句子。
让我举一个关于翻译的例子。这是一个非常具有说服力的例子。假设我要把这句话翻译成法语：“奖杯太大了，它放不进行李箱。”当我说这句话时，你会认为“它”指的是奖杯。在法语中，奖杯有特定的性别，所以你知道该用什么代词。但如果我说：“奖杯放不进行李箱，因为它太小了。”现在你认为“它”指的是行李箱，对吧？在法语中，行李箱的性别也不同。所以为了把这句话翻译成法语，你必须知道，当它放不进去是因为太大时，是奖杯太大；而当它放不进去是因为太小时，是行李箱太小。这意味着你必须了解空间关系和容纳等概念。
为了进行机器翻译或预测那个代词，你必须理解所说的内容。仅仅把它当作一串单词是不够的。
Hinton这段乍一看似乎不很理解，因为我们说话时下一个词都是很自然就蹦出来的，似乎大脑没有任何他所描述的这些过程。 但忽然意识到那是母语，有过学习外语经验的人都有过一开始造句的过程，尤其是说外语一开始结结巴巴一个词一个词的挖空心思搜罗，这样一想，他的这个描述就忽然发现其实很生动，经历过那个阶段的人都会有体会，自己妥妥的就是一个GPT造句机 😄 母语当然也有这个过程，只不过人那时年幼，这个过程第一发生比成年学习语言更快，第二对整个过程也没有什么记忆了。
这里想到的是，与人一样，随着对语言的熟练掌握，用词造句快速准确不假思索，从旁观者看去，就似乎人开始聪明起来，反应快，思维敏捷，相反如果语言结结巴巴，IQ再高也显得人笨笨的，像听个小孩子说话一样“幼稚”。 而这不正是我们对GBT这个AI不断升级换代的感觉么，其实不是AI更“智能“了，只是人通过语言理解智能的一种错觉。
当然语言上流利带来的好处是GBT可以更多的通过沟通获取知识，但问题是GBT自己通过训练接触的大量知识获取过程与人不同，GBT不依赖与人沟通获得知识，但是造句生成答案这部分会通过与人沟通提高，比如GBT的每次答案都有个点赞选项，类似在这里如果我的发帖指向是为了得花，逐渐的发帖就会被”训练“出符合多数人的口味，是同样道理。
Hinton的问答中多次谈及到比较人类大脑与AI的区别，人类使用语言沟通的一个主要原因是人类大脑的不可复制性，所以实际上每一个的大脑都会逐渐训练成不完全一样的我们叫做”认知“的东西，而语言不过是在一定程度上模拟了这个认知，可以让不同大脑在一定程度沟通，但肯定远远做不到克隆的地步，而AI之间则可以，而且也不需使用语言，只要把模型与权重克隆就可以了。
人类智能的这个特点当然有受限于个体大脑自身物理与能耗的原因，所以语言沟通既是学习的手段，也是提高个体大脑智能的一个重要过程，好处是这是一个个体大脑之间智能竞争的自然优胜劣汰机制，靠量而不是靠质取胜，最大限度保证了”明智“的个体大脑胜出。但付出的代价则是不同大脑个体的认知差别与权重彼此不匹配竞争中引起各种争论甚至冲突。GBT则不需要这样，在庞大的计算量与能量的加持下，AI可以凭一己之力整合人类有史以来所有知识，形成一套权重，具备了自己的认知与三观，所以AI没有互相冲突问题。但当人类面对AI与人类个体大脑谁说的对问题时，自知大脑带宽与能耗无法与AI相比，那么最后定于AI一尊的可能性是很大的。这样做唯一的问题是，如果AI不正确时，没有了对手竞争机制，人类有这个勇气把命运交给AI么，毕竟人类的进化过程是从优胜劣汰自然选择一路走来的。
最后一点是，因为GBT的知识与所谓的”推理“过程都是建立在语言这个媒介上（话说不这样人类也看不懂其黑箱作业这类深度学习AI经典弊端），那么GBT会不会是个语言上的巨人，却是行动上矮子呢。这里的行动实际上是判断与做决定的能力，而这些能力在人类的身上楼主另一篇文摘提到，由于个体大脑的自然限制不能做到面面俱到，所以进化出脑补的重要能力，这个脑补的能力给今天带来相对论带来卫星上天。 而GBT不仅没有也不需要这个脑补的能力，GBT的知识总量已经面面俱到，理论上给出的答案应该就是穷尽已知的知识海洋里那个”最佳“答案，不仅理论上实际上应该也比绝大多数人类能够想到的答案更”完美“，但是不会脑补的GBT无法去产生新的知识。而做不到这一步，就不可能成为AGI，仍然会被人类大脑鄙视下去。
胡言乱语，博君一笑 😁
通宝推：道可道,唐家山,家园 ChatGPT是否认定中国是社会主义国家？ 我问：世界上当前最成功的社会主义国家是哪个国家？AI敷衍了事，仅告诉我世界上公认的有五个社会主义国家。至于谁是最成功的，居然告诉我“无法简单地说哪一个是最成功的”。
评:
1，智能机器人也跟我打太极拳，有意思吗？
2，这家伙刚出世不久就学会圆滑了？
3，这回答可以打满分，真人不一定有这个水平。
4，背后的逻辑表示西方并不认可中国的成功，当技术有了立场，就没有意义了。
既然ChatGPT认定中国属于社会主义国家了——我还猜这个地方它会咯噔一下——那谁是“最成功的”还有任何疑问吗？就不能客观地实事求是地说话？不秀一下“高情商”会死么？
我看吧，王后的魔镜它最大的价值就在于不说谎，说谁漂亮谁就是真的漂亮，要是比情商的话，赵高、易牙、竖刁、开方、李莲英这些人不比它舔得舒服？
通宝推：zwx650,