淘客熙熙

主题:对ChatGPT的几点思考 -- 唐家山

共:💬175 🌺1562 🌵7
全看树展主题 · 分页首页 上页
/ 12
下页 末页
家园 本猫给一个解释

纯属胡说,大家也就胡听。

美国今天的困境,并不是这一二十年做错了什么,远因大概至少要追溯到六七十年前。

有些人说今天的各种奇谈怪论的源头追到托洛斯基那会,有没有道理呢?确实有,但又不完全。

七八十年前,美国登顶,一时风光无二,所谓另外一极苏联,不过是大家往其脸上贴金(也许是英法想转移矛盾)。斯大林知道自己几斤几两,刚刚损失了两千多万人口,几乎所有的年轻人都打光了(当然当时美帝的敌人也不是苏联)。

但凡事盛极则衰,美帝本身是个移民国家,天生就得不断扩张。二战加上战后二十年的去殖民化,确实让美国的内部矛盾大大缓解,但地球就这么大,下面怎么走?美国无处可去 - 欧洲更惨,要去殖民化,也就是收缩了。

也许是这种现实+心理暗示,七十年代后,大约也是去殖民化搞得七七八八后,西方开始搞环境保护,罗马俱乐部,增长的极限之类的东西(当然也有石油危机的原因)。这些东西,其实是现代叠buff流的直接始祖。我们也毫不惊奇地发现,这个时候欧洲搞这个比美帝上心,毕竟美帝只是扩张遇到瓶颈,而欧洲已经确确实实地收缩了。

到了80年代,问题终于开始表面化,比如说各种大学排名,后来有研究院排名,医院排名,甚至高中排名,小学也得打分。在本猫看来,这其实就是迎合真.中产阶级的焦虑(也就是收入至少前1%的家庭)。要知道在五六十甚至七八十年代,美国现在的所谓名校,要进去并不难,录取率都在百分之二三十甚至五六十七八十以上,本猫甚至怀疑当时的大多数人有没有名校这个概念。美国战后有个大法官,干脆就是夜校出身,今天可以想象吗?举个例子,当时的哥伦比亚大学,其实并不比CUNY强多少(要是比诺贝尔奖的话还比不过)。本猫上学的时候,不止一个美国老头老太太对我称赞CUNY(本猫那个时候已经没人去了)。这种排名浪潮,其实对于中国人来说并不陌生,这不就是内卷吗?

到了21世纪后,连排名这门生意都开始内卷了,更不要说大学了 - 没有哪个大学校长敢不重视排名,就算哈佛,如果不迎合排名把各项工作针对排名优化,明年掉个十几二十名,你觉得校长还能干下去吗?如果大学都内卷,那学生能不卷吗?如果今天哈佛的录取率是百分之四十而不是百分之四,那会有人那么推崇各种buff,甚至叠buff从pre-K做起吗?是不是以后妇产科也要排名,看哪个产房出来的ivy grad最多?

举个例子,现在炒的最凶的LGBT+体育比赛,有人真的相信这是LGBT问题吗?如果体育比赛不和大学入学奖学金挂钩,美国会有那么多家长关心吗?LGBT取代体育,是新Buff取代老Buff,生死存亡的问题,毕竟练体育可不比辩经,一天一个理,今天练游泳明天不行就改研究量子力学算了。高华们(其实挺讽刺的,真正高的华,有几个或者几十个小目标的,可能还不用关心这些事)口中的素质教育,是不是一下子就不香了?

回到开头,这些卷和托洛斯基有什么关系呢?托派最能辩经,最能发明buff,所以最能迎合各种叠buff的需要,仅此而已。入学导师也是为了吃饭,吃得可能还远不如你我,有改善生活的需要,仅此而已。

通宝推:梓童,大胖子,风中乱发,风中乱发,风中乱发,青青的蓝,陈王奋起,潜望镜,心有戚戚,
家园 这不就是白alpha男做ppt,搞领导船吗

只玩soft skill然后把自己玩死了。

家园 哈哈,来河里就是能学到东西

一早起来就看到两个好帖子,猫兄的解释很有意思,看到 @骨头龙 这个【原创】财水 又给了我不同的启示。

结合起来看,很有可能的解释就是美国的金融政策不停地在全球吸血,导致了各种看起来很奇怪的事情,例如,军火集团需要持续在世界各地发动战争,否则影响美元的地位,明面上看是亏本,不打仗会更亏。又例如,这种金融政策,导致金融业的畸形发达,在市场需求的驱动下,整个教育制度也会向这方面倾斜,又表现为筛选制度很奇葩。

家园 【讨论】归根结底

是因为人都想让自己的基因占据更多更优质的资源,流传下去,所以设置对自己暂时有利的规则。不同的文化最后都要内卷,要解决这个问题,最终可能还是要依赖生产力的发展和技术的进步。比如人造子宫的出现就使得大规模社会化抚养成为可能,每个人都不知道谁是自己的孩子,每个孩子也不知道谁是自己的父母,每个人只有自己的社会责任,伦理道德重新定义。到那个时候可能做到人尽其才,个人得以充分的发展。

通宝推:潜望镜,
家园 不是因为这些人厉害,而是美国国力强盛

当初随便一个香港出租司机都能跑大陆包二奶,现在?跟个人能力魅力无关。

家园 这个MRI还真看不到

常见的两种MRI。结构像是看质子(水)密度,功能像看血氧变化。本质上MRI是看磁性变化。通过选择不同的磁序列,可以针对不同的粒子。因为不同脑组织含水量不同,所以看结构可以通过看质子(水)密度。不过这个精度远不到神经元的水平。而功能像(进行不同任务的时候的脑活动差别)精度差得更远。而且不仅仅是个数字大小问题,有原理上硬伤。因为实际看的是血红蛋白而不是神经细胞。这里面依赖的是一个弯弯绕逻辑:一处脑组织活动增强会导致血氧消耗变化,那么带氧和不带氧的血红蛋白(两者磁性有差别)比例会变化,因此其磁场表现会发生变化,于是可以MRI被看到。但是这种关系只是大多数情况成立,物理学上严格讲既不充分也不必要。虽然在MRI方法学上有发展,但是基本问题没有根本性的解决。

现在一个方向是用大脑内的微电极。比如某些病人会用到颅内电极,在这种临床需要的电极内可以使用超细纤维记录单个神经元的活动。但是哪里可以下电极是临床需求决定的,局限性很大。马斯克试图在这方面搞伦理突破,弄个永久性植入,但被FDA否决多次了。

通宝推:工业党B站书记,唐家山,
家园 有点像是东汉~魏晋南北朝的士族化

必须有大佬带进那个名士圈子,才有话语权

美国战后有个大法官,干脆就是夜校出身,今天可以想象吗?

家园 问题的答案,有没有可能,只是“时势造英雄”?

“明帝国早期,确实也和一大一样,随便抓一个就是将才,再选一下就是帅才,可到了明帝国晚期,大家发现,虽然人口地域都扩张了一两个数量级,可全国不要说淮西二十四将里顶尖的徐达,就是汤和这样的也找不到啊”

麦克阿瑟真比蒋介石强吗?现在这些人放回二战的美国,说不定表现不比麦克阿瑟弱呢?

家园 本猫没有否认时势啊

明朝晚期,时势有没有?有。那有徐达常遇春李善长吗?连这个都没有,更不要说朱元璋了。吃鸡大赛出来的李自成,水平低得可怕,连前明的缓称王都没学会。

同样的,全国其它地方四万万人,大家都在一个时势里,出来最伟大的人物是谁呢?总理?凯申总裁?这两位其实水平应该差不多。这时候你再看张国焘,是不是超级牛人?可中国局势要在差距如此悬殊的情况下要翻盘,那必须得是教员,而教员就正好也在那十几个人里面。

有时候世界不能仅仅用时势造英雄解释,真的深究,恐怕还要有些唯心主义。

家园 本猫和一个老中家长说

Too much leadership, not enough how to run the ship

通宝推:大胖子,
家园 冒昧回复

山猫兄说的培养,似乎是社会的管理者如何筛选,如何竞争而出,更宏观。

宝兄说的培养,似乎谈的是教育,是说孩子作为个体,如何在私校,在同等的阶层,被发掘出特长,另外家庭如何提供资源和环境。

家园 盲猜一下

另外那个女孩是PLC的?

家园 终于在知乎上翻到一篇比较全面有深度还可以看懂的

有点长,但干货满满的。

ChatGPT 有多高的技术壁垒?国内外除了 OpenAI 还有谁可以做到类似程度?

https://www.zhihu.com/question/581806122/answer/2948403321

把作者最后两段抄一下,不愿全读的可以直接看这里,不过其中名词与术语文中都有详细说明,最好通读一遍。

5 人类和ChatGPT的本质区别是什么?因为我们的脑科学和神经科学非常不发达,这里只能从哲学寻求解答。BTW,除非脑科学产生重大的范式突破,不然neurallink这种脑机接口,是不可能实现大家想像中的那些功能的。但我们不是哲学专家,这里就仅供参考。

判断力

ChatGPT再厉害,也只能去吸取虚拟数字中的数字信号,是无法与现实世界做真实交互的。它可以听一万个专家告诉他做A就会得到B,但是不从真实世界中做实验,就无法从最底层确认这个说法究竟是真是假。绝知此事要躬行,才能有判断力的根基。

“Eureka”

牛顿看到苹果落地,可以发现万有引力,从而预测星星的运动。哥白尼发现地球是围绕太阳转的,而在他之前全地球人天天看着日出日落,都认为太阳是绕着地球转的。如果那个时候有一个ChatGPT,一定非常笃定太阳绕着地球转。那个ChatGPT也许能从苹果如何落地推测出桃子如何落地,但是大概率无法推测出星星的运动方式。

当然,能发现万有引力的人也是少数。更有意义的是去识别这种思维能力到底是什么,以及在我们日常生活中如何体现。阿基米德在泡澡时候发现浮力定律的时候喊了“Eureka”,大概可以形容这种“灵感并发、灵光一现”的瞬间。我们这里把这个瞬间稍稍具体地归结为“链接了数个相关的点,并且发现了第三个点”的过程。

增量知识

如果把现有知识归纳总结应用, 那必然PK不过ChatGPT。只有创造互联网上不存在的新知识,才可能是ChatGPT做不到的。注意条件指向,互联网上不存在的新知识,也未必不能从存量知识里总结出来,但是能从存量知识里总结出来的,一定不是人类的优势。

理解人

人类的文本知识里一定存在很多人性的理解,但是也一定有一些人性或者偏好,是没有被记录总结在文字里的。如果我们结合1和3,就会发现,去真实世界理解人,而不是去通过调研、问卷、网络资料理解人;去带来增量的理解,而不是去人云亦云地重复套路。才是人类相对于ChatGPT的优势。

6 总结

ChatGPT的范式突破是“乌鸦”能力。恕我能力所限,无法更简单地无损表达这一能力的本质了。如果允许有损,我会用“理解”能力来概括它最重要的一面。作为对比,过往ML的能力模式是“鹦鹉”能力,所做的是寻找“对应关系”ChatGPT的意义是对“调用算力、总结信息”最究极的手段,预测会在两年内有能力辅助人类取代大多数可被定义为“搬砖”类型的工作ChatGPT的“乌鸦”能力是涌现的,工程难度是极高的。我们应该抛弃各种噪音,聚焦关注Google是否能复现这一能力,从而判定这一能力到底有多难。而现在,建议我们的默认预测是这一能力很难复现,需要别人来用强力证据说服我们他们能复现我们对ChatGPT的使用应该观望OpenAI给我们提供的调用方式,在当下,我们应该聚焦用好ChatGPT,并且做好ChatGPT能力与我们所需要解决问题的的中间层。

通宝推:广宽,唐家山,chuchong,
家园 你引的这一篇非常好

讲清楚了不少东西。特别是这一段:

而GPT-3涌现出的in-context learning能力(现在其他大模型也有,比如Google的PaLM,同时不确定GPT-3是第一个涌现的,希望得到指正)和上述范式有本质不同,“过往的fine-tuning”需要更改模型参数,也就是说,换了个新模型。但是in-context learning,模型并没有变化,却能在新数据上表现更好。研究甚至发现,你给大模型一堆范例,只要对应关系整体是对的,这时候改变具体对应的顺序,大模型仍然能输出正确的结果。这真的很神奇。再重新强调一遍,模型没有变化,没有被重新训练,但是能“理解”新数据,并且表现更好!

是我思考的盲区,我需要再想一想其中的道理。

家园 野蛮生长和学校培养,这是俩完全不同的路子

野蛮生长是靠实践淘汰不合适的人,学校培养是靠考试淘汰不合适的人

能过了考试关的,也未必能过实践关。这就是为啥明末官场上出不来徐达汤和,一帮人都读书读太多被禁锢住了,又不能像徐达这种泥腿子出身,能和士兵打成一片

你要说为啥李自成张献忠也不能成事,这个就有点随机概率了,也不能都往唯心那边说吧

从咱国历史上来说,打天下的一般都是底层出身,野蛮生长起来的,就是习大大,也算是在梁家河当过村支书;后来的那就是生于深宫之中长于妇人之手,好比现在的团派三门干部,既不知道自己斤两,也不知道底层的情况。秘书出身一大把

美国原来能从外国移民中选拔些基辛格、布热津斯基这种经历过苦难野蛮生长出来的人才,如今也没有了,都是些精致利己主义分子,比团派半斤八两,原来征兵制军队大熔炉锻炼一下,如今志愿兵了,也不出人才了

国内现在推选调生,严格选拔出来的优秀学生到乡镇里呆两年然后提拔,这是个挺好的路子,要能延续下来可不错。这样看胡春华其实还真有点可惜

全看树展主题 · 分页首页 上页
/ 12
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河