- 近期网站停站换新具体说明
- 按以上说明时间，延期一周至网站时间26-27左右。具体实施前两天会在此提前通知具体实施时间
主题：茗谈149:赤雁 -- 本嘉明
家园 huggingface上有完整复制deepseek的训练 https://github.com/huggingface/open-r1
这个项目目前15.2k星，绝对的明星级项目。Huggingface大本营的更新：
https://huggingface.co/blog/open-r1/update-1
在AI开源的大本营， huggingface上有人根据deepseek论文提到的方法，成功重新复现了训练，对论文中没有提到的部分，进行了填补。再把结果和公开部署的deepseek进行benchmark测试对比，我看了一下，各项得分有高有低，但基本一致。学界还有一些人也做了复现，得出的结论完全肯定。
上面的信息充分说明deepseek不是玩假的，从数据到方法，甚至计算原理全部和盘托出，在写代码的人当中，没有一个人敢贬低deepseek。你看，这几天从微软的Azure到Nvidia，都自行部署deepseek R1，无他，推理效率太高了。按照它的价格，不光不亏钱，还赚钱。
至于部分信息杂着chatGPT的东西，很正常。毕竟训练数据是公开的，chatGPT已经公开2年了，网上已经有大量它制造的数据，会污染训练数据源，何况deepseek还允许联网搜索，更可能污染。另一方面，大模型的训练过程中，肯定会和各大模型对接，时不时对同一问题对自己做对比测试，并且把测试结果作为强化训练的一部分，各大模型包括不限于chatGPT，但这和蒸馏无关。这个数据量肯定不到总数据量的1%，我估计0.1%以下，再多，付不起钱啊。就好像一个人学艺归来，找人切磋，学习？是的，但这个学习是双向的。
deepseek的6千多亿参数不可能靠蒸馏而来，任何有脑子的码农都不会相信。因为那要多大的带宽和多大的数据量才能完成啊？光账单就不止1亿美刀了。
再说，openAI这几天公布的o3 mini，思维链频现中文思考过程，它又是偷谁的呢？
对自己不懂的东西千万不要随便听那些殖人，他们恨不得中国完蛋，这种雷霆万钧的突破，在它们那里都变成了蒸馏，盗窃，甚至欺骗，其他科技进步呢？
这些人完全就是用屁股思考。
通宝推：师兄,chuchong,棋人鲁大耍,sasakio,死扛着,曾伴浮云,青青的蓝,尖石,黄序,exprade,strain2,和平共处,河兮兮,我思故我在,毛毛球,透明,玉米菜,唐家山,草原狼,西电鲁丁,脊梁硬,家园 蒸馏只可能蒸馏Open source的 通宝推：毛毛球,exprade,家园 你不懂什么是蒸馏 蒸馏是指给大模型提问，然后拿模型回答的结果作为自己的训练数据
- 复 你不懂什么是蒸馏
家园 他的意思应该是不开源负担不起 蒸馏需要海量的token进行高频率的训练，只有开源才有可能在本地部署大模型，进行高带宽的交互才能实现。
靠付费API那点流量，根本蒸不出来6710亿的大模型，就算行，也付不起那个费用。
家园 什么是蒸馏 我不是专家，但蒸馏的含义其实很简单。
就是有了一个模型，然后再继续训练它，得到一个在某个方面更好的模型。
这就是为什么说只可能蒸馏Open source。
比如说，deepseek 蒸馏了llama, qwen,因为那些都是open source
蒸馏Chatgpt绝无可能，除非去偷了它的模型。
其实Deepseek-R1是从deep seek-V2，V3来的，脉络很清楚。不会去蒸馏另外的模型。
有人怀疑它用到了Chatgpt的一些结果，违反了用户协议，因为chatgpt不允许用它的结果训练LLM。
我其实是相信各个LLM都会相互借鉴。但是，第一这个不可能有证据，就是莫须有，第二Open AI已经说了不会追究。最重要的是，即使有，也是整个训练数据集中很小很小的一部分，没有它，也不会有影响。
家园 请教一下：LPU到底有没有前途？ 我一直有两个认知：
1、LLM不是OS，相对是比较封闭的，按理来说应该可以不依赖英伟达的CUDA生态
2、LLM的这一轮AI应该有更加高效的算法-硬件组合，就像当时从显卡挖矿变成了专门的矿机一样。
但是很遗憾，这两点最终都没有在现实中体现出来——直到最近deepseek火了之后，才有了华为昇腾、国产LPU等方面的报道——但国内的很多新闻又有哗众取宠夸张之嫌，令人不置可否。
所以我想请教一下：你认为所谓的LPU究竟有没有搞头？还是说未来算法再次进化，可能又会改变对LPU的需求，所以与其研发LPU，还不如CUDA先用着？
家园 碰到懂技术的了。 他估计是搞成了PPO 家园 陈王是懂相关技术的人，老虎河友也是 懂的人，一句标题就能点到要害，比如老虎河友；比如陈王提的本地部署、Hugging Face transformers（包括open-source PyTorch），以及高带宽的交互 ---- 这些与超级数据中心各组件一起，才能构成完整的大规模AI训练环境
以下是我单位与NVIDIA合作的一张教学概念图（不涉密），“高带宽的交互”，懂的都懂
这栋楼里，懂技术与不懂技术的，从其选择相信的“段子来源”，一目了然。
譬如前几天我去一朋友家过年party ，席间DeepSeek肯定是跑不掉的讨论热点。好玩的是，我这DS发布当天本公司股票跌了17%的“受害者”都没着急上火，而来自华尔街一个朋友却急得破口大骂，内容与本楼里一些诸如“5万卡”的段子，一模一样，分明是同一个宣传口发出来的通稿：
我就纳闷了 ---- 如今华尔街玩股票的经纪人，比我们这些相关技术人员更懂AI啊（我老婆正经的模式识别出身，微笑静听，一言不发）
最后那位华尔街人，破口大骂老黄，就差骂黄是通共的“美奸”了😄
莫非中美竞争，真到了“天下何人不通共”的熟悉阶段？呵呵
华尔街人，信这种通稿，持这种通态，恰恰印证了国内朋友去年的两句话：
（1）AI概念短期热炒背后不是科技领域的重大突破，而是💵金融，此乃美国之根本
（2）去年5月（中国）就很多人看明白这里面的门道了
最后分享河里某位久未露面的老河友，托人带我的一句话：“现在的ds模型只是过渡”
来日方长，拭目以待
通宝推：呆头呆脑,破鱼,棋人鲁大耍,chuchong,北纬42度,田雨,西门飘飘,西电鲁丁,白马河东,GWA,心远地自偏,不如安静,exprade,nettman,青青的蓝,
家园 真正的西方专家还是不敢明着跳出来诋毁的 没有人敢公开指责DS作假，西方媒体又不甘心，所以他们只好推出像“亚历山大王”这种边角料跳出来指责DS作假，什么“绝不可能”，什么“非法偷用5万张H100”等等。
似乎变成了“中国人指责中国人”的游戏，反正是你们中国人自己说的，即便是最后出丑，也跟人家无关。
通宝推：潜望镜,