主题：【原创】机器学习的基础是什么？(0) -- 看树的老鼠

随机森林的老祖宗Leo Breiman早在2001年就总结了两者的最大区别，见论文《Statistical Modeling: The Two Cultures》，网上有。

传统的统计学基于人类主观假设出来的数据模型，为人类理解数据而总结了很多随机分布，并且过于强调这些分布的数学模型。而机器学习是为了克服这个缺点而生的，本身就只强调预测的准确性而不主张人类去理解它。

至于短期的特征在长期尺度上不管用的问题，别说机器，人类也一样，经验丰富的老年人在接受和解释新知识时比不上小学生，过去的经验会束缚创造性思考和限制新知识体系的形成。这根本就是从本质上不可克服的问题，只能在overfit和underfit中取一个折中，什么算法和技术都不可能解决问题又不付出代价，不值得花费脑力去思考。