主题：【原创】教育探索（六）—大脑神经网络是如何形成的 -- 夕曦

感觉主要是在数据挖掘中的应用。能否请谈谈你感触的要点？

一些看法不一定对，仅供参考。

现在的DeepLearning， 一层层卷积， 对应的生理逻辑是什么？ 我猜测是基于神经细胞内部的化学反应，是天然的卷积，但没有看到系统的文献阐述。

观察我一岁小儿子的学习，感觉人的学习也是一个不断进行卷积， 勾勒轮廓，抽象特征的过程， 白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少， 这个unsupervised 的学习得到的参数是时刻在进化的，它存在什么地方呢， 大脑？还是分布式存在于神经以及大脑各部分？

神经末梢到神经，这里面有没有类似我们做的传感器融合，也就是说有没有类似的传递函数多重叠加，考虑到不同分支权重的融合， 还是简单的算术叠加， 神经已经根据粗细自动配比了权重？

神经反应对应的是决策过程，这个决策机制是什么？我感觉有两层决策机制， 一层是纯粹的生理反应，一层是经过大脑做出的决定。 后者暂且不谈，前者是如何决策的呢？

人从婴儿长到大， 神经和大脑系统在发育， 对应着就好像电脑的硬件一直在升级。 对应的处理过程、处理方法是不是变化的？

问题太多， 一下子想不清楚，先写这点，真有点不好意思。

当然其中很多问题现在还没有答案。只能谈谈我的认识。

Deep Learning起源于计算机领域（computer science），打破了传统统计学对数据分析的垄断。传统统计学先有假设，然后根据假设构建数学模型，再去分析数据并验证调整。对大数据来说，传统统计学的模型常常过于简单，不仅解决不了问题，反而成了数据分析中的障碍。尤其是multiple comparison的概念，极大地阻碍了生物医学领域的大数据分析。

机器学习理论反其道而行，先探寻数据结构的初步规律，再以初步规律建模进一步探寻数据，不断反复，螺旋式前进。就是辩证法的“肯定、否定、否定之否定”。也是你说的卷积过程。

但是目前机器学习中的“否定、否定之否定”，还是需要人脑来进行的，也就是由人来对每个阶段机器学习的结果进行解读、分析。

我理解机器学习与人脑最大的区别包括：机器学习是数字式的，人脑是模拟分析模式。这其中应该包括你提到的“传感器融合”。

另外一个区别更重要，机器学习的“否定、否定之否定”是通过修改程序（软件）完成的，人脑是通过修改硬件（神经网络）来完成的。在我的教育理论中，这是与孩子大脑发育/教育最关键的地方。有意思的是最初的计算机就是通过修改逻辑电路来修改程序的。

同一个输入，几个回路同时平行分析。比如炒股分析历史表，趋势线，交易量就是把同样数据，用不同方法表现出来，方便找出规律。有用没用说不定，人脑总是能分析出一点规律出来。所以用没有先天偏见的电脑找大数据规律，再用人脑能理解的方式表现出来，就是机器学习的根本思路。

改天有时间我把我认识到的今天的机器学习贴上来。

DeepLearning导致了海量的运算，在探索如何降低运算量的过程中，大量学习了人体思维的过程， 但哪些是学习，哪些是自有数字架构的运用，一般做coding的码农是不关心的。

我因为个人对思维的本质感兴趣，所以特别关注。

和deep memory（无意识记忆，本能）的差别。计算机上对应的是RAM与硬盘，但两者之间联系的结构、如何联系，还不是很清楚。

经过反复学习，通过用进废退原则，优选出最佳的回路。

扯脑子，仅限于60年前的“启发”，仅限于高大上的包装。

更踏实的，是从统计出发、从“一般线性模型”出发。神经网络仅仅是个计算模型，和脑子真的没啥关系了

老是想着神经如何，会变成玄学的

比如，神经网络模型中的权值连接相当于模拟信号控制，而神经冲动则是“调频脉冲”，从根本上风马牛不相及

最初人工智能中的一些规划、问题规约、专家系统那些东西，现在都似乎不作为人工智能了，仅仅作为计算机算法。他们被总结为“基于逻辑”的人工智能。

现在普遍理解的人工智能，研究集中在特征、表征、优化，尤其是那些现在的“数据驱动”的模型，却与“逻辑”之间没有联系。

我是做逻辑和推理这方面科研的，可以感觉到“基于逻辑”的人工智能肯定不是人类智能。网上有观点说人类智能在本质上有可能是"多层神经网络+贝叶斯方法",外链出处，不知道他们这个观点是否为真。如果为真，那就有一个问题，从多层神经网络+贝叶斯方法中如何能得到现代公理化的演绎规则体系。人类是有知识传递系统的，虽然比较低效，但是通过一代代顶尖头脑的传递和扩充，可以得到目前的演绎和推理系统，不知道深度学习之类的方法能否通过学习的方法自行得出这些人类的知识精华，如果可以的话，人类作为纯人类的历史应该是要终结了。

没想到陈王也有兴趣研究机器学习

我觉得卷积对应的不是生理逻辑，而是对应“聚团、聚类”的自然现象，也就是马哲里的一个基本假设“事物联系的普遍性”；而动物包括人的大脑为了能够处理这样的自然现象，因此会自发产生你所说的“天然的卷积”的类似结构

Deep Learning深度学习是在ANN人工神经网络的基础上发展起来的，更具体一点的，卷积神经网络CNN是在多层神经网络MLP的基础上发展起来的，从MLP的角度看，更加符合“事物联系的普遍性”。但是普遍性的泛滥，导致响应（关联、激活、依赖、函数。。。诸如此类的描述都可以）呈几何级数爆咋，从而难以处理。CNN即卷积就是为了解决此问题，将普遍的联系简化到一个局部的联系，以及假设各个局部的联系之间具有普适性（同一性），降低问题的复杂度，使得在有限时间内能够处理

一个不太恰当的类比，MLP就像是CRF条件随机场，将所有的状态综合到一起求取联合概率分布，模型看起来包罗万象但是却难以处理，CNN则是简化后的MRF马尔科夫随机场，通过假设事物只跟相邻（一阶或者低阶）的事物有联系，简化问题从而简化运算

至于这样的简化为什么能够work，这是科学的黑盒子，现在没人能说清楚。直观的感受就是虽然万物之间皆有联系，但是我个人今天的心情如何，和什么美国的大选、日本的地震等等的关系可能并不太大，更多可能就是受我身边的老婆、小孩儿、朋友等的情绪影响；所以只能说可能上帝造物本来就是遵循的这样类似的逻辑，即具体构建局部的local逻辑，然后各个局部互相影响后自动涌现复杂系统

扯远了一点，总之谈到卷积，就应该谈到receptive field（感受野），感受野即是会直接参与到局部决策的一个状态子空间，我们建模并在有限时间里处理这样一个有限的子空间，同时假设建立的模型在整个状态空间的各个子空间里都有效，从目前的CNN卷积神经网络实践中来看，这条路子相当好

说得乱了些，见谅

作为一个目前主要从事深度学习研究的从业者，同时又是一个两岁小孩儿的父亲，白天教机器，晚上教小孩儿，这真的是一种非常奇妙的体验，从个人的感受上，真的是佩服深度学习设计的精妙和完美，使得教机器和教小孩儿的体验非常之类似

目前的深度学习方面的否定之否定，当然有大量的研究人员走的是修改程序软件的路子，但个人觉得这是体现个人价值（或者粗俗点为了完成科研目标）的需要，其实深度学习具有这样的潜力，就是不修改或者很少的修改程序和软件，靠堆数据来完成机器的否定之否定（模型参数的自我调节），这和教小孩儿认东西简直是一模一样的路子

对脑科学很好奇但是没有研究，不清楚脑突触、脑回路除了存在与不存在（0和1）之外有没有其他的中间状态，我觉得基于浮点运算的深度学习就是对脑回路的一种暴力拟合。现在有一个很有意思的深度学习路线，就是位运算深度网络，深度学习三尊大神之一的Yoshua Bengio目前在专注这一方向的研究，看起来跟真实神经的运作方式会更加一致，感觉未来人工神经网络和医学脑科学的研究会相互促进，共同寻求突破

统计贝叶斯方法能够统领机器学习这么多年，绝对不是毫无缘由的，统计学与人类决策必然存在天然联系，不仅仅在于统计学在很多时候能够给出类似的正确决策，而且人类的错误决策，例如短视、浅视、经验主义等，也可以从统计学上找到对应的问题

“多层神经网络+贝叶斯方法”的路子问题不大，但是离真正的人工智能之间的差距仍然有十万八千里，这里面的鸿沟主要是两个（或者说一个），一是量化，目前深度学习虽然体现出了“直觉、概念”等潜力，但是受限于网络和问题规模，其可利用价值不大，所有的输入、输出仍然必须量化成数字才能与机器交流，而很多我们日常接触的东西，能否量化，怎么量化，这是一个非常大的问题；二是目标，神经网络也好，贝叶斯方法也好，归根到底都是一个数学的优化问题，那么一个好的优化目标，在解决问题的过程中起到举足轻重的作用，那么规则的发展、系统的发展，以及自身的发展，这样的优化目标，以目前机器“概念”的能力还完全理解不了，表现就是机器不具备主观能动性，只会死板地完成人类指定的具体学习任务，而没有更宏观的学习目标，所以这个问题也可以说成是一个目标的量化问题

而这个量化问题，至少在目前，还没看到任何能够解决的希望

刚才发帖谈了一下卷积的具体问题，属于想到哪里说到哪里，写得太乱，整理一下思路具体讨论一下陈王提出的一些问题吧。

前一个帖子说到了个人认为卷积是对“普遍联系”的“局部具化”，这里针对“一层层”再说一点

虽然深度学习都具有类似的层级结构，但最初启发这些不同层级的来源却是不一样的。就卷积神经网络来说，主要针对的问题是二维图像问题（也有一维和三维的卷积，但最初就是针对二维来的），因此卷积神经网络的层级概念是借鉴于人脑视觉皮层，常说的有V1到V5

说点有意思的题外话，最早大规模成功的卷积神经网络，2012年的AlexNet就是5个卷积层，紧接着2014年的VGG-Net虽然有多达16-19层，但是也是被划分成5个大的层级，只是一个大层中嵌套有3个左右的小卷积层，这不禁让人遐想卷积神经网络最初是否就是对人脑视觉皮层5个区的直接仿生。此后的GoogLeNet也大致可以看成5个大层级，只是这里5个层级已经到达最后的决策（分类结果）了，而Alex和VGG里面的5层其实是特征提取，算上决策其实有6层了

陈王这段话信息量太大，我感觉至少包含了三个问题

首先，“一个不断进行卷积， 勾勒轮廓，抽象特征的过程”，这句话点到“一层层卷积”的关键了，其实就是逐步抽象，由像素点构成了图像边缘，边缘组合构成了交叉、平行等纹理，纹理又构成了局部图像块，然后再构成物体局部（Object Parts）和物体整体。我们有一定的理由相信，这个宇宙就是这样从一致性的基本单元逐步组建成万千世界，所以为了尽可能简单地建模描述这个万千世界，就必须将各个基本单元逐层解构出来。这里可以参考压缩感知Compressive Sensing。但这不是一个学习的过程，只是一个世界或者事物的编码与解码Encoding & Decoding过程，只是我们进行的一个基础假设，遵循这个假设来让机器或者是数学理解这个世界

第二个，“白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少，这个unsupervised的学习”，这句话有点似是而非了。按照目前我所接触到的资料，非监督学习unsupervised在深度学习中可以有，但是作用有限。直观的说边缘也好，纹理也好，这些低层次特征完全可以通过非监督学习得到，但是更高层的抽象特征，甚至是决策（分类）结果，很难通过非监督学习得到，主要仍然是非监督的优化目标比监督式的要更加难以设定。如果能够找到办法设定优化目标，那机器也同样会取得非常不俗的成绩，参见生成式对抗网络GAN。套用在孩子这里，我觉得如果完全是unsupervised，如果绝对没有父母去告诉他“这是叶子啊，和你在白天看见的叶子一样”，那孩子自己通过多看可以逐渐了解晚上有一种轮廓像叶子一样的东西，但是却很难，或者说需要非常长的时间才能理解这东西就是叶子。

又是一句题外话，在人类身上其实是有“顿悟”这样的事情的，就像一个孩子一辈子没人告诉他晚上那是叶子，也许有一天他自己也能搞明白那就是叶子。这种现象成因非常复杂，有一种猜想是当网络和模型足够复杂的时候，这种现象可能会自动涌现，这就只能等未来的研究人员去证明或者证伪了

第三个，“学习得到的参数是时刻在进化的，它存在什么地方呢，大脑？还是分布式存在于神经以及大脑各部分？”我觉得就是存在于大脑各个突触形成的某些回路中，这个后面再详说

融合必然是存在的，因为人脑中的“概念”其实是全方位立体的，叠加方式这个真不知道

我是这样在理解人脑的工作方式，脑细胞作为一种特殊的细胞，其个体应该和单细胞生物例如草履虫没有本质的不同，因此作为单个的细胞，可能只有应激（1）和不应激（0）两种状态，最简单的加法、乘法运算都是不能完成的，而多个相互连接的细胞作为一个整体，就会出现像二进制编码一样的各种状态，所以融合可能就是像哈希一样从多个二进制输入得到了一组新的二进制输出

每个人自己脑袋中的哈希函数都是随着个人成长相互独立生成的，所以响应会有很大的不同，脑回路也会很不一样，可以参考一下递归神经网络RNN及长短期记忆LSTM里面的各种门，每个人的long和short的定义都不一样，所以思维方式不一样，得到的结论（编码）也有很大的区别

对于有一个固定结论的问题，比如认人认物，要“统一思想”也很简单，给这些不一样的哈希结果都打上一样的标签就行了，这一点目前不通过监督式supervised的话还真没什么路子，只有看上规模之后会怎么样

如果不谈后者大脑怎么做出决定的话，前面的生理反应还是比较容易理解的

这其实就是通过大量的训练，将一些固定的模式形成了一种固化，有点像所谓的“肌肉记忆”。长期大量的训练，形成了固定的脑回路，相当于是大脑里的高速公路，可以从因直接跳到果，把中间大量的分析推理的过程全部省略掉

其实目前深度学习也就是大致到了这一步，在训练中将大量出现的模式固化成为网络参数，然后只需要一个forward过程就快速从输入得到输出，不需要再像以往一样进行大量的比对、匹配的工作

这个当然是在变化的了

在我的记忆中，人的脑细胞个数好像是定死了的，只能死亡，不能产生新的脑细胞，所以神经和大脑的发育，只是细胞之间的连接关系在增多，构成更加复杂的回路，而不是硬件本身在升级

那么可以对比一下深度学习中的两个问题

第一个问题，深度学习网络结构的泛化能力，比如前面提到的AlexNet、VGG等等，事实证明直接采用这些经典的网络结构，针对具体问题时通过fine-tuning调节权重参数，网络结构对于具体问题具有良好的泛化能力。这意味着大脑硬件不变、脑回路不变的情况下，通过针对性的训练，已有的脑回路对于新问题也具有一定的解决问题能力。我听说有些盲人，可以通过听觉、触觉等方式来做到类似于视觉的感知能力，我觉得这是一种例证

第二个问题，深度学习网络结构的改变，最近两年有大量的工作提出了深度学习网络结构的改进，最有名的应该是GoogLeNet以及ResNet，这些工作在不增加甚至减少运算量（硬件依赖）的情况下，有效提高了机器学习的效果。这意味着大脑硬件不变的前提下，通过改变脑细胞之间的连接关系，也就是重构脑回路，也能够得到人这个系统的提升。甚至还有一些工作，在研究自动学习或者是弹性改变网络结构，所以我们完全有理由相信，在神经和脑系统发育的过程中，脑回路不断进行演进，反复尝试用新的处理过程和处理方法来更快更好地得到决策结果