主题：【原创】教育探索（六）—大脑神经网络是如何形成的 -- 夕曦

刚才发帖谈了一下卷积的具体问题，属于想到哪里说到哪里，写得太乱，整理一下思路具体讨论一下陈王提出的一些问题吧。

前一个帖子说到了个人认为卷积是对“普遍联系”的“局部具化”，这里针对“一层层”再说一点

虽然深度学习都具有类似的层级结构，但最初启发这些不同层级的来源却是不一样的。就卷积神经网络来说，主要针对的问题是二维图像问题（也有一维和三维的卷积，但最初就是针对二维来的），因此卷积神经网络的层级概念是借鉴于人脑视觉皮层，常说的有V1到V5

说点有意思的题外话，最早大规模成功的卷积神经网络，2012年的AlexNet就是5个卷积层，紧接着2014年的VGG-Net虽然有多达16-19层，但是也是被划分成5个大的层级，只是一个大层中嵌套有3个左右的小卷积层，这不禁让人遐想卷积神经网络最初是否就是对人脑视觉皮层5个区的直接仿生。此后的GoogLeNet也大致可以看成5个大层级，只是这里5个层级已经到达最后的决策（分类结果）了，而Alex和VGG里面的5层其实是特征提取，算上决策其实有6层了

陈王这段话信息量太大，我感觉至少包含了三个问题

首先，“一个不断进行卷积， 勾勒轮廓，抽象特征的过程”，这句话点到“一层层卷积”的关键了，其实就是逐步抽象，由像素点构成了图像边缘，边缘组合构成了交叉、平行等纹理，纹理又构成了局部图像块，然后再构成物体局部（Object Parts）和物体整体。我们有一定的理由相信，这个宇宙就是这样从一致性的基本单元逐步组建成万千世界，所以为了尽可能简单地建模描述这个万千世界，就必须将各个基本单元逐层解构出来。这里可以参考压缩感知Compressive Sensing。但这不是一个学习的过程，只是一个世界或者事物的编码与解码Encoding & Decoding过程，只是我们进行的一个基础假设，遵循这个假设来让机器或者是数学理解这个世界

第二个，“白天的叶子他一点都不害怕，晚上的叶子他就有陌生感，明显是对夜间的叶子图像处理太少，这个unsupervised的学习”，这句话有点似是而非了。按照目前我所接触到的资料，非监督学习unsupervised在深度学习中可以有，但是作用有限。直观的说边缘也好，纹理也好，这些低层次特征完全可以通过非监督学习得到，但是更高层的抽象特征，甚至是决策（分类）结果，很难通过非监督学习得到，主要仍然是非监督的优化目标比监督式的要更加难以设定。如果能够找到办法设定优化目标，那机器也同样会取得非常不俗的成绩，参见生成式对抗网络GAN。套用在孩子这里，我觉得如果完全是unsupervised，如果绝对没有父母去告诉他“这是叶子啊，和你在白天看见的叶子一样”，那孩子自己通过多看可以逐渐了解晚上有一种轮廓像叶子一样的东西，但是却很难，或者说需要非常长的时间才能理解这东西就是叶子。

又是一句题外话，在人类身上其实是有“顿悟”这样的事情的，就像一个孩子一辈子没人告诉他晚上那是叶子，也许有一天他自己也能搞明白那就是叶子。这种现象成因非常复杂，有一种猜想是当网络和模型足够复杂的时候，这种现象可能会自动涌现，这就只能等未来的研究人员去证明或者证伪了

第三个，“学习得到的参数是时刻在进化的，它存在什么地方呢，大脑？还是分布式存在于神经以及大脑各部分？”我觉得就是存在于大脑各个突触形成的某些回路中，这个后面再详说

融合必然是存在的，因为人脑中的“概念”其实是全方位立体的，叠加方式这个真不知道

我是这样在理解人脑的工作方式，脑细胞作为一种特殊的细胞，其个体应该和单细胞生物例如草履虫没有本质的不同，因此作为单个的细胞，可能只有应激（1）和不应激（0）两种状态，最简单的加法、乘法运算都是不能完成的，而多个相互连接的细胞作为一个整体，就会出现像二进制编码一样的各种状态，所以融合可能就是像哈希一样从多个二进制输入得到了一组新的二进制输出

每个人自己脑袋中的哈希函数都是随着个人成长相互独立生成的，所以响应会有很大的不同，脑回路也会很不一样，可以参考一下递归神经网络RNN及长短期记忆LSTM里面的各种门，每个人的long和short的定义都不一样，所以思维方式不一样，得到的结论（编码）也有很大的区别

对于有一个固定结论的问题，比如认人认物，要“统一思想”也很简单，给这些不一样的哈希结果都打上一样的标签就行了，这一点目前不通过监督式supervised的话还真没什么路子，只有看上规模之后会怎么样

如果不谈后者大脑怎么做出决定的话，前面的生理反应还是比较容易理解的

这其实就是通过大量的训练，将一些固定的模式形成了一种固化，有点像所谓的“肌肉记忆”。长期大量的训练，形成了固定的脑回路，相当于是大脑里的高速公路，可以从因直接跳到果，把中间大量的分析推理的过程全部省略掉

其实目前深度学习也就是大致到了这一步，在训练中将大量出现的模式固化成为网络参数，然后只需要一个forward过程就快速从输入得到输出，不需要再像以往一样进行大量的比对、匹配的工作

这个当然是在变化的了

在我的记忆中，人的脑细胞个数好像是定死了的，只能死亡，不能产生新的脑细胞，所以神经和大脑的发育，只是细胞之间的连接关系在增多，构成更加复杂的回路，而不是硬件本身在升级

那么可以对比一下深度学习中的两个问题

第一个问题，深度学习网络结构的泛化能力，比如前面提到的AlexNet、VGG等等，事实证明直接采用这些经典的网络结构，针对具体问题时通过fine-tuning调节权重参数，网络结构对于具体问题具有良好的泛化能力。这意味着大脑硬件不变、脑回路不变的情况下，通过针对性的训练，已有的脑回路对于新问题也具有一定的解决问题能力。我听说有些盲人，可以通过听觉、触觉等方式来做到类似于视觉的感知能力，我觉得这是一种例证

第二个问题，深度学习网络结构的改变，最近两年有大量的工作提出了深度学习网络结构的改进，最有名的应该是GoogLeNet以及ResNet，这些工作在不增加甚至减少运算量（硬件依赖）的情况下，有效提高了机器学习的效果。这意味着大脑硬件不变的前提下，通过改变脑细胞之间的连接关系，也就是重构脑回路，也能够得到人这个系统的提升。甚至还有一些工作，在研究自动学习或者是弹性改变网络结构，所以我们完全有理由相信，在神经和脑系统发育的过程中，脑回路不断进行演进，反复尝试用新的处理过程和处理方法来更快更好地得到决策结果