主题：【原创】抛砖！模式识别和机器学习、数据挖掘的区别与联系 -- 永远的幻想

一个标准的模式识别流程是：

“客观对象”—1—>“数值表示”—2—>“计算机算法”—3—>“识别结果”

但是这个流程只是计算机工作时的流程。而在能这样工作之前还要干很多事。比如人脸识别，一个计算机算法又不是天生就认识很多人，算法要经过训练和学习好了，才能照上面这个过程工作。

那么到底在训练、学习些什么，又是在识别些呢？

这个还是要回到定义。“模式识别”这个词不是太容易顾名思义的，我直到研究生入学以后很长时间还是不明白是什么意思，就知道是能分类。

还是说人脸识别吧。对人来说，看见来自于1个人的人脸图像，即使是不同表情和姿势的，我们也能认出这些图像来自于同一个人。而你之所以能认出来，可能是观察了脸型+发型，也可能是五官形状的组合。可是到底是图像上的什么决定了你的判断呢？你有的能说出来，可是有的却又说不清道不明的。于是，就用一个抽象的词——“模式”来形容那些能够让你判断出哪些样本属于同一类别、能够和其他类别相区别的特征或者属性。

我们下面设计计算机算法为每1个人的图像建立唯一的1个“模式”或者说模型，不同的N个人对应于N个模型。很可能每个人的身份编号i对应一个参数模型Mi。这个建立或者说训练(train)过程可能就是“统计”这些图像，确定每个模型的参数。

而开发者为了评价算法性能，也要先预备一些已知类别的图像，分成train set 和test set，这样在训练集上训练好的算法，要测试集上测试一下。根据测试结果调整算法参数，或者实在太差的话要换一种算法了。不断的调整参数、不断改程序，不断的train，不断的test……所以这方面的论文通常要附上算法在各种数据集，各种情况下的结果。一个图，一张表的背后，要写好多程序，花好多时间在电脑上运行。

这样训练好后，就可以按上面那个流程工作了。如果一张属于第i人的图片来了，算法用保存的N个人的模型去分别计算相似度，判断这张图片来自于模型Mj的可能性最大，也就等于电脑可以通过看图片识别出了这人的身份是j。如果j等于真实身份i，那就识别正确了，如果每次都识别对，那电脑就达到了人脑的能力了。

注意算法在输出j的时候是不知道真实身份i的，那么这种工作，就可以看成是一种预测(Prediction)。如果需要输出是离散变量，比如这里是类别，就称为分类(Classification)，而需要预测连续型变量的，比如股指，房价，就称为回归(Regression)。这里的回归没有针对“过去”的值的意思，就是说预测的目标输出的是连续性的值。

好了，现在来说机器学习(Machine Learning ML)。回顾一下你的模型从哪里来的？虽然有些模型假设，但主要从输入的已知身份的数据中来的。而算法的“训练-考试”过程，又很像人的学习过程，于是把这一类计算机算法叫做Machine Learning。其实是Machine Learning from data了。看起来是Machine在不断自己 Learning，其实是人写的算法让它一直learning。如果算法是纯用统计学，也可以叫统计学习(Statistical Learning)。

所以在我看来，ML可能是最类似AI的范畴了，都是计算机算法嘛。区别是AI是具备类人能力就行，不管算法怎么来的，一个拍脑袋定义的出来的公式也算。而ML要窄一些，是特指经过Learning from data 过程而获得的“智能”。用统计学的里的概念来说，ML是一种数据驱动的，非参数（Nonparametric）或者半参数(Semiparametric)算法。

再来比较PR和ML。可以说，PR里面的算法部分基本上一定是属于ML。区别在于，PR里的ML算法主要就是在做预测。而整个ML就要广多了，如果你的算法输入是棋谱，那么训练好的算法就可以下棋打牌。但是UCI上面供机器学习算法之间进行能力比较的标准数据集基本都是分类和回归问题。这么看ML和PR实在是太相似了。

说到了这里，PR里面的ML算法，主要都是在用统计学（少部分有图论），问题也就出来了。提出算法的主要是人家数学家、统计学家、或者计算机专业的干的，已经属于science了。可是怎么模式识别的事净是自动化、电子信息、通信这些专业的搞呢？虽然你们攒一起改叫Electronics Engineering了，可那也是Engineering啊，本科顶多学点高数，线代，复变，信号系统，古典概型和简单数理统计，再学编码啥的，到硕士嘛顶多学点矩阵论，随机过程顶天了。就这点数学底子，提不出啥牛X算法，凭啥模式识别专业还是你们这些工科生霸着啊？丢给数学系、统计系，或者计算机系得了，人家CS好歹也是S啊。

嗯，我也疑惑了很久，明明都是在折腾数学，怎么还是赖在工科里呢？