（鱼书）深度学习入门2：手搓感知机

这章内容其实很巧，我在整理李航老师的MLP多层感知机那一块，就打算将统计学习中的感知机也整理出来，只不过统计学习那一个模块还卡着，就深度学习这边先上了；

1，感知机的数学性形式

2，简单逻辑电路的类比

这一块其实对于我来说很亲切，因为想当初我本科学的就是电子信息，其中数字逻辑电路是专业基础课，各种电路的门控元件的运算是基础。

其实这里的逻辑就是param3>parm1 AND param3>param2 AND param<param1+param2；

与非门，就是元素在AND运算之后，对结果做一个Not的颠倒。

逻辑门电路可以坍缩成感知机模型

3，感知机的实现

也可以实现与非门和或门，不过让我们来对它们的实现稍作修改。

bias和weight，偏置和权重，感知机的最基本概念

对于权重以及偏置理解概念的深入与否：

权重w1和w2是控制输入信号的重要性的参数，而偏置是调整神经元被激活的容易程度（输出信号为1的程度）的参数，偏置的值决定了神经元被激活的容易程度。

4，感知机的局限性

我们先不看异或门，我们先看或门的实现，

举一些简单的样本例子来可视化异或门的分类输出分类情况，

下面坐标系中的4个点，其实输出label的信息都被压缩在点dot的形状里了，

我们想要找的感知机（单层）就是一条直线，我们想要依据不同的x输出不同的y，就等将于将不同输出y对应的x值输入分开类，

其实分类任务可以类比传统机器学习里的很多东西，比如说是LDA/SVM等。

类似于非线性SVM，线性可分与线性不可分，非线性还要用到核技巧。

5，多层感知机

只要我们输入输出的映射对应关系（执行机制）和逻辑门一样，能够达到与非门、或门以及与门的效果，

那么我们只要将这些逻辑门元件的嵌套实现逻辑代入不同层次的神经元，用神经元拟合嵌套逻辑，那么形式上我们就能够完全等价接受这个MLP多层感知机。

感知机是下一章要学习的神经网络的基础