深度学习4.1 多层感知机

基本概念

多层感知机（Multilayer Perceptron, MLP）是一种‌前馈人工神经网络‌，由输入层、至少一个隐藏层和输出层组成。
‌核心特点‌：
采用‌全连接结构‌（相邻层神经元全部相连；
通过‌非线性激活函数‌（如ReLU、Sigmoid）解决线性不可分问题；
能够学习输入数据的高阶特征映射。

4.1.2 激活函数

%matplotlib inline
import torch
from d2l import torch as d2l

Relu函数

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.relu(x)
d2l.plot(x.detach(), y.detach(), 'x', 'relu(x)', figsize=(5, 2.5))

y.backward(torch.ones_like(x), retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of relu', figsize=(5, 2.5))

sigmoid函数

y = torch.sigmoid(x)
d2l.plot(x.detach(), y.detach(), 'x', 'sigmoid(x)', figsize=(5, 2.5))

x.grad.data.zero_()
y.backward(torch.ones_like(x), retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of sogmoid', figsize=(5, 2.5))

tanh函数

y = torch.tanh(x)
d2l.plot(x.detach(), y.detach(), 'x', 'tanh(x)', figsize=(5, 2.5))

x.grad.data.zero_()
y.backward(torch.ones_like(x), retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of tanh', figsize=(5, 2.5))