深度学习——简介

一、概念

深度学习是机器学习算法的分支；人工神经网络为结果，实现自动提取数据特征的算法。

所有深度学习都是机器学习，但并非所有机器学习都是深度学习。

在深度学习的过程中，每一层神经网络都对输入数据进行处理，从而学习到数据中的特征和模式。

深度学习的关键之一是“反向传播”算法，它通过计算损失函数（即实际输出与期望输出之间的差异）并将这种误差反馈回网络的每一层，来调整每层的权重。

深度学习的一个重要的概念是“特征学习”，这意味着深度学习模型能够自动发现和利用数据中的有用特征，而无需人工介入。

深度学习的成功依赖于大量的数据和强大的计算能力。

二、深度学习的优缺点

优点：

1.自动提取特征：省去人工设计特征，适合图像、语音等复杂数据。

2.高精度：在大数据任务（如CV、NLP）中表现优异。

3.端到端学习：直接从数据到结果，简化流程。

4.适应性强：新模型（如Transformer）不断优化性能。

缺点：

1.依赖大数据：小样本场景容易过拟合。

2.计算成本高：训练需要GPU/TPU，部署难。

3.黑盒模型：决策难解释，影响可信度。

4.调参复杂：超参数优化依赖经验。

5.安全风险：对抗攻击，数据偏见问题突出。

适用于大数据、高复杂度任务；不适用小数据、需高解释性或低功耗设备。

三、深度学习发展史（部分）

1943: 沃尔特·皮茨（Walter Pitts）和沃伦·麦卡洛克（Warren McCulloch）提出了McCulloch-Pitts神经元模型，这是人工神经网络领域的开创性工作之一。

1956: 美国达特茅斯学院的约翰·麦卡锡、马文·闵斯基、克劳德·香农和纳撒尼尔·罗切斯特等人发起达特茅斯会议，首次提出了“人工智能”这一术语，并确立了研究目标和方向。

1957：弗兰克·罗森布拉特（Frank Rosenblatt）提出单层感知器概念，使用随机梯度下降（的雏形）进行权重更新。

1960年代末：出现了多层感知器（MLP），输入层、隐藏层、输出层的结构被提出,反向传播算法(BP)尚未成熟（直到1986年才由Rumelhart等人明确推广）。

1986：David Rumelhart等人发表了关于反向传播（BackPropagation, BP）算法的研究成果，使得多层神经网络能够通过梯度下降优化参数，解决复杂的非线性问题。

2012：亚历克斯·克里泽夫斯基（Alex Krizhevsky）等人设计的卷积神经网络（CNN）AlexNet模型在ImageNet图像识别挑战赛中取得巨大成功。大规模图像识别任务中的强大能力，引爆了深度学习革命。

2022 年:  chatGPT的出现，进入到大模型AIGC发展的阶段。

四、算法/模型

包含：ANN人工神经网络、CNN 卷积神经网络、RNN 循环神经网络、transformer、生成对抗网络、BERT、GPT......

五、应用场景

自然语言处理 nlp：聊天机器人、语音翻译......

计算机视觉 CV：图像识别、目标检测......

推荐系统：电商推荐、电影/音乐/文章/推荐......

多模态大模型......