人工智能简述

算法

k邻近算法（KNN）

线性回归

逻辑回归

朴素贝叶斯

决策树与随机森林

支持向量机

K-means聚类算法

深度学习

深度神经网络，即中间层>1层的神经网络，通过多层非线性变换从数据中自动学习复杂特征和规律，能够直接从图像、文本、语音中提取高级特征，因此在处理大规模、高纬度数据时表现出色。

神经网络

输入层：接收原始数据（图片像素、文本特征向量），

隐藏层（特征提取，做非线性高阶变换）

输出层：输出结构（分类标签、预测值）

工作流程

训练（核心是反向传播算法）：（1）前向传播从输入到输出得到预测结果（2）损失计算：预测与真实差距（3）反向传播计算损失函数对每个权重的梯度（4）参数更新：优化器（梯度下降、Adam）根据梯度调整权重和偏置，减小损失。重复以上步骤，知道损失收敛到最小。

推理：训练完成后，固定网络参数，输入新数据，通过前向传播直接得到预测结果。

分类

1. 多层感知器（MLP，Multilayer Perceptron）

   • 最基础的深度神经网络，由全连接的神经元层组成。
   • 适用于简单的分类 / 回归任务（如鸢尾花分类、房价预测）。

2. 卷积神经网络（CNN，Convolutional Neural Network）

   • 引入卷积层和池化层，擅长处理网格结构数据（如图像、视频）。
   • 核心思想：通过卷积核提取局部特征（如边缘、纹理），并利用权值共享减少参数。
   • 典型模型：LeNet-5、AlexNet、ResNet，广泛用于图像识别、目标检测。

3. 循环神经网络（RNN，Recurrent Neural Network）

   • 神经元之间存在循环连接，能处理序列数据（如文本、语音、时间序列）。
   • 引入 “记忆” 机制，适合处理依赖上下文的任务（如机器翻译、语音识别）。
   • 改进版：LSTM（长短期记忆网络）、GRU（门控循环单元），解决长序列梯度消失问题。

4. Transformer

   • 基于 “自注意力机制” 的网络，无需循环结构即可捕捉序列中的长距离依赖。
   • 是现代自然语言处理的核心模型（如 BERT、GPT 系列），也广泛应用于计算机视觉。

5. 生成对抗网络（GAN，Generative Adversarial Network）

   • 由生成器（生成假数据）和判别器（区分真假数据）组成，通过对抗训练提升生成能力。
   • 用于图像生成（如 GAN 生成逼真人脸）、风格迁移、数据增强。

优势

• 自动特征学习：无需人工设计特征，直接从原始数据中学习有效表示。
• 非线性拟合能力：通过多层非线性变换，能拟合复杂的函数关系。
• 通用性强：同一网络结构可适配多种任务（如图像、文本、语音）。

挑战

• 黑箱问题：难以解释网络的决策逻辑（如 “为什么模型认为这张图是猫”）。
• 数据依赖：需要大量标注数据才能训练出高性能模型。
• 计算成本高：深度神经网络训练需要强大的算力（如 GPU/TPU）。
• 过拟合风险：模型可能过度 “记住” 训练数据，导致在新数据上表现差。

应用场景

• 计算机视觉：图像分类（如 ResNet 识别 ImageNet）、目标检测（YOLO）、人脸识别、图像生成（DALL・E）。
• 自然语言处理：机器翻译（Google 翻译）、文本生成（GPT 系列）、情感分析、语音识别（Siri/ Alexa）。
• 推荐系统：个性化商品推荐（如电商平台）、内容推荐（如短视频平台）。
• 自动驾驶：实时路况识别、障碍物检测、路径规划。
• 医疗：疾病诊断（如 CT 影像分析）、药物研发

模型评估

模型报告：模型设计、算法选型、特征筛选、验证结果等，

模型评估：性能评估、稳定性（模型输出是否随着时间推移发生较大变化）、业务指标

监控：

应用

图像识别是如何实现的？

任何一张图片都可以表示成一个三阶张量即三维数组。卷积神经网络

信用评分：混淆矩阵、KS、AUC ；准确率、精确率、召回率

股票价格预测+评估：

股票价格预测结果评估：均方误差、均方根误差、平均绝对误差、R Squared决定系数

推荐系统

推荐系统场景 人、货、场，基于用户历史行为、物品特征、场景信息等数据，为用户精准匹配感兴趣的内容 / 物品，架构整体分数据层、算法层、服务层和业务层等。主要有三个步骤召回、排序（粗排、精排）、干预等。

数据层

数据层是推荐系统的基础，负责数据采集、存储和预处理，为后续特征工程和模型训练提供支撑。

• 数据类型：

  • 行为数据：用户点击、浏览、收藏、购买、评分、停留时长等（核心数据，反映用户偏好）。
  • 物品数据：物品 ID、类别、标签、价格、描述等（物品特征）。
  • 用户数据：用户 ID、年龄、性别、地域、兴趣标签、注册信息等（用户画像基础）。
  • 场景数据：时间（昼夜 / 节假日）、地点（APP / 小程序 / 网页）、上下文（前序行为）等（动态推荐依据）。

• 技术组件：

  • 数据采集：埋点系统（如 Flume、Logstash）、用户行为追踪 SDK。
  • 数据存储：离线存储（HDFS、数据仓库 Hive）、实时存储（Kafka、Redis）、结构化存储（MySQL、MongoDB）

数据预处理（特征工程）

特征工程是推荐效果的关键，负责从原始数据中提取、处理和筛选有效特征。

• 核心任务：

  • 特征提取：如用户活跃度（行为频率）、物品热门度（曝光量）、时间特征（小时 / 周末）。
  • 特征处理：清洗（去重 / 异常值）、归一化（标准化数值范围）、离散化（连续值转类别）、编码（类别特征 One-Hot/Embedding）。
  • 特征融合：组合特征（如 “用户年龄 + 物品类别”）、交叉特征（通过 FM/DNN 自动学习）。

• 技术组件：

  • 离线特征：Spark SQL（批处理）、Flink（流处理）。
  • 实时特征：Flink SQL（动态计算）、Redis（特征缓存）。
  • 特征平台：如 Feast、TensorFlow Extended（TFX），支持特征版本管理和复用。

算法层