第一讲 生成式ai是什么
声明：
作者是个ai小白，所以博客会尽最大限度的详细，不建议基础很好的大佬观看。大家觉得有墨迹的地方可通过导航栏或其他方式略读，同时非常欢迎大家指正和补充博客的内容。
self attention 和 RNN 因为刚开始学 所以有待完善。
生成式人工智能要解决的问题
生成式人工智慧就是生成一些复杂而有结构的东西
怎么理解复杂：就是无法通过穷举解决的东西
分类问题不是一个复杂的问题 他的结果使能穷举出来的。
机器学习的本质
机器学习的本质 是从一堆资料中找出一个函式，比如我给一堆数(我可以确定这个是一个一次函数)，然后计算出这里的a和b
那么我们推广一下，如果我们给野狗图片，然后 将这个图片转化成一个函式 得到最后的结果这个有上万个参数。
机器学习就是把 这些参数找出来。然后 我们拿出一个新的图片 看看他属于哪个类别 这个就叫做测试。
彩蛋：手搓神经网络（有待完善）
向前传播
向前传播讲解_哔哩哔哩_bilibili
逆向传播
还是用刚才的例子
这里的w11和w12是右边的w11和w12
使用矩阵表示就是这个形式
计算损失函数
通过学习率改变差值
生成式人工智慧和机器学习深度学习以及GPT之间的关系
从图片上来讲，我们的GPT可以通过深度学习进行训练。
GPT 其实是具有很多个参数的函式
GPT背后的函式也可以看成是一个向量
tranformer 介绍--- 引言 输入输出
不管是查看直播观看youtube人数还是影像处理上， 我们输入的都是一个向量，我们的输入可能是一个数字(回归)我们可能输入的是一个类别(分类)
但是加入的是一堆向量并且向量的长度是可以改变的，那么我们如何处理呢
生活中不妨有这种复杂的输入 的例子
比如我们输入一个句子，句子中的每一个单词就可以作为一个向量
This is a cat
This 作为向量1
is 作为向量2.....如何区分这些向量：
- 方案1: onehot独热编码，但是缺点是不能看出向量之间的相似度。
- 方案2：使用wordEmbedding ，我们不难发现run和jump都是动词，dog和rabbit和cat都是动物，tree和flower都是植物，这些具有相似性质的颜色都是相似的。关于wordEbedding的内容这里不过多赘述，有感兴趣的小伙伴可以自行查阅相关资料。
举例1：
我们对N维向量的每一个都要进行一个输出。
这些应用比如给一个单词我们判定他是一个动词还是一个名词；比如给一段语音判断他是多少级的台风；比如给一个社交网络图，判断这个人是否购买..... 生活中这样的例子有很多。
举例2：
我们输入N个向量，我们只需要输出一个结果就可以。
比如我们想要了解一个产品怎么样，我们不可能一条条的阅读每一个评论，但是我们可以把所有评论作为输入，让机器输出一个值是正面还是负面；比如听一段声音判断是谁讲的；给一个分子判断他的亲水性如何。
举例3：
机器需要自己决定输出的规模。
我们在作业5会有这方面的详细介绍。
但是我们在第1个例子中会出现一个问题，比如相同的saw 我们期望他们输出不同的词性，然而简单的分类问题显然不能满足我们的需求，这个时候 我们就需要结合语境来说明一下。
我们可以设定一个window,并把整个windows都给覆盖住，但是我们都知道 windows大小是不一样的 ，所以我们无法设定。怎么解决---self attention.
self--attention
- 首先withcontext那一行 表示通过selfattention 之后 考虑到整个句子之后输出的向量。
- 将上一步得到的向量扔进FC全连接层 之后输出一个向量。
当然我们也可以叠加
attention is all you need论文解读（未完成）
https://arxiv.org/pdf/1706.03762
这个就是一个论文解读，目的是更好的理解self atteion的原理，如果读者不喜欢看请通过导航栏进行跳跃。
这个文章最早是谷歌团队为了解决机器翻译问题采用的方案
intruduction
首先介绍一下循环神经网络RNN的架构和说明
序列数据：例如天气股票数据 都是一些序列数据，或者是对于翻译文章我们的输入也是一个序列数据，我们的机器翻译也是一个序列数据 每个数据每个词都有相同的含义，而将他们通过不同的顺序组合将会表达不同的含义。
我爱你
/// 不同字符的顺序组合会表达出不同的含义
你爱我
- 如果我们想要翻译句子或者分析句子情感的时候 这个时候我们需要使用到循环神经网络
- 在金融领域：我们可以分析股票的走向和预测天气
- 在图像识别领域我们可以利用CNN模型识别出物体 然后将CNN输出的记过给RNN 组成图片的描述
为啥要引入RNN循环网络
弊端1：
多层感知机的缺点是输入的规模是确定的 隐藏层的数量也是确定的，我们想要扩展很困难。
弊端2：
对于MLP（多层感知机），输出是dest和depa所以每个词输出这两个的概率是相同的，所以每个词都会属于这俩的一种。
但是循环神经网络完美的解决了这个问题：RNN模型在每期计算的时候会同时考虑当期输入值和前期状态，并利用相同的模型架构循环下去，具体来说比如他看到下面台北的时候，他会记得前面看过leave或者arrive
每次我们的隐藏层产生输出的时候 这个结果会存放到左侧的小方块a1和a2中
在下一次进行输入输出的时候 除了会考虑隐藏层还会考虑之前存放在小方块里面的内容。
RNN的计算过程：
李宏毅机器学习-RNN网络（中英文）_哔哩哔哩_bilibili
建议看一下视频的弹幕：说白了就是简单的线性相加，弄清楚有几个来源之后 就知道怎么算了。
总结：对于RNN来说，改变了输入输出顺序也会改变结果。
注意 这里是同一个RNN在不同时间被使用的示意图，为了方便演示 所以画了三个
双向循环神经网络
相当于阅读了整个句子
GPT的原理--文字接龙
变成分类问题
机器是需要有创造力的，生成式ai需要解决的问题是生成的问题是不可以穷举的，但是如果文字接龙的话这个就变成了一个分类问题(常用的字是可以穷举的)
从生成文字到生成图片
可以将这种文字接龙的方法推广到图片接龙。
