当前位置: 首页 > ops >正文

机器学习 day02

文章目录

  • 前言
  • 一、TF-IDF特征词重要度特征提取
  • 二、无量纲化处理
    • 1.最大最小值归一化
    • 2.normalize归一化
    • 3.StanderScaler标准化


前言

  • 通过今天的学习,我掌握了TF-IDF特征词重要度特征提取以及无量纲化处理的相关知识和用法

一、TF-IDF特征词重要度特征提取

  • 机器学习算法在处理文本时有广泛应用,在分析文本时,我们常常使用词频(TF),逆文档频率(IDF)反映文本中的关键词
  • 词频(Term Frequency, TF), 表示一个词在当前篇文章中的重要性
  • 逆文档频率(Inverse Document Frequency, IDF), 反映了词在整个文档集合中的稀有程度
  • TF-IDF可以反映词语在某文本中的重要程度

以下给出相应的计算公式:
在这里插入图片描述

  • 需要注意的是,在sklearn库中对TF和IDF的公式进行了优化,sklearn中直接使用一个词在某文档中出现的次数作为TF,而IDF的计算公式如下:
    I D F ( t ) = log ⁡ ⁡ ( 总文档数 + 1 包含词 t 的文档数 + 1 ) + 1 IDF(t)=\log⁡(\dfrac{总文档数+1}{包含词t的文档数+1})+1 IDF(t)=log(包含词t的文档数+1总文档数+1)+1

API:sklearn.feature_extraction.text.TfidfVectorizer()
该API的用法和结果与CountVectorizer相似,只是此API返回的是TF-IDF组成的系数矩阵

def my_cut(text):return " ".join(jieba.cut(text))
data=["教育学会会长期间,坚定支持民办教育事业!",  "扶持民办,学校发展事业","事业做出重大贡献!"]
data=[my_cut(i) for i in data]
# print(data)
# print("词频",CountVectorizer().fit_transform(data).toarray())
transfer=TfidfVectorizer()
res=transfer.fit_transform(data)
print(pd.DataFrame(res.toarray(),columns=transfer.get_feature_names_out()))

二、无量纲化处理

无量纲化顾名思义就是消除单位对数据的影响

1.最大最小值归一化

  • 归一化公式如下:
    在这里插入图片描述
    API:sklearn.preprocessing.MinMaxScaler(feature_range)
    该API可以将所有的数据归一化到指定的范围内
from sklearn.preprocessing import MinMaxScaler
data = [[12,22,4],[22,23,1],[11,23,9]]
transfer = MinMaxScaler((0,1)) #默认是0-1
data = transfer.fit_transform(data)

2.normalize归一化

  • normalize归一化可以对数据的行或列分别进行归一化,主要有以下三种方法:
    1.L1归一化,使用数据的绝对值相加作为分母,特征值作为分子
    2.L2归一化,使用平方作为分母,特征值作为分子
    3.max归一化,只用最大值作为分母,特征值作为分子
from sklearn.preprocessing import normalize
# Normalizer归一化
data = [[12,22,4],[22,23,1],[11,23,9]]
data_scaler = normalize(data,"l2",axis=0)
print(data_scaler) 

3.StanderScaler标准化

前两种归一化方法会受到数据中的异常点的影响,导致鲁棒性较差,使用标准化可以解决这个问题

  • 标准化公式:
    在这里插入图片描述
    API:sklearn.preprocessing.StanderScaler()
from sklearn.preprocessing import StandardScaler
# 标准化归一化
data = [[12,22,4],[22,23,1],[11,23,9]]
scaler = StandardScaler()
# scaler.fit(data) # 统计数据的均值和方差并保存下来
# scaler.transform(data) #进行标准化转换
data_scaler = scaler.fit_transform(data)
print(data_scaler)
  • 注意到创建转换器类对象后fit和transform可以分开进行,fit用于统计并保存当前数据的均值和方差,transform使用保存的均值和方差进行对应转换,如果有两组数据,只对第一组数据fit,那么第二组数据使用transform时会使用第一组数据的均值和方差
from sklearn.preprocessing import StandardScaler
# 标准化归一化
data = [[12,22,4],[22,23,1],[11,23,9]]
scaler = StandardScaler()
scaler.fit(data) # 统计数据的均值和方差并保存下来
scaler.transform(data) #进行标准化转换data2 = [[13,21,5]]
data2 = scaler.transform(data2) #此时使用的是data的均值与方差
print(data2)

THE END

http://www.xdnf.cn/news/5167.html

相关文章:

  • PD快充诱骗协议芯片XSP04D与主板共用一个Type-C和电脑传输数据
  • 关于Spring
  • 小刚说C语言刷题—1078求恰好使s=1+1/2+1/3+…+1/n的值大于X时n的值
  • 巡检机器人数据处理技术的创新与实践
  • 【Redis】string
  • Git 时光机:修改Commit信息
  • Java零组件实现配置热更新
  • gitkraken 使用教程
  • ai agent(智能体)开发 python3基础14:在python 中 总能看到方法里面套方法,那什么时候用这种方式合适呢?
  • Python常见面试题
  • LWIP的IP协议笔记
  • 通俗的理解MFC消息机制
  • 理解计算机系统_并发编程(2)_基于I/O复用的并发(一):select浅解
  • 如何理解编程中的递归、迭代与回归?
  • Shell 脚本编程1(常用命令+概述)
  • 在 Elasticsearch 中删除文档中的某个字段
  • Web自动化测试入门详解
  • 【深入理解SpringCloud微服务】手写实现一个微服务分布式事务组件
  • 如何阅读、学习 Linux 2 内核源代码 ?
  • ADI ADRV902x的射频模拟信号输入输出端口的巴伦匹配
  • nvme Unable to change power state from D3cold to D0, device inaccessible
  • akshare爬虫限制,pywencai频繁升级个人做量化,稳定数据源和券商的选择
  • HTTP 的发展史:从前端视角看网络协议的演进
  • Java字节缓冲流高效读写文件指南
  • 【论文阅读】——一些小tips和测试
  • DS18B20温度传感器
  • 问题解决思路:numpy:DLL load failed
  • 贪心算法专题(Part2)
  • React Hooks 精要:从入门到精通的进阶之路
  • 单片机-STM32部分:10-2、逻辑分析仪