当前位置: 首页 > ops >正文

Java使用apache.commons.math3的DBSCAN实现自动聚类

K-Means: 如果你能大致估计出类别的数量,K-Means通常也是一个高效的选择。但它对异常值敏感,且要求簇是球状的。对于一些不知道数据可能会有多少类别的时候,可用试试DBSCAN算法,因为你通常无法预先知道文章会自动分成多少类(K值未知),用DBSCAN是非常不错的,能自动判断拿出类别数量,这里讲解一下java的math3里面自带方法

示例

package com.data;import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;import org.apache.commons.math3.ml.clustering.Cluster;
import org.apache.commons.math3.ml.clustering.DBSCANClusterer;
import org.apache.commons.math3.ml.clustering.DoublePoint;public class TestDBSCAN {public static void main(String[] args) {List<DoublePoint> rawPoints = new ArrayList<>();rawPoints.add(new DoublePoint(new double[] { 0.1, 0.2, 0.3 }));rawPoints.add(new DoublePoint(new double[] { 0.2, 0.14, 0.22 }));// 此处故意设置两个比较大点的值,和小点的值rawPoints.add(new DoublePoint(new double[] { 0.3, 0.4, 0.43 }));rawPoints.add(new DoublePoint(new double[] { 0.88, 0.8, 0.8 }));rawPoints.add(new DoublePoint(new double[] { 0.02, 0.112, 0.08 }));// 多少距离内归纳为同一个簇(两个向量之间的距离)double eps = 0.24;// 需要几个点形成簇int minPts = 0;// 执行聚类DBSCANClusterer<DoublePoint> clusterer = new DBSCANClusterer<>(eps, minPts);List<Cluster<DoublePoint>> clusters = clusterer.cluster(rawPoints);System.out.println("==== 聚类结果 ====");System.out.println("发现簇数量: " + clusters.size());// 打印每个簇for (int i = 0; i < clusters.size(); i++) {System.out.println("\n簇 #" + (i + 1) + ":");for (DoublePoint p : clusters.get(i).getPoints()) {System.out.println("  " + Arrays.toString(p.getPoint()));}}}}

打印结果,很明显的自动区分了3个类别

==== 聚类结果 ====
发现簇数量: 3簇 #1:[0.1, 0.2, 0.3][0.2, 0.14, 0.22][0.02, 0.112, 0.08]簇 #2:[0.3, 0.4, 0.43]簇 #3:[0.88, 0.8, 0.8]
// 多少距离内归纳为同一个簇(两个向量之间的距离)
double eps = 0.24;// 需要几个点形成簇
int minPts = 0;关键在于这两个参数,eps,比如设置成1,所有的都是同一类,也就只有一个簇,
当minPts设置为1的时候,这里不会出现簇23,因为小于等于1不认为是一个簇(分类),
所以具体根据数据调整参数即可

文本分类如何应用

既然上面讲述了算法,文本无非就是提取向量,扔进去计算,一般文本向量分为两种,词频向量(TF),语义向量(bert,word2vec,大模型经常用到的那种),只要拿到向量扔进去就能自动归类,这样知道其中某一段文本的类别,其他自然都知道了,应用完全能根据自己需求实现,思路大致都是一样的

http://www.xdnf.cn/news/19021.html

相关文章:

  • HTML 核心标签全解析:从文本排版到媒体嵌入
  • vue3中安装tailwindcss
  • C++函数继承
  • docker 搭建zookper集群,快照虚拟机多机模拟
  • 园区智慧水电管理系统:让能源管理从“成本黑洞”变“利润引擎”
  • 【实时Linux实战系列】实时数据可视化技术实现
  • 【机器学习】 12 Latent linear models
  • 【拍摄学习记录】03-曝光
  • 解决通过远程桌面访问ubuntu20.04出现的异常问题
  • IDA-pro-mcp 的核心功能 常用的prompt
  • 【机器学习入门】3.1 关联分析——从“购物篮”到推荐系统的核心逻辑
  • 【CanRun】Python终端[颜色文字]输出
  • 代理IP服务器平台推荐,企业级动态住宅IP资源哪里找?
  • 每周AI看 | 微软开源VibeVoice-1.5B、OpenAI历史性交棒、网易云商出席AICon全球人工智能开发与应用大会
  • windows下安装kafka
  • LoRA三种不同训练流程在配置和保存权重的差异(64)
  • Ubuntu 服务器 KERNEL PANIC 修复实录
  • 开源vs商用美颜sdk:美白滤镜功能在直播中的优劣对比
  • gdb打印长字符产变量信息
  • CST混合求解任务的场路联合仿真(下)
  • ACID分别如何实现
  • 【C/C++】柔性数组
  • 科学融智学引领人机协同教育新范式
  • C# 生成器模式(一个投资跟踪程序)
  • 高效接入:Suno API 与主流编程语言的结合
  • html入门教程
  • Matlab函数转C语言供Keil使用
  • 【论文阅读】Sparse4D v2:Recurrent Temporal Fusion with Sparse Model
  • PDF,HTML,md格式文件在线查看工具
  • TensorFlow 深度学习 | 使用子类 API 实现 Wide Deep 模型