当前位置: 首页 > backend >正文

Multicore-TSNE

文章目录

  • TSNE
  • 使用scikit-learn库
  • 使用Multicore-TSNE库
    • 安装方法
    • 基本使用方法
    • 采用不同的距离度量
  • 其他资料

TSNE

  • t-Distributed Stochastic Neighbor Embedding (t-SNE) 是一种高维数据的降维方法,由Laurens van der Maaten和Geoffrey Hinton于2008年提出,通常用于数据可视化。其大致原理是在低维(通常是2D或3D)空间中保留高维空间中的距离关系

使用scikit-learn库

  • TSNE的代码实现通常基于scikit-learn库
  • 具体参数可参考官网手册:https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html

使用Multicore-TSNE库

  • Multicore-TSNE的项目地址:
    https://github.com/DmitryUlyanov/Multicore-TSNE

  • 优点:

    • 使用方法与与scikit-learn库基本一致
    • 计算速度相对于scikit-learn库可大幅提升
  • 缺点:

    • 功能相比scikit-learn库大幅减少
    • 默认仅实现了基于欧式距离的降维计算

安装方法

  • 方法1:直接pip安装
pip install MulticoreTSNE
  • 方法2:源码编译安装
git clone https://github.com/DmitryUlyanov/Multicore-TSNE.git
cd Multicore-TSNE/
pip install .

基本使用方法

  • Multicore-TSNE库的基本使用方法非常简单,与scikit-learn库基本一致:
from MulticoreTSNE import MulticoreTSNE as TSNEtsne = TSNE(n_jobs=4)
Y = tsne.fit_transform(X)
  • 详情可看源码:https://github.com/DmitryUlyanov/Multicore-TSNE/blob/master/MulticoreTSNE/init.py

采用不同的距离度量

  • Multicore-TSNE默认仅实现了基于欧式距离的降维计算,然而,很多时候,我们希望采用其他距离度量。幸运的是,根据 https://github.com/DmitryUlyanov/Multicore-TSNE/issues/49 中的回答,已有大佬基于Multicore-TSNE库进行了二次开发,其中可以采用的距离度量包括:
    • Euclidean distance
    • Squared euclidean distance
    • Angular distance
    • Cosine distance (not a real metric)
    • Precomputed distance marix
  • 安装方式:源码编译安装
git clone https://github.com/asanakoy/Multicore-TSNE.git
cd Multicore-TSNE/
pip install .
  • 以手动计算特征向量之间的余弦距离为例:
from MulticoreTSNE import MulticoreTSNE as TSNE
from sklearn.metrics.pairwise import cosine_similarity# 计算余弦相似度矩阵
similarity_matrix = cosine_similarity(feats.cpu().numpy())# 将余弦相似度转换为距离矩阵
distance_matrix = 1 - similarity_matrixtsne = TSNE(n_jobs=4, metric="precomputed", random_state=42)
X_tsne = tsne.fit_transform(distance_matrix)

其他资料

  • Multicore-TSNE 项目常见问题解决方案
  • 用 GPU 加速 TSNE:从几小时到几秒
http://www.xdnf.cn/news/3347.html

相关文章:

  • 如何用GPU Instancing来优化树木草石重复模型
  • Kubernetes 配置中的 Selector 详解
  • GPU集群搭建步骤
  • 基础术语说明
  • 前端项目问题:TypeError: Failed to fetch dynamically imported module
  • 数据结构---【二叉搜索树】
  • Canvas基础篇:图形绘制
  • 工业质检领域相关近期顶会论文汇总CVPR2025
  • SALOME源码分析: SMESH模块
  • 2025-04-30 AIGC-如何做短片视频
  • 科学数据可视化工具库visIt安装和使用
  • 阿里云短信接入实现示例
  • IsaacLab最新2025教程(7)-创建Interactive Scene
  • Socket-UDP
  • Day.js一个2k轻量级的时间日期处理库
  • Modbus转PROFIBUS网关:电动机保护新突破!
  • [CPCTF 2025] Crypto
  • YOLOv11改进:视觉变换器SwinTransformer目标检测网络
  • C 语言链表详解
  • 第 11 届蓝桥杯 C++ 青少组中 / 高级组省赛 2020 年真题答和案解析
  • 测试 用例篇
  • 指令级并行(ILP)和线程级并行(TLP)的区别,GCC -O3优化会展开循环吗?
  • Git 忽略文件配置 .gitignore
  • AI对IT行业的重塑:挑战与机遇并存的技术革命
  • URP - 序列图动画的实现
  • 多数元素题解(LC:169)
  • 扩展根分区
  • 软件产品测试报告:如何全面评估及保障软件质量?
  • kubernetes》》k8s》》Service 、Ingress 区别
  • C 语 言 - - - 动 态 内 存 分 配