当前位置: 首页 > news >正文

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用

负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡,并不参与数据读写,相比与其他大数据组件,如hdfs的namenode,在hbase中,Hmaster的作用是比较弱化的,即使挂掉,也暂时不影响现有表的读写。

RegionServer的作用

一个机器上一个regionserver进程,主要负责管理多个region,接受客户端读写请求并交给region进行处理,此外,还负责向Hmaster定时心跳汇报自己节点上面所有region的状态,接受Hmaster的关于region的分配任务。

Region

region的切分原则

一个hbase的表,非常大,需要切分为几块,一块就是一个region,切分的原则就是按rowkey,比如rowkey为1-10000的在region1上,10001-20000的在region2上。

一个Region就相当于关系型数据库中分区表的一个分区,类比与hive的表,一个region可以理解为hive按照年进行分区的一段分区,相当于横着切。

region的迁移

假如一个表有5w行,可以切分为5个region。

这些region存放在regionserver上,一个regionserver可以存放一个或多个region,但是如果当前hbase集群只有5个region,却有5个regionserver,假如都放在一个regionserver上,会有不均衡的问题,所以最好的方式是从当前的regionserver上进行迁移,迁移主要由hmaster负责,5个regionserver上各有一个region。

region、列族、store、memstore、hfile的关系

region可以有一个或多个列族,它的结构如下,包含多个store,每个store对应一个列族,每个store都有一个memstore(内存)和多个hfile(hdfs

http://www.xdnf.cn/news/379675.html

相关文章:

  • 【Linux】线程POSIX信号量
  • JDBC工具类
  • c#建筑行业财务流水账系统软件可上传记账凭证财务管理系统签核功能
  • 代码随想录算法训练营第三十七天
  • win10-启动django项目时报错
  • ndk.symlinkdir - 在 Android Studio 3.5 及更高版本中,创建指向 NDK 的符号链接
  • 关于数据库查询速度优化
  • vue3使用tailwindcss报错问题
  • C.循环函数基础
  • 远程调试---在电脑上devtools调试运行在手机上的应用
  • PyTorch API 3 - mps、xpu、backends、导出
  • 6.秒杀优化
  • 更换内存条会影响电脑的IP地址吗?——全面解析
  • A2A大模型协议及Java示例
  • 以影像为笔,劳润智在世界舞台上书写艺术之路
  • 不同句子切割(文本分段 / chunking)工具或库 各自采用的策略和目标对比和分析
  • OLE(对象链接与嵌入)剪贴板内容插入到 CAD 图形中——CAD c# 二次开发
  • 非阻塞式IO-Java NIO
  • TCP Socket编程
  • 分布式锁原理
  • Linux 信号终篇(总结)
  • OpenAI API JSON 格式指南与json_repair错误修复
  • 深入理解卷积神经网络的输入层:数据的起点与预处理核心
  • [Pandas]数据处理
  • MySQL 从入门到精通(六):视图全面详解 —— 虚拟表的灵活运用
  • PyTorch量化感知训练技术:模型压缩与高精度边缘部署实践
  • TDengine 在智能制造中的核心价值
  • 工控新宠| 触想Z系列工控机C款发布,方寸机身,智控万千
  • OSPF综合实验实验报告
  • 深度学习篇---MediaPipe 及其人体姿态估计模型详解