当前位置: 首页 > ai >正文

纠删码技术,更省钱的分布式系统的可靠性技术

前面章节我们介绍了副本技术,知道通过副本技术可以提高存储系统数据的可靠性。副本技术存在多个数据副本,因此需要消耗很多额外的存储空间。以3副本为例,需要额外消耗2倍的存储空间来保证数据的可靠性。也就是说,有2/3的存储空间是被无效占用的,有效存储空间大概是33.3%。

副本技术在性能和可靠性方面优势明显,但成本明显比较高。为了降低存储的成本,很多公司采用纠删码技术来保证数据的可靠性。现在很多分布式存储都支持纠删码方式,比如Ceph、Minio和Swift等。

图片

纠删码技术(Erasure Code)  

纠删码是一种通过校验数据来保证数据可靠性的技术,也就是该技术通过保存额外的一个或者多个校验块来提供数据冗余。与副本技术不同,这种数据冗余技术不能通过简单复制来恢复数据,而是像RAID一样需要经过计算来得到丢失的数据。基于纠删码技术,存储的有效数据率可以达到66%,甚至更高。

传统磁盘阵列的RAID技术可以认为是纠删码的一个特例,比如RAID5可以通过一个校验块来提供一份冗余,RAID6可以提供两份冗余。而在分布式存储中通常使用的是RS(Reed-Solomon)纠删码算法,这种算法可以提供更高的冗余数据量,比如微软的Azure存储提供4个冗余数据块,谷歌的GFS可以提供3个冗余数据块。

本节我们以RS纠删码为例介绍一下纠删码

http://www.xdnf.cn/news/18543.html

相关文章:

  • JAVA核心基础篇-枚举
  • Claude Code 新手使用入门教程
  • 【Kubernetes知识点】资源配额与访问控制
  • Qt + windows+exe+msvc打包教程
  • AI热点周报(8.17~8.23):Pixel 10“AI周”、DeepSeek V3.1发布,英伟达再起波澜?
  • 【python】get_dummies()用法
  • AI大模型 限时找我领取
  • 心灵笔记:人生管理模型
  • 简单AI:搜狐公司旗下AI绘画产品
  • 均匀实心球内部引力与半径成正比的牛顿壳层定理证明
  • MATLAB实现CNN-LSTM-Attention 时序和空间特征结合-融合注意力机制混合神经网络模型的风速预测
  • c语言学习_数组使用_扫雷1
  • 1.十天通关常见算法100题(第一天)
  • 科研笔记:博士生手册
  • 【每天一个知识点】训推一体机
  • 数据结构的线性表:顺序表
  • 坑洼铁皮矫平机:把“波浪”变成“镜面”的科学魔法
  • 旅行足迹App技术架构全解析
  • 二、BPMNJS简介
  • 【51单片机非精准延时演示来回流水灯效果】2022-11-10
  • Claude Code赋能企业级开发:外卖平台核心系统的智能化重构
  • n8n 键盘快捷键和控制
  • 【Canvas与徽章】中国制造金色玻璃光徽章
  • 生成模型 | 扩散模型损失函数公式推导
  • 复杂工况漏检率↓79%!陌讯多模态融合算法在智慧能源设备检测的落地实践
  • Python 版本与 package 版本兼容性检查方法
  • 【Linux系列】macOS(MacBook)上获取 MAC 地址
  • 内网穿透教程
  • React学习(十三)
  • Java 泛型 T、E、K、V、?、S、U、V