当前位置: 首页 > ds >正文

云存储(参考自腾讯云计算工程师认证)

存储基础知识:

机械硬盘:HDD,即传统硬盘,由盘片、盘片转轴、磁头、磁头控制器等部分组成
固态硬盘:SSD,由控制单元和存储单元组成。将数据存储在电子电路上。

硬盘的性能指标:
IOPS:单位时间内系统能处理的I/O请求数量
吞吐量:带宽,每秒磁盘I/O的流量,吞吐量=IOPS*IO大小
时延:响应时间

企业存储发展历程:
1、硬盘在服务器内部
2、DAS,直连式存储,存储设备只与一台服务器连接。
3、存储网络兴起:
NAS:网络附加存储,网络上的文件系统:通过网络来链接服务器的带有文件系统的存储设备,主要提供文件存储型服务。
SAN:存储区域网络,网络上的磁盘:通过IP交换机和FC交换机来连接服务器和存储设备,从而搭建起专用于数据存储的区域网络,主要提供块存储型业务。

RAID:Redundant Array of Independent Disks,独立冗余磁盘阵列,能够将多块独立物理硬盘按照不同的方式组合成一个硬盘组(逻辑硬盘)。

硬件RAID:由独立的RAID控制卡实现
软件RAID:基于服务器操作系统上的驱动程序来实现

RAID技术在将多块物理硬盘组合成一块逻辑盘时,会引入条带和分条两个概念

RAID的数据保护方式:镜像、算法(奇偶校验算法)

RAID0:数据条带化,无校验数据(不具备冗余性)
RAID1:数据镜像,无校验数据
RAID3:数据条带化,有校验数据,校验数据单独存放在专用硬盘中
RAID5:数据条带化,有校验数据,校验数据分布式存放各个硬盘中
RAID6:数据条带化,有两种类型的校验数据,提供两级冗余,校验数据分布式存放在各个硬盘中
RAID10:硬盘数据先完成RAID1方式组合,再完成RAID 0方式组合
RAID10:硬盘数据先完成RAID5方式组合,再完成RAID 0方式组合

可靠性:热备与重构

存储虚拟化:对存储硬件资源的抽象化表现,以逻辑资源的方式呈现,提供统一全面的存储服务的技术
基于主机的虚拟存储:C盘、/dev/sda1等;
基于存储设备的虚拟化:一些存储厂商的磁盘阵列、分布式存储产品等
基于网络的虚拟存储:SAN/NAS

云存储:

分布式存储:小聚大
存储虚拟化:大化小

Ceph:一款开源的统一分布式存储系统
OSD、MON、RGW

HDFS:Hadoop File System,被设计成适合运行在通用硬件上的开源统一分布式文件存储系统
Namenode/Datanode

CBS:Cloud Block Storage,云硬盘,是腾讯云用于提供给CVM的持久性数据块级存储服务。

弹性云硬盘/非弹性云硬盘:根据生命周期的不同,弹性云硬盘生命周期独立于云服务器。

根据产品类型分类:
高性能云硬盘:混合型存储产品。
通用型SSD云硬盘:入门级全闪类型块存储产品,高性价比优势。
SSD云硬盘:I/O性能有较高要求的场景
增强型SSD云硬盘:适用于对大型数据库,NoSQL等对实验要求很高的I/O密集型场景
极速型SSD云硬盘:IO密集型和吞吐量密集型工作负载。

云硬盘状态:待挂载、挂载中、使用中、卸载中、待回收、已销毁

云硬盘加密、云硬盘快照、云硬盘数据使用备份点

CBS使用场景:去本地化、海量数据分析、核心数据库

整体架构:

接入层:租户端、运营端

后端集群:存储池集群master/loadctrl/cell/dbtrsf、快照集群:manager\scheduler\transfer

CBS读写流程:

存储池Depot:
存储节点cell,diskpair硬盘分组、
数据组织的颗粒度从小到大:数据块block,逻辑小表tablet、硬盘disk、存储节点cell、存储池depot

快照机制:快照独立于云硬盘存在

CFS文件存储:

挂载点:每个文件系统都有一个挂载点,是一个IP地址

权限组:访问控制白名单。用户可以自行创建

SMB:一种在局域网上共享文件和打印机的一种通信协议

CIFS:通用Internet文件系统,是一种网络文件系统访问协议

VFS:虚拟文件系统

CFS存储类型:都提供三副本强一致架构能力和热迁移机制
通用标准型:适用于小规模通用数据存储场景
通用性能型:适合于小规模延时敏感型核心业务
Turbo标准型:提供私有协议的挂载方式。适用于大规模吞吐型和负载业务
Turbo性能型:高吞吐低时延并行文件存储。提供私有协议的挂载方式。适用于大规模小文件业务
吞吐型:分层架构的并行文件存储。适用于渲染、游戏战斗服务器、非线性编辑等读密集型业务

CFS使用场景:企业文件共享、高性能计算大数据分析、流媒体处理

CFS架构:CFS管控、CFS客户端、CFS服务端。

权限策略说明:来访地址、读写权限、用户权限、优先级(1为最高)

COS对象存储:

对象是COS的基本单元

存储类型:标准存储、低频存储、归档存储、深度归档存储、智能分层存储

使用方式:控制台、COSBrowser工具、COSCMD工具、API方式、SDK方式

使用场景:CDN数据分发、大数据分析、容灾与备份

整体架构:接入层、逻辑层、存储引擎层

http://www.xdnf.cn/news/19366.html

相关文章:

  • 整体设计 的语言设计:通用模型语言的标准模板语言的规格模式语言--含输出(腾讯元宝答问)
  • 漏洞挖掘-信息收集教程
  • 阿里云营业执照OCR接口的PHP实现与技术解析:从签名机制到企业级应用
  • Jdk动态代理 Cglib动态代理
  • Linux 定时器:工作原理与实现机制深入分析
  • STL库——list(类模拟实现)
  • 复制VMware虚拟机后的网络配置
  • 算法---动态规划(持续更新学习)
  • k230 按键拍照后,将摄像头拍照的1920*1080分辨率的图片以jpg文件格式,保存到板载TF存储卡的指定文件夹目录中
  • 营业执照经营范围行业提取工具库项目方案解读(php封装库)
  • 项目管理在企业中的作用
  • Python 多线程日志错乱:logging.Handler 的并发问题
  • 什么是IO多路复用
  • ESPTimer vs GPTimer:ESP32 定时器系统深度解析
  • 【Java基础知识 19】继承
  • Spring注解演进与自动装配原理深度解析:从历史发展到自定义Starter实践
  • 197-200CSS3响应式布局,BFC
  • 内存管理(智能指针,内存对齐,野指针,悬空指针)
  • 时间轴组件开发:实现灵活的时间范围选择
  • PHP单独使用phinx使用数据库迁移
  • Spring Cloud微服务架构设计与实战:从组件落地到分布式事务解决
  • 精简版UDP网络编程:Socket套接字应用
  • 链表有环找入口节点原理
  • css绘制三角形
  • A股大盘数据-20250829 分析
  • C++基础(③反转字符串(字符串 + 双指针))
  • 阿里巴巴拍立淘API返回值解析与商品信息优化指南
  • 刷题日记0829
  • Libvio 访问异常排查指南
  • OpenEuler部署LoganaLyzer