云存储(参考自腾讯云计算工程师认证)
存储基础知识:
机械硬盘:HDD,即传统硬盘,由盘片、盘片转轴、磁头、磁头控制器等部分组成
固态硬盘:SSD,由控制单元和存储单元组成。将数据存储在电子电路上。
硬盘的性能指标:
IOPS:单位时间内系统能处理的I/O请求数量
吞吐量:带宽,每秒磁盘I/O的流量,吞吐量=IOPS*IO大小
时延:响应时间
企业存储发展历程:
1、硬盘在服务器内部
2、DAS,直连式存储,存储设备只与一台服务器连接。
3、存储网络兴起:
NAS:网络附加存储,网络上的文件系统:通过网络来链接服务器的带有文件系统的存储设备,主要提供文件存储型服务。
SAN:存储区域网络,网络上的磁盘:通过IP交换机和FC交换机来连接服务器和存储设备,从而搭建起专用于数据存储的区域网络,主要提供块存储型业务。
RAID:Redundant Array of Independent Disks,独立冗余磁盘阵列,能够将多块独立物理硬盘按照不同的方式组合成一个硬盘组(逻辑硬盘)。
硬件RAID:由独立的RAID控制卡实现
软件RAID:基于服务器操作系统上的驱动程序来实现
RAID技术在将多块物理硬盘组合成一块逻辑盘时,会引入条带和分条两个概念
RAID的数据保护方式:镜像、算法(奇偶校验算法)
RAID0:数据条带化,无校验数据(不具备冗余性)
RAID1:数据镜像,无校验数据
RAID3:数据条带化,有校验数据,校验数据单独存放在专用硬盘中
RAID5:数据条带化,有校验数据,校验数据分布式存放各个硬盘中
RAID6:数据条带化,有两种类型的校验数据,提供两级冗余,校验数据分布式存放在各个硬盘中
RAID10:硬盘数据先完成RAID1方式组合,再完成RAID 0方式组合
RAID10:硬盘数据先完成RAID5方式组合,再完成RAID 0方式组合
可靠性:热备与重构
存储虚拟化:对存储硬件资源的抽象化表现,以逻辑资源的方式呈现,提供统一全面的存储服务的技术
基于主机的虚拟存储:C盘、/dev/sda1等;
基于存储设备的虚拟化:一些存储厂商的磁盘阵列、分布式存储产品等
基于网络的虚拟存储:SAN/NAS
云存储:
分布式存储:小聚大
存储虚拟化:大化小
Ceph:一款开源的统一分布式存储系统
OSD、MON、RGW
HDFS:Hadoop File System,被设计成适合运行在通用硬件上的开源统一分布式文件存储系统
Namenode/Datanode
CBS:Cloud Block Storage,云硬盘,是腾讯云用于提供给CVM的持久性数据块级存储服务。
弹性云硬盘/非弹性云硬盘:根据生命周期的不同,弹性云硬盘生命周期独立于云服务器。
根据产品类型分类:
高性能云硬盘:混合型存储产品。
通用型SSD云硬盘:入门级全闪类型块存储产品,高性价比优势。
SSD云硬盘:I/O性能有较高要求的场景
增强型SSD云硬盘:适用于对大型数据库,NoSQL等对实验要求很高的I/O密集型场景
极速型SSD云硬盘:IO密集型和吞吐量密集型工作负载。
云硬盘状态:待挂载、挂载中、使用中、卸载中、待回收、已销毁
云硬盘加密、云硬盘快照、云硬盘数据使用备份点
CBS使用场景:去本地化、海量数据分析、核心数据库
整体架构:
接入层:租户端、运营端
后端集群:存储池集群master/loadctrl/cell/dbtrsf、快照集群:manager\scheduler\transfer
CBS读写流程:
存储池Depot:
存储节点cell,diskpair硬盘分组、
数据组织的颗粒度从小到大:数据块block,逻辑小表tablet、硬盘disk、存储节点cell、存储池depot
快照机制:快照独立于云硬盘存在
CFS文件存储:
挂载点:每个文件系统都有一个挂载点,是一个IP地址
权限组:访问控制白名单。用户可以自行创建
SMB:一种在局域网上共享文件和打印机的一种通信协议
CIFS:通用Internet文件系统,是一种网络文件系统访问协议
VFS:虚拟文件系统
CFS存储类型:都提供三副本强一致架构能力和热迁移机制
通用标准型:适用于小规模通用数据存储场景
通用性能型:适合于小规模延时敏感型核心业务
Turbo标准型:提供私有协议的挂载方式。适用于大规模吞吐型和负载业务
Turbo性能型:高吞吐低时延并行文件存储。提供私有协议的挂载方式。适用于大规模小文件业务
吞吐型:分层架构的并行文件存储。适用于渲染、游戏战斗服务器、非线性编辑等读密集型业务
CFS使用场景:企业文件共享、高性能计算大数据分析、流媒体处理
CFS架构:CFS管控、CFS客户端、CFS服务端。
权限策略说明:来访地址、读写权限、用户权限、优先级(1为最高)
COS对象存储:
对象是COS的基本单元
存储类型:标准存储、低频存储、归档存储、深度归档存储、智能分层存储
使用方式:控制台、COSBrowser工具、COSCMD工具、API方式、SDK方式
使用场景:CDN数据分发、大数据分析、容灾与备份
整体架构:接入层、逻辑层、存储引擎层