一、存储发展历程
存储硬盘的发展历程
固态存储的颗粒介绍
- SLC速度快寿命长,价格贵(约MLC 3倍以上的价格),约10万次擦写寿命;
- MLC速度一般寿命一般,价格一般,约3000—10000次擦写寿命
- TLC速度慢寿命短,价格便宜,约500-1000次擦写寿命。
RAID发展历程
传统RAID是以盘为单位,而RAID2.0+是以块为单位。
存储产品发展历程
磁盘阵列访问协议类型
控制器互联发展历程
华为常见存储产品
专业存储设备一般适用于
- 企业传统业务:统一存储:数据库,ERP(仓库管理系统),CRM(客户关系管理系统) ,OA(办公自动化系统),Email,虚拟机加速
- 企业大数据业务:
- 海量数据:存储视频监控、媒资
- 高性能计算:石油勘探,基因测序,卫星测绘
- 备份:集中备份、远程备份
- 容灾:本地高可用、点对点容灾、存储双活、两地三中心容灾
- 数据迁移:数据迁移方案
常用技术
二、华为OceanStor V5——混合闪存存储
OceanStor V5系列架构
SAN与NAS并行访问,为不同业务提供最优访问路径,访问性能最优。
硬件/软件资源融合,智能调配,提升系统资源利用效率。
OceanStor V5系列存储产品
特点:
- 深度融合闪存,NAS,异构等于一体
- 免网关一体化双活,99.9999%高可用
- 高效能自研芯片,可达1200万IOPS
- 异构存储
- 自研SSD+深度闪存优化,保障1ms低时延
- 规划、设计、运维全生命周期智能云管理
- 提前14天发现风险,365天扩容预测
采用的先进技术
- 智能多协议接口芯片:支持32Gb FC/100Gb ETH接口,协议硬件卸载,加速前端访问速度。
- 智能管理芯片:精细化设备监控和故障切换,内置加密引擎安全接入。
- 控制器芯片鲲鹏920 :业界最高性能 ARMCPU,Spec Int值高达930,高于业界25%。
- SSD控制器芯片:多接口、多介质支持,时延低于业界50%,可靠性No.1。
F V5系列主要参数:
型号 | 最大控制器数量 | 缓存大小 |
---|---|---|
OceanStor 5110/5200F V5 | 8控 | 64/128GB |
OceanStor 5310/5510F V5 | 16控 | 256G/512G |
OceanStor 5610/5810F V5 | 16控 | 1024/1152G |
OceanStor 6810F V5 | 16控 | 512GB/1TB/2TB |
OceanStor 18510F V5 | 32控 | 512GB/1TB/2TB |
OceanStor 18810F V5 | 32控 | 1TB/2TB |
V5系列主要参数
型号 | 最大控制器数量 | 缓存大小 |
---|---|---|
OceanStor 5110/5210 V5 | 8控 | 64/128GB |
OceanStor 5310/5510 V5 | 16控 | 256/512GB |
OceanStor 5610/5810 V5 | 16控 | 1024/1152GB |
OceanStor 6810 V5 | 16控 | 512GB/1TB/2TB |
OceanStor 18510 V5 | 32控 | 512GB/1TB/2TB |
OceanStor 18810 V5 | 32控 | 1TB/2TB |
OceanStor 5110/5210 V5/F V5产品参数
体系架构
- 采用ARM硬件平台(Kunpeng910)
- 盘控一体(2U盘控一体)
- Active-Active 冗余双控制器
产品特点
- 高性能:PCIE3.0高速总线和SAS3.0高速IO通道
- 高可靠性:全冗余设计,内置CBU + 数据保险箱各种数据保护技术
- 高扩展性:IO接口模块热插拔,2U支持4张可拔插接口卡
- 绿色节能:CPU智能调频,风扇精细化调速
OceanStor 5310 V5/F V5产品
体系架构
- 2U盘控一体,
- 支持25块2.5” SAS盘单元
- 支持10K(转) SAS和SAS SSD
- 支持12块3.5“ 硬盘单元-只适用于5310 V5
- 支持4/6/8/10/14TB NL-SAS 960GB/3.84TB SAS SSD
接口参数
- 接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS
- 板载接口:每控板载4个10Gb Eth(光)+4个Gb
- 板载SAS级联接口:每控提供2个SAS级联口
支持 4控RDMA直连组网
BBU:掉电保护
OceanStor 5510 V5/5610 V5/5810 V5/F V5产品参数
产品特点
双平面正交背板设计,4控直连组网
1、无板载主机接口
2、板载SAS(25盘位SAS和12盘位NL-SAS盘控一体)或者板载RDMA(NVMe)
3、控制器内置风扇
接口:
- 板载级联接口:每控提供2个板载SAS级联口或者2个板载100G RDMA级联口。仅NVME 盘控一体出100G级联口。
- 接口模块:6个热插拔IO模块槽位,6张卡中最多可配3张后端SAS接口卡,3,4,5号槽位
- 接口类型:8Gb/16Gb/32G FC、GE电口、10GE/25GE/40GE/100GE 光口、12Gb SAS
OceanStor 6810/18510/18810 V5/F V5 产品参数
体系架构
- Pangea V6 ARM硬件平台,硬件全自主可控
- CPU采用海思自研鲲鹏920系列-Kunpeng920*4
- 4U独立机头
- 支持12 * 3.5寸硬盘框、25 * 2.5寸硬盘框、36*PALM Nvme硬盘框
- Active-Active 冗余双控制器
产品特点
- 高性能:自研RDMA高速总线用于内部互联和外部级联,兼容SAS3.0
- 高可靠性:全冗余设计内置BBU + 数据保险箱各种数据保护技术
- 高扩展性:IO接口模块热插拔,支持28张接口卡
- 绿色节能:CPU智能调频,风扇精细化调速
热插拔接口模块总共28张全共享接口卡
Smart硬盘框
OceanStor OS,实现全闪存/混合闪存全互通
采用全新全闪存算法,提升SSD性能及寿命,底层RAID2.0+,数据重构速度显著提升,SAN与NAS并行访问,为不同业务提供最优访问路径,访问性能最优。SAN/NAS一体化双活,RTO=0,RPO≈0,双活+双仲裁,可靠性更高
- CPU多核优化
- Cache自适应算法
- IO智能调度
- 大块顺序写
- 元数据独立分区
- 垃圾回收
SmartMatrix架构,SAN与NAS可靠性业界领先
最大容忍7控制器失效,最大容忍1控制框失效。
三、OceanStorDorado——全闪存
优势:
- 传:网络芯片 3X 降低网络时延
- 算:鲲鹏920处理器 2X 性能提升
- 智:AI芯片 50% 提升读命中率
- 存:SSD控制芯片 2X 降低写时延
- 管:管理芯片 30% 提升问题定位准确率
特点:
- 2000万 IOPS 0.1ms 时延
- 容忍控制器8坏7
- AI使能智能运维
型号
类型 | OceanStorDorado 5300 V6(中端入门级) | OceanStorDorado 5500 V6(中端) | OceanStorDorado 5600 V6(中端) | OceanStor Dorado 6800 V6(高端入门级) | OceanStor Dorado 18500 V6(高端) | OceanStor Dorado 18800 V6(高端) |
---|---|---|---|---|---|---|
控制框高度 | 2U | 2U | 2U | 4U | 4U | 4U |
控制器扩展 | 2-16 | 2-16 | 2-16 | 2-16 | 2-32 | 2-32 |
最大磁盘数 | 1000 | 1200 | 1500 | 3200 | 6400 | 9600 |
每控核心数 | 24 | 64 | 96 | 128 | 128 | 192 |
双控缓存 | 256G | 384G/512G | 768G/1T | 512G/1024G/2048G | 512G/1024G/2048G | 1024G/2048G |
前端端口类型 | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet |
后端接口类型 | SAS 3.0 | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA |
OceanStor Dorado 5300 V6产品参数
2U盘控一体,支持25块2.5” SSD盘单元
接口模块:每控3个可热插拔接口模块
接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS,Scale-Out 接口模块只能放置在1#槽位,Scale-up接口模块只能放在2#槽位,双控最大支持150 SAS SSD盘。
板载SAS级联接口:每控提供2个SAS级联口,板载接口每控板载4个10Gb Eth。
OceanStor Dorado 5500/5600 V6 NVMe产品参数
2U盘控一体,支持36块PALM SSD盘单元,双端口 PCIe 3.0 x 2 NVMe SSD ,1.92TB/3.84TB /7.68TB/15.36TB
- 接口模块:每控6个可热插拔接口模块
- 接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth,Scale-Out 接口模块只能放置在2#槽位
OceanStor Dorado 5500 V6双控最大支持200块SSD
OceanStor Dorado 5600 V6双控最大支持300块SSD
OceanStor Dorado 5500/5600 V6 SAS产品参数
OceanStor Dorado 5500/5600 V6 SAS(100G RDMA)产品参数
OceanStor Dorado 6800 V6 产品参数
- 4U4控独立机头
- 每控制框最大支持28张接口卡,所有控制器共享
- 接口类型:8/16/32Gb FC/FC-NVMe、10/25/40/100 Eth、12Gb SAS
- Scale-Out 接口模块4张
- 最大支持800盘/控制框
- 后端可配置为SAS模式,接SAS 3.0接口卡;也可配置为PCIe模式,接100G RDMA后端接口卡。
OceanStor Dorado 18500/18800 V6产品参数
- 默认整柜交付,支持第三方机柜;
- 当前版本支持2个系统柜;
- 每个系统柜支持1个控制框( 4个控制器),
- 支持32个SAS SSD硬盘框和800块 SSD
- 支持23个NVMe SSD硬盘框和800块 SSD;
- 2个系统柜间采用100G RDMA直连;
- 默认不需要配置KVM 和 SVP管理服务器。
KVM切换器能从本地或远程监视与控制多个计算机与服务器,由键盘、鼠标和显示屏组成的KVM控制台。简单的说,就是一组键盘、显示器和鼠标。
硬盘框形态
接口卡形态
四、OceanStor 9000 V5——文件存储-最佳视频云存储
最大容忍4节点故障,支持异地容灾,主备站点业务快速切换,掉电保护,1600路2Mbps视频录入,2层4K超高清编辑,单节点带宽高达2.8GB/s,全闪存单节点5.0GB/s,3节点到288节点的平滑扩展,140PB存储容量
特性:
全分布式架构,高可靠数据保护:N+1~N+4的数据保护,最大允许4块硬盘/节点故障,磁盘利用率最高达95%
小文件聚合,提升读写性能
- 自动负载均衡,避免性能瓶颈(InfoEqualizer)
- InfoRevive视频图像修复功能
- InfoTurbo性能加速
- 空间配额管理( InfoAllocator )
- 企业级WORM (InfoLocker)(数据)
- 快照技术(InfoStamper)
- 元数据COW(Copy On Write)结合数据ROW(Redirect On Write)的快照技术
- 目录级快照,单个目录最大创建2048个快照,整系统支持8192个快照,1秒内快照,不阻塞业务
- 异步远程复制技术,InfoReplicator
- 基于目录快照的异步远程复制
- 目录级别复制
- 支持主从、一对多、多对一、双向复制
- 支持全量、增量复制
- 复制任务实时监控,可设置保留的快照的个数
- 用于异地容灾、远程归档、异地备份
- 支持手工复制和定时复制,支持failover和failback,1小时内可完成failover配置,failback支持增量复制
- 支持流控、断点续传,复制对业务带宽和时延的影响小于20%
五、OceanStor 100D——分布式存储
特点
- “太平洋”高密节点,极致容量,为海量数据而生
- 弹性EC:业界最高效EC算法,大幅提升磁盘利用率,配比最大支持22+2或20+4
- 弹性EC:节点扩容,空间利用率自动提升,节点故障,系统可靠性不降级
- 动态重删压缩
- 在线重删
- 1、IO写入缓存
- 2、前台在线重删
- 3、重删后数据落盘
- 后重删
- 1、IO写入缓存
- 2、数据写盘
- 3、数据重新读入缓存进行重删
- 4、重删后数据落盘
- 在线重删
- 协议融合:多种协议共享一份数据,免除拷贝,省空间(HDFS,NFS)
- 智能CPU智能分区算法,时延相比传统存储缩短20%
- I/O级可靠:DIF端到端一致性校验,保障数据完整性
- 系统级可靠: 数据冗余保护,最大容许4机柜失效业务无中断
- 高可用EC冗余机制:
- 机柜级冗余:最大容忍4个机柜同时失效
- 节点级冗余:最大容忍4个节点同时失效
- 硬盘级冗余:最大容忍4个硬盘同时失效
- 10秒节点故障快速切换,业务感知最小化
- 最全面的亚健康智能检测与预处理,提前排除故障风险,能检测硬盘,SSD卡,网络,服务器。
- 方案级可靠:企业级分布式双活,站点内EC,站点间镜像。本地磁盘利用率80%以上,跨站点另存一份。
- QoS优化:混合负载性能激增场景,实现关键业务性能的智能服务
- 15分钟/TB高速数据重构,比传统存储恢复快20倍
- 单桶1000亿对象存储
- 小对象在线聚合,性能、利用率同时提升
- 数据可靠:Erasure Coding+WORM防篡改
- 大数据存算分离:大数据灵活扩展,降低TCO
- 分布式Namenode,支持百亿级文件数
- 兼容原生HDFS协议,全面对接Hadoop各组件
架构
专用硬件
六、FusionCube:边缘数据云解决方案
产品系列
FusionCube 2000 | FusionCube 1000 | FusionCube 500 |
---|---|---|
边缘云 | 边缘微数据中心 | 边缘站点 |
数据量大(百TB-PB级) | 百TB级数据量 | 十TB级数据量 |
软件架构
七、FusionInsight 大数据平台
数据规模 | <1PB | 100TB~EB | 100TB~EB |
---|---|---|---|
数据类型 | 结构化 | 结构化、非结构化 | 结构化、非结构化 |
数据处理 | 批处理、交互式处理 | 批处理、交互式处理、流处理、AI | 批处理、交互式处理、流处理、AI |
数据Schema | Schema Write,统一设计的数据Schema | Schema Read,原始Schema、或无Schema,无统一设计的模型 | 统一元数据 |
接口类型 | SQL | 类SQL、Java、Scala、Python | 统一SQL接口 |
事务支持 | 支持ACID | 不支持 | 支持ACID |
BI支持 | 直接在源数据上使用BI工具 | 需将数据源抽取加工到数据集市,才能使用BI | 直接在源数据上使用BI工具 |
支持混合负载 | 不支持 | 支持 | 支持 |
存储与计算分离 | 支持 | 支持 | 支持 |
扩展能力 | Shared Storage架构,扩展能力差 | 可横向扩展至10000节点 | 可横向扩展至10000节点 |
八、GaussDB
事务所具有的 ACID 四个特性:
- 原子性(Atomicity):数据修改,要么全都执行,要么全都不执行 (增删改一并提交commit或回滚rollback)
- 一致性(Consistency):事务在完成时,必须使所有的数据都保持一致状态(分布式架构所面临的挑战也在于此)
- 隔离性(Isolation):高并发下事务不会查看中间状态的数据(锁 / undo log+MVCC)
- 持久性(Durability):事务完成即是永久性的,该修改即使出现致命的系统故障也将一直保持 (Write Ahead Log / Redo Log)
关系型OLTP和OLAP数据库
- 联机事务处理(OLTP): 存储/查询业务应用中活动的数据以支撑日常的业务活动;——————对应华为GaussDB T
- 联机分析处理(OLAP):存储历史数据以支撑复杂的分析操作,侧重决策支持;———————对应华为GaussDB A
OLTP vs OLAP 比较分析
数据库是产品化的,而OLTP/OLAP是面向业务场景的系统。因此,面向不同场景的需求,客户对应数据库选型也有不同考量标准,包括内核引擎适配、可扩展能力、开发兼容性、成本等。
生产交易型处理 OLTP | 海量分析型处理 OLAP |
---|---|
细节的 | 综合或者提炼的(面向主题) |
实体-关系 (E-R)模型 | 星型模型或者雪花模型等多维数据模型 |
存储瞬时数据 | 存储历史数据、不包含最近数据(静态数据) |
可变更的数据 | 只读、只追加 |
一次操作一个单元(常见行存储) | 一次操作一个集合(适合列存储) |
性能要求高、响应时间短 | 性能要求相对宽松 |
面向事务场景 | 面向分析场景 |
一次操作数据量小 | 支持决策需求 |
集中式 、 Share-nothing 分布式数据库架构 | MPP 大规模并行处理的分布式数据库架构 |
数据量GB - TB级 | 数据量TB – PB 级 |
客户订单、库存水平、银行交易、账号查询、订票,等 | 客户收益分析、业务销售分析、市场细分、精准营销、决策支撑,等 |
GaussDB T数据库
华为GaussDB T数据库一体机
特点:
- 支持单机,主备,分布式部署
- 高可用:故障倒换时间<10s,支持闪回
- 高扩展:分布式强一致,TPC-C扩展比>0.8
- 高性能:基于鲲鹏920处理器,单机性能超越TOP数据库 30%,分布式16节点TPC-C测试可达千万级tpmC
- 兼容性:支持SQL-92、SQL:1999、SQL:2003等一系列标准的常用语法,高度兼容TOP商业数据库常用的SQL语法,支持离线/在线迁移
- 一体化方案:预集成、预调优、释放鲲鹏硬件架构高性能
GaussDB A数据库
特点:
- 高可用:故障时查询自动重试,同城/异地双集群容灾,RPO<10min,RTO<30min
- 高性能:核心EDW场景下分析性能持平Teradata,基于Kunpeng 920芯片,相对Intel x86同期芯片,TPC-H/TPC-DS性能提升20%,支持GPU异构多维硬件加速
- 高扩展:单集群最大支持2048节点,商用256节点,在线扩容期间,重分布对业务透明
- 一体化方案:预集成、预调优、释放鲲鹏硬件架构高性能
- 计算融合:支持x86/Kunpeng、GPU等异构计算芯片的智能调度,实现算力最优
- 多模融合:支持结构化、GIS、图,等多模数据融合存储与分析
- 数据安全:数据透明加密,支持国密算法SM4,行级细粒度权限控制
- **数据融合:SQL on Anywhere,支持与异构/同构数据源、FusionInsight大数据库互联互通
文章内容仅用于作者学习使用,如果内容侵犯您的权益,请立即联系作者删除,作者不承担任何法律责任。