一、存储发展历程
存储硬盘的发展历程
固态存储的颗粒介绍
- SLC速度快寿命长，价格贵（约MLC 3倍以上的价格），约10万次擦写寿命；
- MLC速度一般寿命一般，价格一般，约3000—10000次擦写寿命
- TLC速度慢寿命短，价格便宜，约500-1000次擦写寿命。
RAID发展历程
传统RAID是以盘为单位，而RAID2.0+是以块为单位。
存储产品发展历程
磁盘阵列访问协议类型
控制器互联发展历程
华为常见存储产品
专业存储设备一般适用于
- 企业传统业务：统一存储：数据库，ERP（仓库管理系统），CRM（客户关系管理系统） ，OA（办公自动化系统），Email，虚拟机加速
- 企业大数据业务：
- 海量数据：存储视频监控、媒资
- 高性能计算：石油勘探，基因测序，卫星测绘
- 备份：集中备份、远程备份
- 容灾：本地高可用、点对点容灾、存储双活、两地三中心容灾
- 数据迁移：数据迁移方案
常用技术
二、华为OceanStor V5——混合闪存存储
OceanStor V5系列架构
SAN与NAS并行访问，为不同业务提供最优访问路径，访问性能最优。
硬件/软件资源融合，智能调配，提升系统资源利用效率。
OceanStor V5系列存储产品
特点：
- 深度融合闪存，NAS，异构等于一体
- 免网关一体化双活，99.9999%高可用
- 高效能自研芯片，可达1200万IOPS
- 异构存储
- 自研SSD+深度闪存优化，保障1ms低时延
- 规划、设计、运维全生命周期智能云管理
- 提前14天发现风险，365天扩容预测
采用的先进技术
- 智能多协议接口芯片：支持32Gb FC/100Gb ETH接口，协议硬件卸载，加速前端访问速度。
- 智能管理芯片：精细化设备监控和故障切换，内置加密引擎安全接入。
- 控制器芯片鲲鹏920 ：业界最高性能 ARMCPU，Spec Int值高达930，高于业界25%。
- SSD控制器芯片：多接口、多介质支持，时延低于业界50%，可靠性No.1。
F V5系列主要参数：
| 型号 | 最大控制器数量 | 缓存大小 |
|---|---|---|
| OceanStor 5110/5200F V5 | 8控 | 64/128GB |
| OceanStor 5310/5510F V5 | 16控 | 256G/512G |
| OceanStor 5610/5810F V5 | 16控 | 1024/1152G |
| OceanStor 6810F V5 | 16控 | 512GB/1TB/2TB |
| OceanStor 18510F V5 | 32控 | 512GB/1TB/2TB |
| OceanStor 18810F V5 | 32控 | 1TB/2TB |
V5系列主要参数
| 型号 | 最大控制器数量 | 缓存大小 |
|---|---|---|
| OceanStor 5110/5210 V5 | 8控 | 64/128GB |
| OceanStor 5310/5510 V5 | 16控 | 256/512GB |
| OceanStor 5610/5810 V5 | 16控 | 1024/1152GB |
| OceanStor 6810 V5 | 16控 | 512GB/1TB/2TB |
| OceanStor 18510 V5 | 32控 | 512GB/1TB/2TB |
| OceanStor 18810 V5 | 32控 | 1TB/2TB |
OceanStor 5110/5210 V5/F V5产品参数
体系架构
- 采用ARM硬件平台（Kunpeng910）
- 盘控一体（2U盘控一体）
- Active-Active 冗余双控制器
产品特点
- 高性能：PCIE3.0高速总线和SAS3.0高速IO通道
- 高可靠性：全冗余设计，内置CBU + 数据保险箱各种数据保护技术
- 高扩展性：IO接口模块热插拔，2U支持4张可拔插接口卡
- 绿色节能：CPU智能调频，风扇精细化调速
OceanStor 5310 V5/F V5产品
体系架构
- 2U盘控一体，
- 支持25块2.5” SAS盘单元
- 支持10K（转） SAS和SAS SSD
- 支持12块3.5“ 硬盘单元-只适用于5310 V5
- 支持4/6/8/10/14TB NL-SAS 960GB/3.84TB SAS SSD
接口参数
- 接口类型： 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS
- 板载接口：每控板载4个10Gb Eth（光）+4个Gb
- 板载SAS级联接口：每控提供2个SAS级联口
支持 4控RDMA直连组网
BBU：掉电保护
OceanStor 5510 V5/5610 V5/5810 V5/F V5产品参数
产品特点
双平面正交背板设计，4控直连组网
1、无板载主机接口
2、板载SAS（25盘位SAS和12盘位NL-SAS盘控一体）或者板载RDMA（NVMe）
3、控制器内置风扇
接口：
- 板载级联接口：每控提供2个板载SAS级联口或者2个板载100G RDMA级联口。仅NVME 盘控一体出100G级联口。
- 接口模块：6个热插拔IO模块槽位，6张卡中最多可配3张后端SAS接口卡，3,4,5号槽位
- 接口类型：8Gb/16Gb/32G FC、GE电口、10GE/25GE/40GE/100GE 光口、12Gb SAS
OceanStor 6810/18510/18810 V5/F V5 产品参数
体系架构
- Pangea V6 ARM硬件平台，硬件全自主可控
- CPU采用海思自研鲲鹏920系列-Kunpeng920*4
- 4U独立机头
- 支持12 * 3.5寸硬盘框、25 * 2.5寸硬盘框、36*PALM Nvme硬盘框
- Active-Active 冗余双控制器
产品特点
- 高性能：自研RDMA高速总线用于内部互联和外部级联，兼容SAS3.0
- 高可靠性：全冗余设计内置BBU + 数据保险箱各种数据保护技术
- 高扩展性：IO接口模块热插拔，支持28张接口卡
- 绿色节能：CPU智能调频，风扇精细化调速
热插拔接口模块总共28张全共享接口卡
Smart硬盘框
OceanStor OS，实现全闪存/混合闪存全互通
采用全新全闪存算法，提升SSD性能及寿命，底层RAID2.0+，数据重构速度显著提升，SAN与NAS并行访问，为不同业务提供最优访问路径，访问性能最优。SAN/NAS一体化双活，RTO=0，RPO≈0，双活+双仲裁，可靠性更高
- CPU多核优化
- Cache自适应算法
- IO智能调度
- 大块顺序写
- 元数据独立分区
- 垃圾回收
SmartMatrix架构，SAN与NAS可靠性业界领先
最大容忍7控制器失效，最大容忍1控制框失效。
三、OceanStorDorado——全闪存
优势：
- 传：网络芯片 3X 降低网络时延
- 算：鲲鹏920处理器 2X 性能提升
- 智：AI芯片 50% 提升读命中率
- 存：SSD控制芯片 2X 降低写时延
- 管：管理芯片 30% 提升问题定位准确率
特点：
- 2000万 IOPS 0.1ms 时延
- 容忍控制器8坏7
- AI使能智能运维
型号
| 类型 | OceanStorDorado 5300 V6（中端入门级） | OceanStorDorado 5500 V6（中端） | OceanStorDorado 5600 V6（中端） | OceanStor Dorado 6800 V6（高端入门级） | OceanStor Dorado 18500 V6（高端） | OceanStor Dorado 18800 V6（高端） |
|---|---|---|---|---|---|---|
| 控制框高度 | 2U | 2U | 2U | 4U | 4U | 4U |
| 控制器扩展 | 2-16 | 2-16 | 2-16 | 2-16 | 2-32 | 2-32 |
| 最大磁盘数 | 1000 | 1200 | 1500 | 3200 | 6400 | 9600 |
| 每控核心数 | 24 | 64 | 96 | 128 | 128 | 192 |
| 双控缓存 | 256G | 384G/512G | 768G/1T | 512G/1024G/2048G | 512G/1024G/2048G | 1024G/2048G |
| 前端端口类型 | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet | 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet |
| 后端接口类型 | SAS 3.0 | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA | SAS 3.0/100G RDMA |
OceanStor Dorado 5300 V6产品参数
2U盘控一体，支持25块2.5” SSD盘单元
接口模块：每控3个可热插拔接口模块
接口类型： 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS，Scale-Out 接口模块只能放置在1#槽位，Scale-up接口模块只能放在2#槽位，双控最大支持150 SAS SSD盘。
板载SAS级联接口：每控提供2个SAS级联口，板载接口每控板载4个10Gb Eth。
OceanStor Dorado 5500/5600 V6 NVMe产品参数
2U盘控一体，支持36块PALM SSD盘单元，双端口 PCIe 3.0 x 2 NVMe SSD ，1.92TB/3.84TB /7.68TB/15.36TB
- 接口模块：每控6个可热插拔接口模块
- 接口类型： 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth，Scale-Out 接口模块只能放置在2#槽位
OceanStor Dorado 5500 V6双控最大支持200块SSD
OceanStor Dorado 5600 V6双控最大支持300块SSD
OceanStor Dorado 5500/5600 V6 SAS产品参数
OceanStor Dorado 5500/5600 V6 SAS（100G RDMA）产品参数
OceanStor Dorado 6800 V6 产品参数
- 4U4控独立机头
- 每控制框最大支持28张接口卡，所有控制器共享
- 接口类型：8/16/32Gb FC/FC-NVMe、10/25/40/100 Eth、12Gb SAS
- Scale-Out 接口模块4张
- 最大支持800盘/控制框
- 后端可配置为SAS模式，接SAS 3.0接口卡；也可配置为PCIe模式，接100G RDMA后端接口卡。
OceanStor Dorado 18500/18800 V6产品参数
- 默认整柜交付，支持第三方机柜；
- 当前版本支持2个系统柜；
- 每个系统柜支持1个控制框（ 4个控制器），
- 支持32个SAS SSD硬盘框和800块 SSD
- 支持23个NVMe SSD硬盘框和800块 SSD；
- 2个系统柜间采用100G RDMA直连；
- 默认不需要配置KVM 和 SVP管理服务器。
KVM切换器能从本地或远程监视与控制多个计算机与服务器，由键盘、鼠标和显示屏组成的KVM控制台。简单的说，就是一组键盘、显示器和鼠标。
硬盘框形态
接口卡形态
四、OceanStor 9000 V5——文件存储-最佳视频云存储
最大容忍4节点故障，支持异地容灾，主备站点业务快速切换，掉电保护，1600路2Mbps视频录入，2层4K超高清编辑，单节点带宽高达2.8GB/s，全闪存单节点5.0GB/s，3节点到288节点的平滑扩展，140PB存储容量
特性：
全分布式架构，高可靠数据保护：N+1~N+4的数据保护，最大允许4块硬盘/节点故障，磁盘利用率最高达95%
小文件聚合，提升读写性能
- 自动负载均衡，避免性能瓶颈（InfoEqualizer）
- InfoRevive视频图像修复功能
- InfoTurbo性能加速
- 空间配额管理（ InfoAllocator ）
- 企业级WORM (InfoLocker)（数据）
- 快照技术（InfoStamper）
- 元数据COW（Copy On Write）结合数据ROW（Redirect On Write）的快照技术
- 目录级快照，单个目录最大创建2048个快照，整系统支持8192个快照，1秒内快照，不阻塞业务
- 异步远程复制技术，InfoReplicator
- 基于目录快照的异步远程复制
- 目录级别复制
- 支持主从、一对多、多对一、双向复制
- 支持全量、增量复制
- 复制任务实时监控，可设置保留的快照的个数
- 用于异地容灾、远程归档、异地备份
- 支持手工复制和定时复制，支持failover和failback，1小时内可完成failover配置，failback支持增量复制
- 支持流控、断点续传，复制对业务带宽和时延的影响小于20%
五、OceanStor 100D——分布式存储
特点
- “太平洋”高密节点，极致容量，为海量数据而生
- 弹性EC：业界最高效EC算法，大幅提升磁盘利用率，配比最大支持22+2或20+4
- 弹性EC：节点扩容，空间利用率自动提升，节点故障，系统可靠性不降级
- 动态重删压缩
- 在线重删
- 1、IO写入缓存
- 2、前台在线重删
- 3、重删后数据落盘
- 后重删
- 1、IO写入缓存
- 2、数据写盘
- 3、数据重新读入缓存进行重删
- 4、重删后数据落盘
- 在线重删
- 协议融合：多种协议共享一份数据，免除拷贝，省空间（HDFS，NFS）
- 智能CPU智能分区算法，时延相比传统存储缩短20%
- I/O级可靠：DIF端到端一致性校验，保障数据完整性
- 系统级可靠: 数据冗余保护，最大容许4机柜失效业务无中断
- 高可用EC冗余机制：
- 机柜级冗余：最大容忍4个机柜同时失效
- 节点级冗余：最大容忍4个节点同时失效
- 硬盘级冗余：最大容忍4个硬盘同时失效
- 10秒节点故障快速切换，业务感知最小化
- 最全面的亚健康智能检测与预处理，提前排除故障风险，能检测硬盘，SSD卡，网络，服务器。
- 方案级可靠：企业级分布式双活，站点内EC，站点间镜像。本地磁盘利用率80%以上，跨站点另存一份。
- QoS优化：混合负载性能激增场景，实现关键业务性能的智能服务
- 15分钟/TB高速数据重构，比传统存储恢复快20倍
- 单桶1000亿对象存储
- 小对象在线聚合，性能、利用率同时提升
- 数据可靠：Erasure Coding+WORM防篡改
- 大数据存算分离：大数据灵活扩展，降低TCO
- 分布式Namenode，支持百亿级文件数
- 兼容原生HDFS协议，全面对接Hadoop各组件
架构
专用硬件
六、FusionCube：边缘数据云解决方案
产品系列
| FusionCube 2000 | FusionCube 1000 | FusionCube 500 |
|---|---|---|
| 边缘云 | 边缘微数据中心 | 边缘站点 |
| 数据量大(百TB-PB级) | 百TB级数据量 | 十TB级数据量 |
软件架构
七、FusionInsight 大数据平台
| 数据规模 | <1PB | 100TB~EB | 100TB~EB |
|---|---|---|---|
| 数据类型 | 结构化 | 结构化、非结构化 | 结构化、非结构化 |
| 数据处理 | 批处理、交互式处理 | 批处理、交互式处理、流处理、AI | 批处理、交互式处理、流处理、AI |
| 数据Schema | Schema Write，统一设计的数据Schema | Schema Read，原始Schema、或无Schema，无统一设计的模型 | 统一元数据 |
| 接口类型 | SQL | 类SQL、Java、Scala、Python | 统一SQL接口 |
| 事务支持 | 支持ACID | 不支持 | 支持ACID |
| BI支持 | 直接在源数据上使用BI工具 | 需将数据源抽取加工到数据集市，才能使用BI | 直接在源数据上使用BI工具 |
| 支持混合负载 | 不支持 | 支持 | 支持 |
| 存储与计算分离 | 支持 | 支持 | 支持 |
| 扩展能力 | Shared Storage架构，扩展能力差 | 可横向扩展至10000节点 | 可横向扩展至10000节点 |
八、GaussDB
事务所具有的 ACID 四个特性：
- 原子性（Atomicity）：数据修改，要么全都执行，要么全都不执行 （增删改一并提交commit或回滚rollback）
- 一致性（Consistency）：事务在完成时，必须使所有的数据都保持一致状态（分布式架构所面临的挑战也在于此）
- 隔离性(Isolation)：高并发下事务不会查看中间状态的数据（锁 / undo log+MVCC）
- 持久性（Durability）：事务完成即是永久性的，该修改即使出现致命的系统故障也将一直保持 （Write Ahead Log / Redo Log）
关系型OLTP和OLAP数据库
- 联机事务处理(OLTP)： 存储/查询业务应用中活动的数据以支撑日常的业务活动；——————对应华为GaussDB T
- 联机分析处理(OLAP)：存储历史数据以支撑复杂的分析操作，侧重决策支持；———————对应华为GaussDB A
OLTP vs OLAP 比较分析
数据库是产品化的，而OLTP/OLAP是面向业务场景的系统。因此，面向不同场景的需求，客户对应数据库选型也有不同考量标准，包括内核引擎适配、可扩展能力、开发兼容性、成本等。
| 生产交易型处理 OLTP | 海量分析型处理 OLAP |
|---|---|
| 细节的 | 综合或者提炼的（面向主题） |
| 实体-关系 （E-R）模型 | 星型模型或者雪花模型等多维数据模型 |
| 存储瞬时数据 | 存储历史数据、不包含最近数据（静态数据） |
| 可变更的数据 | 只读、只追加 |
| 一次操作一个单元（常见行存储） | 一次操作一个集合（适合列存储） |
| 性能要求高、响应时间短 | 性能要求相对宽松 |
| 面向事务场景 | 面向分析场景 |
| 一次操作数据量小 | 支持决策需求 |
| 集中式 、 Share-nothing 分布式数据库架构 | MPP 大规模并行处理的分布式数据库架构 |
| 数据量GB - TB级 | 数据量TB – PB 级 |
| 客户订单、库存水平、银行交易、账号查询、订票，等 | 客户收益分析、业务销售分析、市场细分、精准营销、决策支撑，等 |
GaussDB T数据库
华为GaussDB T数据库一体机
特点：
- 支持单机，主备，分布式部署
- 高可用：故障倒换时间<10s，支持闪回
- 高扩展：分布式强一致，TPC-C扩展比>0.8
- 高性能：基于鲲鹏920处理器，单机性能超越TOP数据库 30%，分布式16节点TPC-C测试可达千万级tpmC
- 兼容性：支持SQL-92、SQL:1999、SQL:2003等一系列标准的常用语法，高度兼容TOP商业数据库常用的SQL语法，支持离线/在线迁移
- 一体化方案：预集成、预调优、释放鲲鹏硬件架构高性能
GaussDB A数据库
特点：
- 高可用：故障时查询自动重试，同城/异地双集群容灾，RPO<10min，RTO<30min
- 高性能：核心EDW场景下分析性能持平Teradata，基于Kunpeng 920芯片，相对Intel x86同期芯片，TPC-H/TPC-DS性能提升20%，支持GPU异构多维硬件加速
- 高扩展：单集群最大支持2048节点，商用256节点，在线扩容期间，重分布对业务透明
- 一体化方案：预集成、预调优、释放鲲鹏硬件架构高性能
- 计算融合：支持x86/Kunpeng、GPU等异构计算芯片的智能调度，实现算力最优
- 多模融合：支持结构化、GIS、图，等多模数据融合存储与分析
- 数据安全：数据透明加密，支持国密算法SM4，行级细粒度权限控制
- **数据融合：SQL on Anywhere，支持与异构/同构数据源、FusionInsight大数据库互联互通
文章内容仅用于作者学习使用，如果内容侵犯您的权益，请立即联系作者删除，作者不承担任何法律责任。
