华为IT-L2学习笔记

一、存储发展历程


存储硬盘的发展历程

固态存储的颗粒介绍

  • SLC速度快寿命长,价格贵(约MLC 3倍以上的价格),约10万次擦写寿命;
  • MLC速度一般寿命一般,价格一般,约3000—10000次擦写寿命
  • TLC速度慢寿命短,价格便宜,约500-1000次擦写寿命。

RAID发展历程

传统RAID是以盘为单位,而RAID2.0+是以块为单位。


存储产品发展历程


磁盘阵列访问协议类型


控制器互联发展历程


华为常见存储产品

专业存储设备一般适用于

  • 企业传统业务:统一存储:数据库,ERP(仓库管理系统),CRM(客户关系管理系统) ,OA(办公自动化系统),Email,虚拟机加速
  • 企业大数据业务
    • 海量数据:存储视频监控、媒资
    • 高性能计算:石油勘探,基因测序,卫星测绘
  • 备份:集中备份、远程备份
  • 容灾:本地高可用、点对点容灾、存储双活、两地三中心容灾
  • 数据迁移:数据迁移方案

常用技术


二、华为OceanStor V5——混合闪存存储


OceanStor V5系列架构

SAN与NAS并行访问,为不同业务提供最优访问路径,访问性能最优。

硬件/软件资源融合,智能调配,提升系统资源利用效率。


OceanStor V5系列存储产品

特点:

  • 深度融合闪存,NAS,异构等于一体
  • 免网关一体化双活,99.9999%高可用
  • 高效能自研芯片,可达1200万IOPS
  • 异构存储
  • 自研SSD+深度闪存优化,保障1ms低时延
  • 规划、设计、运维全生命周期智能云管理
  • 提前14天发现风险,365天扩容预测

采用的先进技术

  • 智能多协议接口芯片:支持32Gb FC/100Gb ETH接口,协议硬件卸载,加速前端访问速度。
  • 智能管理芯片:精细化设备监控和故障切换,内置加密引擎安全接入。
  • 控制器芯片鲲鹏920 :业界最高性能 ARMCPU,Spec Int值高达930,高于业界25%。
  • SSD控制器芯片:多接口、多介质支持,时延低于业界50%,可靠性No.1。

F V5系列主要参数:

型号 最大控制器数量 缓存大小
OceanStor 5110/5200F V5 8控 64/128GB
OceanStor 5310/5510F V5 16控 256G/512G
OceanStor 5610/5810F V5 16控 1024/1152G
OceanStor 6810F V5 16控 512GB/1TB/2TB
OceanStor 18510F V5 32控 512GB/1TB/2TB
OceanStor 18810F V5 32控 1TB/2TB

V5系列主要参数

型号 最大控制器数量 缓存大小
OceanStor 5110/5210 V5 8控 64/128GB
OceanStor 5310/5510 V5 16控 256/512GB
OceanStor 5610/5810 V5 16控 1024/1152GB
OceanStor 6810 V5 16控 512GB/1TB/2TB
OceanStor 18510 V5 32控 512GB/1TB/2TB
OceanStor 18810 V5 32控 1TB/2TB


OceanStor 5110/5210 V5/F V5产品参数

体系架构

  • 采用ARM硬件平台(Kunpeng910)
  • 盘控一体(2U盘控一体)
  • Active-Active 冗余双控制器

产品特点

  • 高性能:PCIE3.0高速总线和SAS3.0高速IO通道
  • 高可靠性:全冗余设计,内置CBU + 数据保险箱各种数据保护技术
  • 高扩展性:IO接口模块热插拔,2U支持4张可拔插接口卡
  • 绿色节能:CPU智能调频,风扇精细化调速

OceanStor 5310 V5/F V5产品

体系架构

  • 2U盘控一体,
  • 支持25块2.5” SAS盘单元
    • 支持10K(转) SAS和SAS SSD
  • 支持12块3.5“ 硬盘单元-只适用于5310 V5
    • 支持4/6/8/10/14TB NL-SAS 960GB/3.84TB SAS SSD

接口参数

  • 接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS
  • 板载接口:每控板载4个10Gb Eth(光)+4个Gb
  • 板载SAS级联接口:每控提供2个SAS级联口

支持 4控RDMA直连组网

BBU:掉电保护


OceanStor 5510 V5/5610 V5/5810 V5/F V5产品参数

产品特点

双平面正交背板设计,4控直连组网

1、无板载主机接口

2、板载SAS(25盘位SAS和12盘位NL-SAS盘控一体)或者板载RDMA(NVMe)

3、控制器内置风扇

接口:

  • 板载级联接口:每控提供2个板载SAS级联口或者2个板载100G RDMA级联口。仅NVME 盘控一体出100G级联口。
  • 接口模块:6个热插拔IO模块槽位,6张卡中最多可配3张后端SAS接口卡,3,4,5号槽位
  • 接口类型:8Gb/16Gb/32G FC、GE电口、10GE/25GE/40GE/100GE 光口、12Gb SAS

OceanStor 6810/18510/18810 V5/F V5 产品参数

体系架构

  • Pangea V6 ARM硬件平台,硬件全自主可控
  • CPU采用海思自研鲲鹏920系列-Kunpeng920*4
  • 4U独立机头
  • 支持12 * 3.5寸硬盘框、25 * 2.5寸硬盘框、36*PALM Nvme硬盘框
  • Active-Active 冗余双控制器

产品特点

  • 高性能:自研RDMA高速总线用于内部互联和外部级联,兼容SAS3.0
  • 高可靠性:全冗余设计内置BBU + 数据保险箱各种数据保护技术
  • 高扩展性:IO接口模块热插拔,支持28张接口卡
  • 绿色节能:CPU智能调频,风扇精细化调速

热插拔接口模块总共28张全共享接口卡


Smart硬盘框


OceanStor OS,实现全闪存/混合闪存全互通

采用全新全闪存算法,提升SSD性能及寿命,底层RAID2.0+,数据重构速度显著提升,SAN与NAS并行访问,为不同业务提供最优访问路径,访问性能最优。SAN/NAS一体化双活,RTO=0,RPO≈0,双活+双仲裁,可靠性更高

  • CPU多核优化
  • Cache自适应算法
  • IO智能调度
  • 大块顺序写
  • 元数据独立分区
  • 垃圾回收

SmartMatrix架构,SAN与NAS可靠性业界领先

最大容忍7控制器失效,最大容忍1控制框失效。


三、OceanStorDorado——全闪存

优势:

  • 传:网络芯片 3X 降低网络时延
  • 算:鲲鹏920处理器 2X 性能提升
  • 智:AI芯片 50% 提升读命中率
  • 存:SSD控制芯片 2X 降低写时延
  • 管:管理芯片 30% 提升问题定位准确率

特点:

  • 2000万 IOPS 0.1ms 时延
  • 容忍控制器8坏7
  • AI使能智能运维

型号

类型 OceanStorDorado 5300 V6(中端入门级) OceanStorDorado 5500 V6(中端) OceanStorDorado 5600 V6(中端) OceanStor Dorado 6800 V6(高端入门级) OceanStor Dorado 18500 V6(高端) OceanStor Dorado 18800 V6(高端)
控制框高度 2U 2U 2U 4U 4U 4U
控制器扩展 2-16 2-16 2-16 2-16 2-32 2-32
最大磁盘数 1000 1200 1500 3200 6400 9600
每控核心数 24 64 96 128 128 192
双控缓存 256G 384G/512G 768G/1T 512G/1024G/2048G 512G/1024G/2048G 1024G/2048G
前端端口类型 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet 8/16/32G FC/FC-NVMe, 10/25/40/100G Ethernet
后端接口类型 SAS 3.0 SAS 3.0/100G RDMA SAS 3.0/100G RDMA SAS 3.0/100G RDMA SAS 3.0/100G RDMA SAS 3.0/100G RDMA

OceanStor Dorado 5300 V6产品参数

2U盘控一体,支持25块2.5” SSD盘单元

接口模块:每控3个可热插拔接口模块

接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth、12Gb SAS,Scale-Out 接口模块只能放置在1#槽位,Scale-up接口模块只能放在2#槽位,双控最大支持150 SAS SSD盘。

板载SAS级联接口:每控提供2个SAS级联口,板载接口每控板载4个10Gb Eth。


OceanStor Dorado 5500/5600 V6 NVMe产品参数

2U盘控一体,支持36块PALM SSD盘单元,双端口 PCIe 3.0 x 2 NVMe SSD ,1.92TB/3.84TB /7.68TB/15.36TB

  • 接口模块:每控6个可热插拔接口模块
  • 接口类型: 8/16/32Gb FC/FC-NVMe、10/25/40/100Gb Eth,Scale-Out 接口模块只能放置在2#槽位

OceanStor Dorado 5500 V6双控最大支持200块SSD

OceanStor Dorado 5600 V6双控最大支持300块SSD


OceanStor Dorado 5500/5600 V6 SAS产品参数


OceanStor Dorado 5500/5600 V6 SAS(100G RDMA)产品参数


OceanStor Dorado 6800 V6 产品参数

  • 4U4控独立机头
  • 每控制框最大支持28张接口卡,所有控制器共享
  • 接口类型:8/16/32Gb FC/FC-NVMe、10/25/40/100 Eth、12Gb SAS
  • Scale-Out 接口模块4张
  • 最大支持800盘/控制框
  • 后端可配置为SAS模式,接SAS 3.0接口卡;也可配置为PCIe模式,接100G RDMA后端接口卡。

OceanStor Dorado 18500/18800 V6产品参数

  • 默认整柜交付,支持第三方机柜;
  • 当前版本支持2个系统柜;
  • 每个系统柜支持1个控制框( 4个控制器),
  • 支持32个SAS SSD硬盘框和800块 SSD
  • 支持23个NVMe SSD硬盘框和800块 SSD;
  • 2个系统柜间采用100G RDMA直连;
  • 默认不需要配置KVM 和 SVP管理服务器。

KVM切换器能从本地或远程监视与控制多个计算机与服务器,由键盘、鼠标和显示屏组成的KVM控制台。简单的说,就是一组键盘、显示器和鼠标。

硬盘框形态

接口卡形态


四、OceanStor 9000 V5——文件存储-最佳视频云存储

最大容忍4节点故障,支持异地容灾,主备站点业务快速切换,掉电保护,1600路2Mbps视频录入,2层4K超高清编辑,单节点带宽高达2.8GB/s,全闪存单节点5.0GB/s,3节点到288节点的平滑扩展,140PB存储容量

特性:

全分布式架构,高可靠数据保护:N+1~N+4的数据保护,最大允许4块硬盘/节点故障,磁盘利用率最高达95%

小文件聚合,提升读写性能

  • 自动负载均衡,避免性能瓶颈(InfoEqualizer)
  • InfoRevive视频图像修复功能
  • InfoTurbo性能加速
  • 空间配额管理( InfoAllocator )
  • 企业级WORM (InfoLocker)(数据)
  • 快照技术(InfoStamper)
    • 元数据COW(Copy On Write)结合数据ROW(Redirect On Write)的快照技术
    • 目录级快照,单个目录最大创建2048个快照,整系统支持8192个快照,1秒内快照,不阻塞业务
  • 异步远程复制技术,InfoReplicator
    • 基于目录快照的异步远程复制
    • 目录级别复制
    • 支持主从、一对多、多对一、双向复制
    • 支持全量、增量复制
    • 复制任务实时监控,可设置保留的快照的个数
    • 用于异地容灾、远程归档、异地备份
    • 支持手工复制和定时复制,支持failover和failback,1小时内可完成failover配置,failback支持增量复制
  • 支持流控、断点续传,复制对业务带宽和时延的影响小于20%


五、OceanStor 100D——分布式存储

特点

  • “太平洋”高密节点,极致容量,为海量数据而生
  • 弹性EC:业界最高效EC算法,大幅提升磁盘利用率,配比最大支持22+2或20+4
  • 弹性EC:节点扩容,空间利用率自动提升,节点故障,系统可靠性不降级
  • 动态重删压缩
    • 在线重删
      • 1、IO写入缓存
      • 2、前台在线重删
      • 3、重删后数据落盘
    • 后重删
      • 1、IO写入缓存
      • 2、数据写盘
      • 3、数据重新读入缓存进行重删
      • 4、重删后数据落盘
  • 协议融合:多种协议共享一份数据,免除拷贝,省空间(HDFS,NFS)
  • 智能CPU智能分区算法,时延相比传统存储缩短20%
  • I/O级可靠:DIF端到端一致性校验,保障数据完整性
  • 系统级可靠: 数据冗余保护,最大容许4机柜失效业务无中断
  • 高可用EC冗余机制:
    • 机柜级冗余:最大容忍4个机柜同时失效
    • 节点级冗余:最大容忍4个节点同时失效
    • 硬盘级冗余:最大容忍4个硬盘同时失效
  • 10秒节点故障快速切换,业务感知最小化
  • 最全面的亚健康智能检测与预处理,提前排除故障风险,能检测硬盘,SSD卡,网络,服务器。
  • 方案级可靠:企业级分布式双活,站点内EC,站点间镜像。本地磁盘利用率80%以上,跨站点另存一份。
  • QoS优化:混合负载性能激增场景,实现关键业务性能的智能服务
  • 15分钟/TB高速数据重构,比传统存储恢复快20倍
  • 单桶1000亿对象存储
  • 小对象在线聚合,性能、利用率同时提升
  • 数据可靠:Erasure Coding+WORM防篡改
  • 大数据存算分离:大数据灵活扩展,降低TCO
  • 分布式Namenode,支持百亿级文件数
  • 兼容原生HDFS协议,全面对接Hadoop各组件

架构

专用硬件


六、FusionCube:边缘数据云解决方案

产品系列

FusionCube 2000 FusionCube 1000 FusionCube 500
边缘云 边缘微数据中心 边缘站点
数据量大(百TB-PB级) 百TB级数据量 十TB级数据量

软件架构


七、FusionInsight 大数据平台

数据规模 <1PB 100TB~EB 100TB~EB
数据类型 结构化 结构化、非结构化 结构化、非结构化
数据处理 批处理、交互式处理 批处理、交互式处理、流处理、AI 批处理、交互式处理、流处理、AI
数据Schema Schema Write,统一设计的数据Schema Schema Read,原始Schema、或无Schema,无统一设计的模型 统一元数据
接口类型 SQL 类SQL、Java、Scala、Python 统一SQL接口
事务支持 支持ACID 不支持 支持ACID
BI支持 直接在源数据上使用BI工具 需将数据源抽取加工到数据集市,才能使用BI 直接在源数据上使用BI工具
支持混合负载 不支持 支持 支持
存储与计算分离 支持 支持 支持
扩展能力 Shared Storage架构,扩展能力差 可横向扩展至10000节点 可横向扩展至10000节点

八、GaussDB

事务所具有的 ACID 四个特性:

  • 原子性(Atomicity):数据修改,要么全都执行,要么全都不执行 (增删改一并提交commit或回滚rollback)
  • 一致性(Consistency):事务在完成时,必须使所有的数据都保持一致状态(分布式架构所面临的挑战也在于此)
  • 隔离性(Isolation):高并发下事务不会查看中间状态的数据(锁 / undo log+MVCC)
  • 持久性(Durability):事务完成即是永久性的,该修改即使出现致命的系统故障也将一直保持 (Write Ahead Log / Redo Log)

关系型OLTP和OLAP数据库

  • 联机事务处理(OLTP): 存储/查询业务应用中活动的数据以支撑日常的业务活动;——————对应华为GaussDB T
  • 联机分析处理(OLAP):存储历史数据以支撑复杂的分析操作,侧重决策支持;———————对应华为GaussDB A

OLTP vs OLAP 比较分析

数据库是产品化的,而OLTP/OLAP是面向业务场景的系统。因此,面向不同场景的需求,客户对应数据库选型也有不同考量标准,包括内核引擎适配、可扩展能力、开发兼容性、成本等。

生产交易型处理 OLTP 海量分析型处理 OLAP
细节的 综合或者提炼的(面向主题)
实体-关系 (E-R)模型 星型模型或者雪花模型等多维数据模型
存储瞬时数据 存储历史数据、不包含最近数据(静态数据)
可变更的数据 只读、只追加
一次操作一个单元(常见行存储) 一次操作一个集合(适合列存储)
性能要求高、响应时间短 性能要求相对宽松
面向事务场景 面向分析场景
一次操作数据量小 支持决策需求
集中式 、 Share-nothing 分布式数据库架构 MPP 大规模并行处理的分布式数据库架构
数据量GB - TB级 数据量TB – PB 级
客户订单、库存水平、银行交易、账号查询、订票,等 客户收益分析、业务销售分析、市场细分、精准营销、决策支撑,等

GaussDB T数据库

华为GaussDB T数据库一体机

特点:

  • 支持单机,主备,分布式部署
  • 高可用:故障倒换时间<10s,支持闪回
  • 高扩展:分布式强一致,TPC-C扩展比>0.8
  • 高性能:基于鲲鹏920处理器,单机性能超越TOP数据库 30%,分布式16节点TPC-C测试可达千万级tpmC
  • 兼容性:支持SQL-92、SQL:1999、SQL:2003等一系列标准的常用语法,高度兼容TOP商业数据库常用的SQL语法,支持离线/在线迁移
  • 一体化方案:预集成、预调优、释放鲲鹏硬件架构高性能

GaussDB A数据库

特点:

  • 高可用:故障时查询自动重试,同城/异地双集群容灾,RPO<10min,RTO<30min
  • 高性能:核心EDW场景下分析性能持平Teradata,基于Kunpeng 920芯片,相对Intel x86同期芯片,TPC-H/TPC-DS性能提升20%,支持GPU异构多维硬件加速
  • 高扩展:单集群最大支持2048节点,商用256节点,在线扩容期间,重分布对业务透明
  • 一体化方案:预集成、预调优、释放鲲鹏硬件架构高性能
  • 计算融合:支持x86/Kunpeng、GPU等异构计算芯片的智能调度,实现算力最优
  • 多模融合:支持结构化、GIS、图,等多模数据融合存储与分析
  • 数据安全:数据透明加密,支持国密算法SM4,行级细粒度权限控制
  • **数据融合:SQL on Anywhere,支持与异构/同构数据源、FusionInsight大数据库互联互通

文章内容仅用于作者学习使用,如果内容侵犯您的权益,请立即联系作者删除,作者不承担任何法律责任。

×

喜欢就点赞,疼爱就打赏