天翼云OOS率先突破SMR技术瓶颈,14TB领跑国内存储市场
2.1 兼容性
5、数据读取:KVDisker直接发送SCSI指令读取数据,对超长的数据并行发送多条SCSI指令,充实操作磁盘哀求行列,优化读取速度。
存储数据量大,需按期删除或删除率低的环境,都很是合用SMR磁盘。采用SMR磁盘可以利用更少的处事器,更少的机排斥间,更少的能源耗损。
KVDisker计划了一套动态挑选接纳的Zone的机制。依据系统的忙碌水平、容量利用环境确定是否进行GC以及GC的并发数。依据Zone中数据的最后写入年华、有效数据比例挑选接纳的Zone。GC挪移的数据,会凭证写入时偶然生命周期差异别离写入差异的Zone,使冷热数据疏散。KVDisker的GC算法极大的落低了GC挪移的数据量,淘汰了对业务的影响。
1、若采用Drive Managed SMR模式,在磁盘内部实现顺序写入,应用不需做任何修改。由于上层业务写哀求是随机的,磁盘固件资源有限,机能无法担保,险些无法满脚业务需求,只合用于写入后不再修改的归档数据,无法用于OOS尺度存储。据业内人士透露,曾有公司为了落低本钱但又不想投入研发利用此类磁盘,导致机能过低,最终放弃利用。
动态挑选接纳的Zone的机制,依据算法极大的落低了GC挪移的数据量,最大限度的减小了对业务的影响
SMR技能将来也可应用于微波帮助磁记录(Microwave-Assisted Magnetic Recording, MAMR)和热帮助磁记录技能(Heat-Assisted Magnetic Recording, HAMR)技能来提高容量,但对磁盘的缔造工艺改变较大。SMR技能只需对现有磁盘做少量修改即可实现,今朝如希捷、西数等主要磁盘供给商的产物线中都有SMR产物。
2、若采用Host Managed SMR模式,中国舆情网,将磁盘分为多少个Zone,Zone之间可以随机写,Zone内部必需顺序写。Host Managed SMR将Zone管理接口提供应主机,由主机担保数据的顺序写入。由于引入了新的磁盘范例、新的管理呼吁,所以没有现成的文件系统可以支持,需要对文件系统进行修改或从头开辟新的文件系统。今朝还没有成熟的文件系统实现了对Host Managed SMR磁盘的兼容。
SMR技能增加了容量,落低了本钱,但这种技能应用也带来了问题与挑战。磁道重叠后必需顺序写入,不然会对相邻磁道的数据造成损坏。正因为云云,今朝业内常用的磁盘文件系统,譬喻EXT/XFS等,由于需要随机的修改数据从而无法运行在SMR磁盘上,这对SMR的应用带来了不小的艰巨。据业内人士体现,今朝仅有微软Azure等极个体国际云计较巨头有脚够的技能局限商用SMR磁盘。
KVDisker在OOS系统中的位置如图2所示。个中,
2.4 下盘速度
在机能方面,天翼云从元数据、数据、空间分派三个维度,全面的晋升了读取、写入、遍历、检索的效率。
应用场景2:云盘和归档数据需要的空间大,删除的频率低。
(2)Ostor层认真工具的冗余担保;
1、元数据:比较文件系统大而全的元数据布局,KVDisker的元数据仅生存了年华戳、数据位置、校验值等须要的数据,这样KVDisker的元数据很小,大大的提高了检索效率。
今朝SMR技能已乐成应用在中国电信天翼云OOS(工具存储)产物系列中,并在天翼云OOS第五代存储产物中进行了局限商用,其成熟度获得了实践证明。同时,天翼云打算在OOS第六代(国度级存储网络)中更大局限的利用。据业内磁盘厂商相识,天翼云或是海内第一家商用SMR技能的公司,成为存储规模创新应用的标杆案例。
中国电信天翼云OOS通过产物计划和研发实力,在软件层做了大量的优化、消除,办理了技能晋升带来的负面影响,打破了SMR的技能范围性,浮现叠瓦式存储给单碟存储容量晋升带来的优势,既可以或许提高单机存储容量的上限,又可以幸免带来读写效率、读写机能上的瓶颈。
(1)对数据安详性做完整校验,来担保数据的靠得住性、一致性;(2)针对校验堕完工就实时觉察并批改错误,以有效担保数据的靠得住性;
应用SMR磁盘主要存在以下几个方面的问题:
连系磁盘供给商做普及性测试,针对测试中存在的问题,通过应用层分派空间担保指令的顺序发送,以幸免SCSI指令乱序导致的问题
3.垃圾接纳效率
今朝部门主流磁盘供给商都已经发布了基于氦气的14T规格的SMR磁盘。由于氦气的密度惟独氛围的1/7,更小的风阻大大落低了磁盘动弹功耗,同时也使得磁盘碟片可以更靠近以晋升单磁盘容量,少机房空间占用,落低能源耗损。与业界通用的8T一般盘较量,8T一般盘和14T盘的功耗根基是一样的。如图3所示,采用14T SMR磁盘约莫可以节减40%的机排斥间,落低43%电量耗损。
在数据重构时,由整个集群的磁盘参加,极大的晋升了重构速度,而且在最洪流平上落低数据丢失的大概性
4.数据重构年华久
相关文章:
- [资讯前沿]人工智能在传统行业落地应用 中国需打破三重障碍
- [资讯前沿]打破欧美垄断!中国高校包揽“航天奥林匹克”冠亚军
- [资讯前沿]【图解科创板】神工股份:国内领先的半导体级单晶硅材料供应商(附影子股持股路径)
- [资讯前沿]明阳智能:国内领先的风机新能源装备制造商
- [资讯前沿]33项医疗技术水平国内领先
- [资讯前沿]不断打破外企技术垄断的中国智造RTO
- [资讯前沿]当阳人朱明礼:带领企业填补国内空白,打破国外技术垄断
- [资讯前沿]基建地产股强势打破僵局!放量上涨选择方向?没那么容易
- [资讯前沿]横琴社会投资项目建设管理体制机制改革不断深化 致力国内领先的工程管理创新实践
- [资讯前沿]永安:预糊化淀粉热销全国 产品达到国内领先水平