华为云存储All-Flash战略:成就不凡的微秒时代

国内新闻 浏览(1151)

在云计算领域,如果云供应商有能力提升其服务水平,则意味着他们未来将具有差异化的竞争力,并且很容易在市场中形成独特的优势。

华为云存储正在云计算基础服务领域做到这一点。近日,在“成都非常规 - 华为云城2019年峰会”上,华为云正式发布了存储全闪存战略,并推出了战略全新一代超快速IO云硬盘的第一款产品,标志着华为云存储这种基本的云服务可以显着提高性能,是第一个将云存储从毫秒级带到微秒级的云服务。

在华为云的观点中,将存储架构,芯片和算法等一系列技术的重建和突破背后的硬盘和数据处理替换为毫秒到微秒。

img_pic_1562656198_0.jpg

华为云如此大胆地率先全面拥抱Flash是时代的潮流。在5G,物联网和人工智能等技术迅速崛起,技术堆叠效应日益突出的同时,市场大大增加了对实时应用的需求。因此,云服务提供商必须能够以更低的延迟和更大的带宽提供数据库访问,并智能地帮助用户挖掘数据价值。

华为云CTO张玉玺表示,在普遍认知的时代,万物智能化,万物互联,云存储需要进入100微秒的量级,以满足用户应用的需求。首先需要做的是突破“最后一英里”的瓶颈。

“最后一英里”的瓶颈在哪里

“在5G时代,瓶颈将不再是广域网。” 5G不仅带来了传输带宽和速度的显着提升,还带来了对云端,端端和端端的全面重新配置。随着传输带宽和速度的质的飞跃,AR/VR,自动驾驶仪和人脸识别等应用将大量出现,随后的数据泛滥和数据处理将进一步需要延迟。

在张玉玺看来,微秒时代“最后一英里”的挑战在于媒介和技术堆栈。众所周知,在云数据中心,“最后一英里”是数据通过服务器软件,网络,存储服务器,最后到达媒体的过程。机械硬盘驱动器(HDD)长期以来一直是存储介质的支柱。大多数数据存储过去都依赖于它。然而,尽管机械硬盘的容量已经增长多年,但由于其机械部件的限制,延迟总是不能实现突破。其次,有必要重构技术堆栈,突破原有架构的软件瓶颈,尽可能缩短软件,网络和服务器的延迟。

这就是华为云此时推出全闪存战略的原因。据张玉玺介绍,华为全闪存战略在市场和技术层面已经足够成熟,华为云将稳步推进全闪存战略,以解决“最后一公里”的瓶颈。

img_pic_1562656198_1.png

首先,Flash的成本继续下降。根据知名市场研究公司TrendFocus的数据,今年第一季度硬盘销量同比下降13%,而每GB SSD的成本继续下降。 “这么多年过去了,机械硬盘延迟总是4毫秒,我们必须使用新一代技术来减少延迟。”张玉玺表示,“使用Flash逐步取代机械硬盘是大势所趋,从行业报告来看,今年全球Flash在容量和收入方面将超越机械硬盘.Flash自身的发展趋势也是增加容量和降低成本。因此,在未来的云中,Flash将占据大部分存储介质。“

其次,除了媒体成本外,华为云还通过其他技术手段进一步提升了Flash的性价比。张玉玺说:“华为的核心算法可以提高数据压缩率,这意味着单位成本会降低。此外,华为的芯片可以提高数据处理能力。其他竞争对手无法使用。简而言之,华为云可以从头到尾提高Flash的可靠性,从而大大降低故障率,为客户带来技术红利,使价格/性能比更好。“

为此,华为云创建了新一代智能数据库,实现全闪存战略,满足各种新兴应用对实时数据的需求,引领云存储从毫秒到微秒。

两项创新+三项祝福

华为云的智能数据库由五部分组成:引擎,架构,芯片,算法和AI。它被概括为“两个创新+三个祝福”。 “两个创新”是新的Flash-Native存储引擎和全栈架构创新,而“三个祝福”则是全系列自主开发的芯片,硬核数学算法和AI祝福。

img_pic_1562656198_2.png

据报道,全新的Flash-Native存储引擎完全是为Flash设计的。 Flash-Native存储引擎使用Flash友好的数据布局,将Flash的生命周期提高了五倍以上,并具有11 9个数据持久性。 Flash-Native存储引擎还可以支持不同的负载应用,充分发挥多核调度的优势,保证最佳的数据访问路径,从而产生不到100微秒的延迟和100多倍的并发访问性能。

新的全栈架构可以使Flash发挥其最佳性能和效率。通过整个堆栈架构的创新,可以分离数据IO和控制。该芯片可以重建数据读写,软件可以实现智能调度。可以实现最短的IO路径和最低的延迟。在数据中心层面,通过优化最小扁平网络,实现1:1无阻塞和非融合网络,通过液冷技术,AI温度控制,模块化数据中心等技术进一步降低能耗。实行绿色环保。

这是“两个创新”。

首先,华为云可以充分利用整个系列自研芯片的优势。从“计算,传输,存储和智能”四个维度,它可以与IO路径和数据处理的整个过程紧密配合,实现整个堆栈的深度定制优化。其次,华为云存储还采用了多种核心自研算法,可以多次增加存储写入带宽和数据重配置带宽。同时,自适应差分压缩算法将数据压缩率提高了三倍,可以大大降低网络拥塞的概率。长尾延迟减少了30%,延迟稳定性更好。最后,华为云将AI技术集成到分布式存储的整个生命周期中,智能识别用户业务模型,实现存储平台的自我调整和自我演化,使应用“更快,更快”。

可以说,华为云智能数据库是引擎,架构,芯片,算法,AI等多种技术集成的结果。目前,华为云是业内为数不多的云服务提供商之一,能够集成和优化多种技术,提升整体服务水平。通过完整的堆栈技术功能,所有链接都经过协作优化,最终呈现给用户。走出最好的云服务。

极速的IO云硬盘:迈出微秒时代的第一步

这次,华为云通过存储全闪存策略,定义了“全闪存,全范围,+智能,全栈创新”的战略布局,并将逐步完成块,文件和对象存储的全闪存演进。在本次峰会上,华为新一代超快IO云硬盘值得一提。

根据张玉玺的介绍,华为的超快IO云硬盘的延迟低至50~100μs,具有4GB/s的带宽和高达100万的IOPS性能。它是第一个在100微秒内进入云硬盘的云设备。在华为云的视野中,在企业应用云趋势加速的背景下,除了直播和游戏等互联网服务的高延迟要求外,制造业和工业等其他行业也是可靠和及时的。云应用程序。扩展具有极高的要求。

当然,云上仍有许多应用程序对极端性能不敏感,例如基于对象的存储应用程序,以及一些数据备份和归档应用程序。张玉玺直言不讳地说:“从长远来看,Flash是取代机械硬盘的一大趋势。华为的第一步是完全闪存块存储,然后逐步完成文件和对象的全闪存演变。”

微秒时代背后的价值

回顾云计算市场的历史,云服务提供商需要通过技术创新和投资不断实现更好,更具成本效益的云服务,然后实现规模经济以换取自身的成本优势。这是技术和服务能力的长期价值竞争的背后。

目前处于从毫秒到微秒时代的转折点,华为云首次采用全闪存,这是对引擎,架构,芯片,算法和人工智能的全面创新。这意味着华为云将率先将此基础云服务升级到一个级别,这意味着华为云可以为用户提供更加极端性能和体验的云存储服务,实现非凡的微秒时代!