未来10年的存储创新,就被这个技术承包了

国际新闻 浏览(1715)

原始技术云报告2天前我想分享

技术云报告原创。

在2019年,随着NVMe技术的突破和发展,超大规模数据中心和高性能计算用户将很快受益。在后摩尔定律时期,NVMe技术和NVMe在面料技术方面的发展将成为在CPU性能增长较慢的背景下推动IT技术创新的新动力。当然,所有这些都是实际需求推动的背后。

回顾历史,NVMe的发展可谓非常迅速。 2014年,第一个NVMe技术解决方案只是服务器上的驱动程序,负责处理存储访问操作。

如今,许多超大规模数据中心,高性能计算解决方案供应商,在节点上测试NVMe。由于NVMe的解决方案是针对节点的面向比例的,因此它具有高度的灵活性,同时还具有非常高的性能优化空间。

虽然NVMe可以为需要非易失性存储的应用程序提供很大帮助,但NVMe下一阶段对结构的影响将更加深远。

以太网的带宽已经爆炸,100GB/s和400GB/s似乎很遥远。如果存储可以使用这样的功能,那么服务器似乎是相同的。

在市场上,Mellanox,Pure Storage和Excelero都有类似的创新。以太网解决方案总体上相对简单。这些创新解决方案的想法是以简单的方式收集存储资源。虽然它是远程访问,但它看起来像访问本地存储一样。

降低存储网络复杂性的好处显而易见,有助于创建更大的存储集群并以更少的成本完成更多任务。

在未来,随着NVMe在面料上的成本大大降低,NVMe将在技术解决方案和市场中释放更多能量。

成本降低,这意味着它可以大规模使用。由于购买量大,超大规模数据中心可以以与SATA相同的价格使用NVMe。对于普通用户来说,在3GB/s带宽而不是500MB/s SATA上花费更多钱也是合适的。

虽然NVMe的成本会降低,但前景仍然不错,但如果你真的想将新技术推向市场,那么市场上至少有几种类似的解决方案。每个人都来到教育市场,然后有资格挑战传统的存储架构。

NVMe解决了传统存储架构的新挑战

从市场上可以看出,Excelero正在研究NVMe over fabric技术,而Mellanox,Pure Storage和NetApp也正在研究,具体做法也不尽相同。然而,面对实际的用户需求,要解决的问题有许多相似之处。

例如,Excelero拥有大量欧洲银行客户。该银行需要运行SAS来分析负载。基于传统方案进行日常分析大约需要40个小时。由于速度太慢,无法及时提供每日报告。受欧盟有关规定影响。

在这种情况下,简单地说你不怕浪费,多点NVMe磁盘无法解决问题。

该银行的解决方案是在GPFS上构建SAS网络集群。同时,可能有八个节点在同一数据集上工作。数据集无法拆分,因为这是一个延迟和带宽敏感的应用程序。检索数据时,对存储带宽和随机IO性能提出了很高的要求。

Excelero解决方案提供的共享资源池只解决了这个问题,减少了小IO读写的延迟。读写带宽的主要瓶颈是网络。但是,生成分析报告的时间减少到六小时。

Excelero的解决方案非常具有代表性,值得参考。这足以说明NVMe在结构上的价值,因此由NVMe over Fabric构建的远程存储提供的共享资源池可以利用GPFS等大规模并行系统。

存储群集的另一种方法是复制每个主机上的数据集。这样,资源开销非常大。为了保持每个数据的一致性,主机互连技术通常需要传输大量指令,这是非常低效的,并且集中式共享存储是非常必要的。

同样,一家名为CMA的公司正在开发一种支持采用NVMe技术的Oracle Exadata的集群解决方案。

NVIDIA的DGX系统允许多个GDX-1同时工作,也是一个集群系统。有些人正在考虑如何让GDX更好地使用NVMe。

例如,金融部门有时需要将工作量分散到多个DGX-1。有些朋友可能会立即想到DGX-1农场。 DGX-1服务器场的问题是它只能使用SATA磁盘。如果切换到NVMe,带宽和延迟将发生很大变化。

尽管DGX-2开始支持NVMe,但数量非常有限,并且只能使用机箱中可用的有限数量的NVMe SSD。

所有DGX-2都可以使用NVMe资源池,以便所有机器都可以免费访问共享内存吗?这也是一个有趣的问题。不久之后,NVIDIA将推出类似的解决方案。

人工智能场景将是推动

NVMe存储创新的强大动力

人工智能将是推动NVMe在织物上发展的另一个主要因素。人工智能技术的发展极大地帮助了那些行业对算法进行反向测试,以及医学成像和地理信息系统(GIS)。

然而,由于在训练期间需要处理大量图像,这对存储提出了巨大挑战,并且人工智能的能力有限。

尽管ResNet等基准测试使用许多小图像来测试并让人们看到一些性能,但在许多情况下,实际上有很多大图像。

例如,MRI和卫星图像的分辨率非常大,并且图像大小可以是几兆比特甚至几十兆比特。利用这些用于训练的数据,存储系统的延迟和带宽要求非常高。

在银行的账户交易系统中,还需要扩展集群以处理实时请求并构建集中式资源池以应对随机访问要求。如果是数十TB的数据集,就不可能在每个主机上复制一段数据并及时同步数据。唯一合理的方法是构建一个单独的存储资源池。

简而言之,NVMe将迅速发展,核心原因是需求驱动。这些特定工作负载以及业务量较大的公司必须重建基础架构。

在当今的IT领域,主流创新主要来自云和超大规模数据中心。新技术在这一领域经常出现或蓬勃发展,NVMe的发展也将爆发。

但是由于现有IT架构的影响和新解决方案的成熟,在市场上真正看到NVMe的能力必须等待。

可以肯定的是,NVMe将带来许多新的突破。这一突破将对IT领域产生深远的影响,目前尚不清楚它是否会影响未来十年的技术。

[技术云报告原创]

微信公众号:技术云报告

本文为第一作者的原创,未经授权不得转载

收集报告投诉

技术云报告原创。

在2019年,随着NVMe技术的突破和发展,超大规模数据中心和高性能计算用户将很快受益。在后摩尔定律时期,NVMe技术和NVMe在面料技术方面的发展将成为在CPU性能增长较慢的背景下推动IT技术创新的新动力。当然,所有这些都是实际需求推动的背后。

回顾历史,NVMe的发展可谓非常迅速。 2014年,第一个NVMe技术解决方案只是服务器上的驱动程序,负责处理存储访问操作。

如今,许多超大规模数据中心,高性能计算解决方案供应商,在节点上测试NVMe。由于NVMe的解决方案是针对节点的面向比例的,因此它具有高度的灵活性,同时还具有非常高的性能优化空间。

虽然NVMe可以为需要非易失性存储的应用程序提供很大帮助,但NVMe下一阶段对结构的影响将更加深远。

以太网的带宽已经爆炸,100GB/s和400GB/s似乎很遥远。如果存储可以使用这样的功能,那么服务器似乎是相同的。

在市场上,Mellanox,Pure Storage和Excelero都有类似的创新。以太网解决方案总体上相对简单。这些创新解决方案的想法是以简单的方式收集存储资源。虽然它是远程访问,但它看起来像访问本地存储一样。

降低存储网络复杂性的好处显而易见,有助于创建更大的存储集群并以更少的成本完成更多任务。

在未来,随着NVMe在面料上的成本大大降低,NVMe将在技术解决方案和市场中释放更多能量。

成本降低,这意味着它可以大规模使用。由于购买量大,超大规模数据中心可以以与SATA相同的价格使用NVMe。对于普通用户来说,在3GB/s带宽而不是500MB/s SATA上花费更多钱也是合适的。

虽然NVMe的成本会降低,但前景仍然不错,但如果你真的想将新技术推向市场,那么市场上至少有几种类似的解决方案。每个人都来到教育市场,然后有资格挑战传统的存储架构。

NVMe解决了传统存储架构的新挑战

从市场上可以看出,Excelero正在研究NVMe over fabric技术,而Mellanox,Pure Storage和NetApp也正在研究,具体做法也不尽相同。然而,面对实际的用户需求,要解决的问题有许多相似之处。

例如,Excelero拥有大量欧洲银行客户。该银行需要运行SAS来分析负载。基于传统方案进行日常分析大约需要40个小时。由于速度太慢,无法及时提供每日报告。受欧盟有关规定影响。

在这种情况下,简单地说你不怕浪费,多点NVMe磁盘无法解决问题。

该银行的解决方案是在GPFS上构建SAS网络集群。同时,可能有八个节点在同一数据集上工作。数据集无法拆分,因为这是一个延迟和带宽敏感的应用程序。检索数据时,对存储带宽和随机IO性能提出了很高的要求。

Excelero解决方案提供的共享资源池只解决了这个问题,减少了小IO读写的延迟。读写带宽的主要瓶颈是网络。但是,生成分析报告的时间减少到六小时。

Excelero的解决方案非常具有代表性,值得参考。这足以说明NVMe在结构上的价值,因此由NVMe over Fabric构建的远程存储提供的共享资源池可以利用GPFS等大规模并行系统。

存储群集的另一种方法是复制每个主机上的数据集。这样,资源开销非常大。为了保持每个数据的一致性,主机互连技术通常需要传输大量指令,这是非常低效的,并且集中式共享存储是非常必要的。

同样,一家名为CMA的公司正在开发一种支持采用NVMe技术的Oracle Exadata的集群解决方案。

NVIDIA的DGX系统允许多个GDX-1同时工作,也是一个集群系统。有些人正在考虑如何让GDX更好地使用NVMe。

例如,金融部门有时需要将工作量分散到多个DGX-1。有些朋友可能会立即想到DGX-1农场。 DGX-1服务器场的问题是它只能使用SATA磁盘。如果切换到NVMe,带宽和延迟将发生很大变化。

尽管DGX-2开始支持NVMe,但数量非常有限,并且只能使用机箱中可用的有限数量的NVMe SSD。

所有DGX-2都可以使用NVMe资源池,以便所有机器都可以免费访问共享内存吗?这也是一个有趣的问题。不久之后,NVIDIA将推出类似的解决方案。

人工智能场景将是推动

NVMe存储创新的强大动力

人工智能将是推动NVMe在织物上发展的另一个主要因素。人工智能技术的发展极大地帮助了那些行业对算法进行反向测试,以及医学成像和地理信息系统(GIS)。

然而,由于在训练期间需要处理大量图像,这对存储提出了巨大挑战,并且人工智能的能力有限。

尽管ResNet等基准测试使用许多小图像来测试并让人们看到一些性能,但在许多情况下,实际上有很多大图像。

例如,MRI和卫星图像的分辨率非常大,并且图像大小可以是几兆比特甚至几十兆比特。利用这些用于训练的数据,存储系统的延迟和带宽要求非常高。

在银行的账户交易系统中,还需要扩展集群以处理实时请求并构建集中式资源池以应对随机访问要求。如果是数十TB的数据集,就不可能在每个主机上复制一段数据并及时同步数据。唯一合理的方法是构建一个单独的存储资源池。

简而言之,NVMe将迅速发展,核心原因是需求驱动。这些特定工作负载以及业务量较大的公司必须重建基础架构。

在当今的IT领域,主流创新主要来自云和超大规模数据中心。新技术在这一领域经常出现或蓬勃发展,NVMe的发展也将爆发。

但是由于现有IT架构的影响和新解决方案的成熟,在市场上真正看到NVMe的能力必须等待。

可以肯定的是,NVMe将带来许多新的突破。这一突破将对IT领域产生深远的影响,目前尚不清楚它是否会影响未来十年的技术。

[技术云报告原创]

微信公众号:技术云报告

本文为第一作者的原创,未经授权不得转载

http://www.sugys.com/bdstgfIFW/C7O