存储系统是IT系统的关键组成局部,担任数据的牢靠存储和IO访问,其评估规范关键为存储的牢靠性、性能和可提供的存储容量。目前的消息技术畛域的热点依然是云计算、AI、大数据剖析以及5G带动的IoT,而传统企业级运行的IT系统曾经日趋完善。
目前的IT市场格式关键由互联网厂商、传统IT厂商和新兴初创型技术公司组成,而IT系统的树立部署关键包含私有云、企业自建数据中心(On-Premises),以及近两年开展起来的边缘计算。
Gartner于往年7月颁布的《2022年存储与数据包全技术成熟度曲线报告》显示出如下未来存储市场开展趋向:
下文将对数据中心、私有云、边缘计算这三种关键部署场景中的存储技术的开展趋向启动剖析。
数据中心关键承载企业的消费业务,以ERP、CRM、SCM等传统运行为主。目前此类运行已关键驳回全闪存存储,其中NVMe全闪存逐渐成为干流趋向。同时存储与前端运行主机的网络存储协定开局驳回NVMe over Fabrics(NVMe-oF)。
NVMe-oF是一种存储网络协定,经过网络将NVMe命令传送到远程NVMe子系统,以应用NVMe 全闪存的并行访问和低提前,该规范定义了一个协定接口,旨在与高性能fabric技术配合经常使用,包含经过成功RDMA技术的InfiniBand、RoCE v2、iWARP或TCP。
NVMe-oF是一种经常使用NVMe协定将访问裁减到远程存储系统的非易失性存储器(NVM)设备的方法。这使得前端接口能够衔接到存储系统中,裁减到少量NVMe设备,并延伸数据中心内可以访问NVMe子系统的距离。NVMe-oF的指标是清楚改善数据中心网络提前,并为远程NVMe设备提供近似于本地访问的提前,指标为10us。今后,NVMe over TCP很或许会开展成为NVMe-oF十分关键的数据中心传输机制,VMware在2021年已发表对NVME over TCP的官网支持。
目前对NVMe-oF的软件支持仍处于起步阶段,但随着它的裁减和成熟,像金融、电信运营商等消息化树立上游者,要么经常使用NVMe over RoCE v2部署NVMe-oF,要么在基于TCP/IP的产品上部署NVMe-oF,以应用最新的以太网部署,从而简化过渡并提供投资包全。
目前NVMe和基于NVMe-oF的处置打算关键运行场景包含相关型数据库或内存数据库的事务处置、AI/ML、HPC等须要高IOPS、高带宽和极低访问提前的场景。
私有云目前基于软件定义存储技术,驳回散布式存储架构提供散布式块存储、对象存储以及散布式文件访问服务。
目前私有云存储技术有两个新的开展趋向:xPU和容器存储。
xPU包含SmartNIC、DPU(Data Processing Unit)、IPU(Infrastructure Processing Unit)、FAC(Function Accelerator Card)、NAPU(Network Attached Processing Unit)等。这是一类具备公用配件减速器和可编程处置器的设备,可减速网络、安保和存储性能,为数据流、包处置提供性能优化,提供减速、卸载和本地服务,部署为ASIC、FPGA或SoC。
xPU除了能够衔接到网络外,还可提高数据运营和服务、主机可用性以及网络性能和安保性。xPU具备板载存储器和多种网络接口,可以独立运转。xPU经过虚构替换、安保和运行交付控制(ADC)等卸载性能,将主机性能提高多达50%。目前xPU关键被AWS、Microsoft Azure、阿里云等私有云驳回。
xPU可成功经济高效的数据中心环境,同时提高性能。经过卸载高开支的各种性能,它们准许主机运转更多上班负载,从而提高主机的资源应用率,在某些状况下,还可以降落基础设备软件的License费用。
AI/ML上班负载、3D建模、地震剖析和大数据剖析的兴起对存储和网络发生了史无前例的需求,从而造成提前和带宽疑问。xPU也越来越多地用于高性能全闪存存储系统中,以提高IOPS并最大限制地缩小提前。xPU可以提供基于fabric的NVMe-oF和GPU间接存储,成功NVMe-oF减速和AI/ML减速,减速远程资源之间的数据传输,可用于HPC、AI/ML以及各种高性能剖析等运行场景。
私有云环境须要新的数据治理工具和流程,以便提供由容器中运转并由K8S编排的有形态运行程序访问的存储服务。K8S存储规范化受益于容器存储接口(CSI)的引入和日益普及,CSI接口由云原生计算基金会(CNCF)推行。
容器原生活储(CNS)是专门设计用于支持容器上班负载,专一于满足共同的云原生架构、粒度和性能需求,同时提供与容器治理编排系统的深度集成。CNS与微服务体系结构准则坚持分歧,并遵照容器本机数据服务的要求,包含与配件有关、API驱动以及基于散布式软件体系结构。
许多基于容器的运行程序须要支持耐久性数据,容器原生活储专门设计用于运转云原生运行程序,其通用基础通常基于散布式、软件定义的一致存储池,并具备数据服务的容器级粒度。容器原生活储的整个堆栈通经常常使用K8S启动编排,以治理容器生命周期集成。
容器存储支持部署有形态云原生运行程序,从而提高弹性、可用性以及混合云和多星散成,并且消弭了在构建和部署现代云原生运行程序的端到端环节中成功便携式基础设备矫捷性的瓶颈。容器原生活储可以部署在本地或云中,成为混合云和多云部署基础设备的最佳选用。由于CNS函数基于软件,因此可以在容器中成功,从而可以经常使用与容器化运行程序相反的业务流程函数对其启动治理。容器存储最适宜新的云本机运行程序,或许将启动严重重构订正的运行程序。未来私有云会选用合乎微服务架构准则并合乎容器原生数据服务要求的存储处置打算,例如与配件有关、API驱动、基于散布式架构,并且能够支持边缘、中心或私有云部署。
边缘计算包含许多特定运行场景,比如加密、视频编码、AI/ML面部识别等,其特点是数据要在本地极速处置,并经过网络将处置结果传输到数据中心或许私有云/混合云中。目前的技术限制关键在于本地数据处置才干和网络传输带宽无余。经过紧缩/解紧缩引擎,使驱动器能够在每GB闪存中存储更少数据,并能在窄带内坚持高传输性能是边缘计算的中心存储需求,而最新盛行的计算存储将成为适宜边缘计算的最佳存储技术。
计算存储(Computational Storage)将主机数据处置从CPU主内存卸载到存储设备,触及位于存储设备上的更复杂的处感性能。计算存储驳回FPGA、ASIC更弱小的处置才干,SSD上性能低功耗CPU内核。由于须要将操作义务卸载到SSD驱动器中,主机运行程序必定能够与计算存储的存储驱动器充沛通讯。环球存储网络工业协会(SNIA)目前已颁布计算存储V1.0规范,这个放开规范框架使主机主机运行程序能够与计算存储设备启动交互。
计算存储是一种新型存储驱动器,可为提前敏感型运行场景(如AI/ML、IoT、沉迷式和混合事实流以及本地和边缘的高频买卖)提供分歧的性能。边缘计算是计算存储运行的一个关键场景,无利于散布式处置和电源效率的运行程序未来也可以应用计算存储。在边缘计算中,计算存储可缩小与运行程序相关的内存治理当战,这处置了与存储相关的数据移动疑问。与传统SSD相比,计算存储的低功耗和低占用空间提高了每瓦性能,降落了边缘运行的功耗老本。同时,将更弱小的嵌入式计算引擎与SSD控制器启动集成可以大幅缩短数据处置期间,提高紧缩效率,改善其它关键驱动性能。
计算存储缩小在存储和运行程序计算资源之间移动数据时的性能低效率、能耗和提前敏感疑问,就近处置数据并剖析数据生成和存储的位置,经常使用户能够在设备级别提取业务剖析数据。随着数据量的参与和数据移动网络带宽成为瓶颈,计算存储可以清楚缩小边缘上班负载的提前。存储效率的清楚优化和老本的降落将使计算存储成为边缘计算的最佳技术选用。
但不论哪类存储,企业用户都要从性能、牢靠性、稳固性、备份容灾等多角度考量,在面对中心业务运行场景的打算选用时,对开源存储均持审慎态度。特意是自身对安保稳固要求比拟高的金融客户,还要面临后续软件保养、更新迭代等一系列技术应战。因此,在中心业务、消费系统和大规模部署状况下,企业用户选用存储系统的观点依然“激进”,相比开源存储,自研存储系统依然是企业用户中心业务的首选。
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载联系作者并注明出处:https://duobeib.com/diannaowangluoweixiu/8074.html