搭载片面自研存储引擎 腾讯云存储面向AIGC片面更新

4月8日，腾讯云发表云存储处置打算面向AIGC场景片面更新，能够针对AI大模型数据采集荡涤、训练、推理、数据控制全流程提供片面、高效的云存储允许。数据显示，驳回腾讯云AIGC云存储处置打算，可将大模型的数据荡涤和训练效率均优化一倍，须要的期间缩短一半。

据引见，腾讯云AIGC云存储处置打算关键由对象存储COS、高功能并行文件存储CFS Turbo、数据减速器GooseFS和数据万象CI等产品组成，是国际首个成功存储引擎片面自研的云存储处置打算。目前，曾经有80%的头部大模型企业选用了腾讯云AIGC云存储处置打算，包含百川智能、智谱、元象等明星大模型企业。

此前，腾讯云曾经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。

腾讯团体副总裁、腾讯云与智慧产业事业群COO兼腾讯云总裁邱跃鹏曾经示意，大模型将开创下一代云服务，腾讯云努力于打造“最适宜大模型的云”。

处置大模型全链路数据处置难题

AI大模型的研发消费流程，分红数据采集与荡涤、模型训练、推理三大环节，各环节都触及海量的数据处置。

腾讯云对象存储COS允许单集群控制百 EB 级别存储规模，提供方便、高效的数据公网接入才干，并允许多种协定，充沛允许大模型PB级别的海量数据采集。在数据荡涤环节，大数据引擎须要加快地读取并过滤出有效数据，COS经过自研数据减速器GooseFS优化数据访问功能，可成功高达数TBps的读取带宽，撑持计算高速运转，大大优化数据荡涤效率。

在模型训练环节，通常须要每2-4小时保留一次性训练成绩，以便能在GPU缺点时时能回滚，因此加快地读写checkpoint（审核点）文件也成了是否高效应用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo ，面向AIGC训练场景的启动了专门优化，每秒总读写吞吐到达TiB/s级别，每秒元数据功能高达百万OPS，均为业界第一。3TB checkpoint 写入期间从10分钟，缩短至10秒内，使大模型训练效率大幅优化。

大模型推理场景对数据安保与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等才干，为数据消费从“用户输入——预处置——内容审核——版权包全——安保散发——消息检索“业务全流程提供有力撑持，优化AIGC内容消费与控制形式，顺应监管导向，拓宽存储边界。

同时，随着训练数据和推理数据的增长，须要提供低老本的存储才干，缩小存储开支。对象存储服务提供了高达 12 个 9 的数据耐久性和99.995% 的数据可用性，能够为业务提供继续可用的存储服务。

业内惟一全自研存储引擎

出色的功能体现，源自腾讯云自主研发的存储引擎与自研技术。这也是国际目前惟一成功存储引擎片面自研的云存储处置打算。

腾讯云自研的散布式对象存储引擎YottaStore，允许恣意多正本及纠删码冗余形式并存，在大幅优化可用性、牢靠性及功能的同时大幅降落老本。基于YottaStore，腾讯云对象存储服务COS作为一致的数据存储池，允许单集群1万台主机，单集群百EB级的存储。

在数据荡涤环节中，数据减速器GooseFS可依据数据的经常使用频率，将数据智能存储至内存、计算集群的本地盘、或可用区的全闪存储集群等不同级别的缓存中，低老本缩短IO门路，优化数据访问功能。相比起从对象存储COS中间接读取，GooseFS可以提供亚毫秒级的数据访问提前、百万级的IOPS和Tbps级别的吞吐才干，有效优化数据荡涤效率。

面向模型训练场景的CFS Turbo，则是目前业内惟一自研的并行文件存储系统。

基于自研散布式高功能存储引擎Histor，CFS Turbo底层经过自研用户态协定栈和RDMA等技术，缩小数据的屡次拷贝与虚构化消耗，大幅降落了存储时延、优化吞吐功能；在运行侧，CFS Turbo自研并行文件传输协定，成功了多链路并行访问，大大优化了吞吐效率。原来的文件存储受限于传统NFS协定，单客户端只能单链路访问，也造成吞吐存在功能瓶颈。

此外，针对AIGC的checkpoint记载、大视频文件读写、小图片读写等场景，腾讯云CFS Turbo还自研了分级缓存、自顺应条带化、散布式元数据的技术，大幅优化了AIGC场景下的读写功能。除了大模型企业以外，CFS Turbo也被宽泛运行于智能驾驶与工业仿真场景，包含博世汽车、蔚来等智能驾驶厂商，上海电气、深势等仿真场景，墨镜天合、追光等影视特效场景。

往年1月，在沙利文联结头豹钻研院颁布的《2023年中国云存储处置打算市场报告》中，腾讯云存储中选“指导者”营垒，位列第一。随着AIGC时代来临，腾讯云也在始终迭代优化自身产品，服务最新场景需求，协助企业掌握时代红利。