全国咨询热线:021-54902525
您的当前位置: 首页 > 产品展示 > 数据交换

数据交换

EDS存储摘两金立异架构打破小文件功能瓶颈

咨询热线:021-54902525

时间: 2024-03-17 06:37:39    来源: 雷竞技登录

  • 产品详情

  近来,由百易传媒(DOIT)主办的“2022数据与存储峰会”在北京顺畅举办,本次大会以“数据觉悟新年代”为主题,旨在讨论新年代数据存储的新方向和对优异公司进行赞誉,服气云企业级存储EDS凭仗其优胜功能,接连斩获“2022年度分布式存储金奖”“2022年度文件存储金奖”两项大奖。

  服气云EDS为何能在这次峰会上接连取得两项大奖?在深服气存储处理方案总监王志成“存储怎么样应对GPU算力爆破增加下的小文件功能应战”主题讲演中咱们或许能知道答案。

  王志成指出,以GPU为中心的智能算力比重由2016年的3%进步至2020年的41%,GPU算力快速地开展衍生出许多数据密布性职业使用,这些使用数据的存储面对三大应战:

  许多事务出产的悉数进程都会发生海量KB级小文件,比方芯片规划的前端规划场景,实景三维建模场景等,但无论是传统NAS存储仍是新式的分布式存储,因为元数据处理架构、网络时延等约束,都难以有用处理小文件处理功能差的问题上。

  以基因测序为例,受当下环境和人口老龄化的影响,一个基因测序服务企业每年新增的数据量就高达10PB级。传统存储跟不上现存事务的数据增加,想要扩展却要面对硬件与厂商绑定、本钱昂扬、扩展周期长等一系列问题。

  职业事务需求正在出现多样化的演进趋势,对数据存储的大带宽支撑才能、海量小文件拜访延时和杂乱场景的适应性都提出极高的要求,存储需求更高效的数据拜访才能。

  “在当下的环境,用户要一套功能更高、扩展性更强的企业级存储体系,来进步事务数据出产功率。”王志成这样提到。

  王志成引证Gartner陈述中“软件界说是存储仅有革新性技能”的观念,点明未来存储的开展之道。比较传统存储,以软件方式界说存储可提供更优异的场景适应才能、更高的性价比和更灵敏的扩容才能,在软件界说的基础上,服气云EDS经过全自研高功能文件体系PhxDFS和五大中心技能进步存储归纳才能:

  为了处理功能缺乏的问题,EDS将一个完好目录分片后分发到各个存储节点处理,充沛的使用起一切节点的CPU算力,然后打破元数据功能瓶颈。比照Ceph架构的分布式存储,元数据处理才能可进步三倍以上。

  在海量小文件场景下,元数据的规划或许达TB级,为了将更多的元数据缓存到有限的存储内存空间,EDS自研元数据压缩算法,该技能最大可支撑7:1的压缩比。在百亿小文件场景下完成元数据、热数据百分百射中内存缓存,让数据“存得下”“找得快”。

  EDS寻求高功能的一起,相同重视数据读取功率。在专有客户端形式下,EDS将客户端内存、存储节点内存和大容量NVMe固态盘构建成三级缓存,完成数据和元数据就近拜访,射中即回来,该技能将热数据的拜访时延下降到us等级。比较曩昔,数据拜访更快、功率更高。

  EDS在存储事务网和存储私网均支撑以RoCE v2协议代替TCP/IP协议,可将网络时延下降90%以上,事务联通仅需9-16us,可大起伏缩短事务数据的联通时刻。

  EDS将文件IO在高功能层(NVMe或SATA SSD)聚合后追加写入容量层(机械盘),可有用处理小文件写扩大形成的容量糟蹋,使用机械盘自身次序写功能优势,逐渐下降EC写赏罚影响,进步写功能的一起可有用进步60%以上的回刷速度,进一步削减数据存储、调用的耗时,进步事务功率。

  服气云企业级存储EDS维护数据也敬畏数据。在不断的技能立异中活跃实践,现已累计参加交给超越20000个客户和300+例的PB级项目。在未来,EDS将继续打磨产品,与用户携手共创高功能存储年代的数据雄图。