企业级云服务提供商青云QingCloud (qingcloud.com)旗下存储产品线QingStor全面升级,包括升级QingStor NeonSAN 3.0、QingStor对象存储3.0、QingStor文件存储2.0,及全新硬件产品KubeSphere KF3000容器一体机和QingStor NF6000分布式全闪存储一体机。
QingStor是一款面向“高性能,多场景”的企业级分布式存储产品,由青云QingCloud自主设计和研发。到目前为止,QingStor存储家族总共有四款产品:QingStor NeonSAN、QingStor对象存储、QingStor文件存储、QingStor融合存储。
作为青云QingCloud目前收入的重要来源之一,此次升级发布的QingStor系列新功能、新产品被寄予厚望。
据介绍,在“国产化替代”的时代背景下,此次QingStor升级发布的核心之一包括对存储全栈产品线进行国产化。
1 QingStor全面国产化
事实上,8年前,QingStor从起步开始,就确立了每一款存储产品都从零开始、独立进行架构设计和开发的的目标,完全没有参考当下开源的存储架构。
QingStor存储产品线研发负责人王煜介绍:“市面上几乎所有开源存储或者基于开源存储的商业存储产品,都有通用、统一的存储底层,比如Ceph,再向上封装各种不同的存储接口。QingStor跟它们的理念完全不同,QingStor每一款存储产品都是独立进行架构设计和开发的。”
QingStor存储产品线研发负责人王煜
王煜表示,为什么我们会做这样的安排,是因为企业的存储场景非常多样和复杂,不存在一种架构设计能够完全满足所有存储场景。有些场景需要极致性能、有些需要大容量、有些需要高IOPS、有些需要高吞吐、有些则需要通用的接口等等,这都需要独立设计来达到极致性能。
以QingStor NeonSAN为例,希望打造一款拥有极致性能的分布式存储产品, QingStor团队在技术设计时,采用缩短I/O路径栈,去掉本地文件系统,提高协议转换效率等方法,打造一款拥有极致性能的分布式SAN存储产品。因而,在市面上分布式存储产品中,QingStor NeonSAN是第一款、也是唯一一款能够很好支持Oracle RAC的存储产品。
恰恰是QingStor最初就坚持的独立研发设计,为其此次升级全栈国产化奠定了良好的基础。
在当下的经济背景以及世界格局下,国产化已经成为IT厂商和企业客户绕不开的话题。王煜强调:“此次QingStor升级发布最核心的是把存储全栈产品线进行国产化。除了软件架构部分、底层芯片和操作系统,QingStor也跟很多国产化厂商进行合作和互认证,包括鲲鹏、海光、飞腾、浪潮OpenPower等,还有操作系统,统信软件、麒麟等。希望通过国产化适配,能够让QingStor存储产品线实现全栈国产化,从而消除企业客户的顾虑和担忧。”
2 款一体机产品亮相
此次围绕QingStor NeonSAN 3.0版本的场景能力提升和功能升级,QingStor发布了两款一体机,分别是KubeSphere KF3000容器一体机和QingStor NF6000分布式全闪存储一体机。
KubeSphere KF3000容器一体机这款产品是青云QingCloud为帮助企业级用户快速落地容器平台专门推出的一款产品,它结合了KubeSphere 以及QingStor NeonSAN两款产品本身的企业级能力。
据QingStor存储产品线产品经理冯相东介绍,在 KubeSphere KF3000一体机上,青云QingCloud做了代码优化和软硬件一体化的调优工作,为客户提供整体的商用级服务。目前这款产品的核心组件已经过规模化生产验证。
性能方面,在 KubeSphere KF3000一体机上批量创建100个pod及pv卷,只需70秒;提供10万IOPS时,pod上应用的I/O时延,能保证在0.17毫秒。
另一款全新硬件产品QingStor NF6000分布式全闪存储一体机,是一款基于标准x86服务器,NF6000分布式全闪存储一体机可以实现3节点100万IOPS,时延在0.5毫秒以下。
除了性能是最大的亮点外,作为一体机,QingStor NF6000分布式全闪存储一体机提供开箱即用的体验,插电后简单地配置就能把存储用起来。在运维层面,针对已选定的硬件,还可以做硬盘点灯的功能,减少运维层面的工作内容。
3 大存储平台齐升级
此次,青云QingCloud还对QingStor旗下的三款产品QingStor NeonSAN、QingStor对象存储、QingStor文件存储进行了功能升级。
其中,QingStor NeonSAN 3.0版本新增四大功能:
第一,异构存储池支持。方便用户在一套集群内使用不同硬件配置的节点,给客户更灵活的选择,不同的业务可以放在不同节点的存储池上。
第二,卷粒度的QoS。它不单纯是存储层面的,QoS还可以对接物理机、云平台里的虚机、容器里的Pod,和每个卷上面的应用形成更紧密的关联,保证不同存储集群内不同业务对QoS的需求。
第三,在协议层面的全RDMA互联。目前不管是在物理机、虚机还是容器平台上,QingStor NeonSAN都可以支持端到端的RDMA的互联。
第四,对于业界最主流的NVMeoF协议的支持。QingStor NeonSAN在网络层面,以NVMeoF通过NVMe协议访问后端存储上NVMe接口的SSD,进一步提高存储的访问效率。
除此之外,QingStor NeonSAN 3.0还做了六项优化,包括效率、运维、对用户使用友好性方面的优化。
QingStor对象存储3.0的功能升级方面,QingStor对象存储的产品经理贾斌介绍,通过升级,QingStor 对象存储 3.0成为一款鱼和熊掌兼得的存储服务,即兼得存储海量数据和数据存储的超高性能。
QingStor对象存储3.0 带来两部分新能力:第一是服务更多数据场景(如数据迁移、数据保护、数据备份、AI视频监控),第二是更强大、更具优势的存储性能,以应对用户更复杂多样的需求场景,在一些小文件并发场景的测试里,性能最大提升达52%。
具体而言,QingStor对象存储3.0新功能包括:对象版本控制,通俗理解就是给存储数据的历史版本,以此来保护数据;数据的追加写入,应对诸如视频监控的实时数据存储业务;数据跨区域复制,以及官方生态工具的重大重构升级。
贾斌介绍,以AI与视频监控场景为例,在QingStor对象存储3.0里,彻底打通视频影像数据的生命周期,从海量数据存储到数据分析处理,到数据归档。通过SDK让智能终端直接写数据到对象存储,简化了端到存储的流程。平滑对接外部数据AI分析引擎,如数据深度分析、图像识别、机器学习都有很好的应用。利用对象存储自身的生命周期管理,智能的对历史数据进行冷热分层归档。
最后,是此次发布的QingStor文件存储2.0。
文件存储在技术架构实现上非常复杂和艰难,目前在世界范围内能把文件存储,尤其是能够做好一款分布式文件存储的厂商很少。正如王煜所言,“如果评价存储技术是整个IT技术的皇冠,文件存储应该是皇冠上的明珠。”
QingStor文件存储产品研发负责人黄蒙介绍,今天青云QingCloud发布的QingStor文件存储2.0版本,是为通用场景设计的,这款产品具备三个能力:拥有通用的标准文件接口,拥有多层次的扩展性,可以同时适配差异化的文件存储需求。
QingStor文件存储2.0升级的具体内容包括:性能升级。对于存储产品来说,对性能的追求没有止境。这次QingStor文件存储2.0技术团队通过“局部服务架构的优化”和“采用更先进的编程语言助力”两个手段来达成提高性能的目的。同时,QingStor文件存储2.0带来一些新的企业级特性,包括基于quota 容量的限制、数据压缩/加密功能等。
具体而言,QingStor文件存储2.0在局部服务架构优化方面,一是在单个逻辑接入节点上,把各个协议服务的I/O核心逻辑下沉或者卸载到统一的I/O服务中,由I/O服务负责Cache的管理和维护。Cache的利用率显著提高,总体占用内存资源更少。二是额外增加智能路由功能,可有效地避免极端情况下处理效率的问题,比如可以减少多个节点对同一个文件的并发写入冲突。QingStor文件存储2.0采用更好的Rust 编程语言来增强“性能+安全健壮”。
黄蒙介绍,“上一个版本的文件存储中,我们使用 Go语言来开发 I/O 逻辑。虽然 Go 语言以很好的原生高并发处理能力著称,但经过我们的实践和观察,用它来开发重 I/O的应用,还是有其难以回避的问题。比如 GC机制有额外运行时开销,Go语言跟C语言结合时有额外调用开销,以及开发者无法精确控制其携程调度等等,这在 I/O 开发的场景下会被放大。所以我们决定选择一种性能更高的开发语言来重构 I/O 逻辑,我们选择了系统开发编程语言的新贵 Rust 语言。Rust 语言大大提高了开发出的产品的健壮性。”
据介绍,截至目前,QingStor产品家族已经积累数万家企业客户,同时部署在公有云和私有云。在公有云部分,QingStor全线产品已经上线和部署在青云QingCloud的8个公有云区。在私有云部分,QingStor几乎覆盖了全部主流的行业,包括银行、证券、制造、能源、医疗等等。