西部数据以创新存储架构推动数据生态蓬勃发展-凯发官网首页
 
 
  »  凯发官网首页-凯发k8官网下载  »  资讯  »  正文

西部数据以创新存储架构推动数据生态蓬勃发展-凯发官网首页

2021年8月13日              
关键字:  

过去的十年间,移动互联网蓬勃发展,云计算、大数据及人工智能等新型应用不断涌现,这不止提高了对计算能力的要求,也促使由facebook等互联网科技巨头发起的ocp(开放计算项目),在此期间诞生且飞速发展。项目秉持着分享创新和专利开源理念,以发展面向下一代数据中心的服务器、存储等创新硬件,成为了业界的重要潮流之一。

根据市场调研机构 idc 的统计和预测,ocp基础设施的市场规模将在未来5年内保持16.6%的年复合增长率,并在2024年达到338亿美元。届时符合ocp标准的服务器在全球服务器中所占的比例,也将从2020年的18%提升至24%。

存储能力作为开放计算项目持续推进发展的过程中不可忽视的一部分,与计算能力有着密不可分的关系。从数据的深度挖掘和分析,到其商业价值的最终实现,都是以存储为前提的。因此,开放计算的持续进步,在对基础计算单元服务器不断进行创新的同时,也对存储架构提出新挑战。

这种挑战来自多个维度:首先是数据快速增长带来的容量挑战。根据预测,仅2024年一年产生的数据就有143zb,但即便数据增长如此快速,但最终也只有不到2%的数据被存储下来,即大概1.6到1.9zb;其次是人工智能等通过计算支持基于数据的预测和决策的应用,带来了快速访问数据的需求;然后是成本负担的加重,因为很难以较低的成本实现同种介质既满足快数据又满足大数据的需求;以及在开放计算背景下的节能挑战。

在7月27日北京举行的第三届开放计算中国社区技术峰会(ocp china day)上,西部数据公司副总裁兼中国区业务总经理刘钢表示:“用户在数据中心领域对于存储方面亟需满足的需求就是大容量、快速访问、降低成本和降低能耗。但是,很难有一个存储介质或是存储设备,能够同时满足这四个方面的需求。这在一定程度上体现出了硬盘和基于闪存的固态盘协同发展的必然性,也说明了市场需要创新的数据存储基础架构,以实现各方面、各种存储场景的需求。”

在西部数据看来,不同类型的数据有着不同的使用频率和场景,需要不同的数据处理方式,自然也需要不同的存储凯发k8官网下载的解决方案,于是乎,就有了西部数据针对数据存储的需求提出的创新存储架构:分层存储。例如极热存储适用于内存、持续低延时的应用,热存储适用于低延时、高iops、高带宽的应用如hpc,温存储适用于有较高性能iops和带宽要求的应用如ai训练,冷存储适用于多次读取和高容量需求的存储备份等应用,极冷存储适用于大块写入的长期数据归档。针对这些不同的存储凯发k8官网下载的解决方案使用不同的存储产品,便可在兼顾性能与成本的同时,满足用户多元、快速变化的需求,进而优化数据中心的存储架构,达到最佳的存储效果,并帮助企业实现更低的tco(总体拥有成本)。

以idc行业为例,如今的数据中心使用的最大容量硬盘大概在18tb的cmr和20tb的smr,这两种盘分别应对冷数据和极冷数据的存储,但去年同一时期,数据中心大容量硬盘普遍是14tb。单盘容量密度提高带来的是整体数据中心的部署及运营成本的降低。在配置不变的前提下,14tb到18tb的提升,即可实现减少22%服务器的部署和降低21%每tb的功耗,并最终带来17%的tco降低。

但硬盘容量的增加也会带来新的问题。那就是当磁盘碟片密度增加时,由于碟片之间、磁头与碟片之间的距离更近,硬盘会更容易受到服务器内部的噪声、振动等外界干扰的影响,造成非常大的性能变化。另一方面,硬盘密度的增加会使服务器风扇功率、频率和速度也随之上升,反过来又加剧了对硬盘的干扰。根据西部数据的监测结果,声波产生的声压对硬盘的影响占比约80%,远超其他结构性振动带来的20%的影响。对此,西部数据专为声学主导环境开发了新工具:西部数据 vibro-acoustic工具,用于准确监测声压的变化以及它对于硬盘性能带来的影响,来保证部署高密度存储设备的时候能够让存储和整体设备保持高性能。

当然,在践行存储架构改革的道路上,西部数据也不是孤身一人,携手浪潮联合推出的分布式存储凯发k8官网下载的解决方案,基于西部数据ultrastar dc hc550 cmr hdd 18t硬盘和浪潮nf5466m5服务器,部署快速、运维方便,有助于减少分布式存储相关异常情况造成的损失,而基于西部数据hdd的腾讯云对象存储凯发k8官网下载的解决方案,通过将腾讯的无目录层次结构、无数据格式限制、可容纳海量数据的分布式存储服务tencent cos,以及腾讯应用场景优化的高密度存储服务器与西部数据16t/18t企业级硬盘的有机结合,实现了存储桶空间无容量上限扩展,并大幅提高了tencent cos的使用效率、可靠性与安全性,同时实现了成本最优。西部数据一直在与第三方的软件公司进行分布式存储相关的开发和生态系统的构建。

除了大数据、高密度存储的凯发k8官网下载的解决方案之外上文也提到了开放计算同样面对着以快数据为主的,快速的、高性能的计算需求。目前市场上常见的凯发k8官网下载的解决方案是用高性能的ssd(如ultrastar dc sn840 nvme ssd)满足极热数据的需求,以及用主流ssd(如ultrastar dc sn640 nvme ssd)满足热数据以及温数据的需求。

西部数据在面对ssd日益增长的密度与容量需求时充满信心,因为除了领先的闪存技术外,西部数据还具备非常重要的先决条件:大规模的flash生产和供应能力。西部数据及其凯发k8官网下载的合作伙伴铠侠一起大概拥有全世界34.9%的flash的产能,同时,西部数据也构建了全世界最大的千兆晶圆厂,足以实现规模优势。

规模优势使得西部数据可以最快投入最新的闪存技术,以其最新发布的第六代3d闪存技术举例,它在增加层数的同时,将每层的横向密度提高了约10%,从而将每片晶圆的比特数大幅提高了约70%,在极大降低成本的同时也使得性能得到了飞跃。

固态硬盘纵向集成方面,西部数据也有不小的领先。集成完全自主的nand flash、控制器和固件于一体,有利于性能和稳定性的提升与优化,达到持续、稳定的高性能。西部数据还创新了分区存储概念,在去年zns进入nvme 1.4标准之后,今年推出了相应对产品。与传统ssd写入时相比,同样在发生垃圾回收的情况下,采用分区存储技术的ultrastar dc zn540 zns ssd即使没有预留空间,写入性能也几乎没有下降,既降低了成本,又在时延方面有很强的优势。

而在计算架构方面,随着技术的迭代更新,未来的架构会呈现出“存算分离”的趋势,将传统架构进行分解,这些关键的资源不会依赖于某一台设备,也不会只被一台设备访问,它会被高速的网络连接,进行资源池化和共享,构成开放式可组合的分解式架构,这也是未来开放计算硬件部分的一大趋势。

因此,存储资源也势必会在未来进行分解和池化,让服务集群共享,以西部数据支持nvme-over-fabric技术的openflex data24 nvme-of存储平台来说,它能支持24个高性能的固态盘通过低延迟的以太网连接被服务器集群使用,相当于每一台服务器里面都有了快速的固态盘,能够提供快数据的访问,这样既能够做到设备之间的数据的共享,也能够降低成本。

“西部数据提供的存储凯发k8官网下载的解决方案不只是在云端,包括边和终端,是从芯片到系统,从云到边到端的全线存储凯发k8官网下载的解决方案。从计算设备到iot的设备,再到数据中心高密度的硬盘、ssd和平台的凯发k8官网下载的解决方案,随着开放计算扩展到除了数据中心以外更多的地方,西部数据的存储方案和存储产品也能相应地支持和配合开放计算的发展。”刘钢表示。

十年之间,拥抱开放计算的公司与日俱增,这不仅仅是因为开放计算独特的技术优势,更得益于公开、共享的设计思维。随着开放计算生态的逐步完善和发展,创新的边界将会进一步被打破,更多的技术融合可能会在意想不到之处发生,开放计算所推动的技术革新或许让下一代数据中心超乎人们的想象。而西部数据所提供的全新的技术创造、更优化的产品和可扩展、高可靠性、低延时、高性能及成本最优的凯发k8官网下载的解决方案,正在赋能传统和新一代超大规模数据中心以及5g、ai、边缘计算等新兴应用场景,不断推动数据生态基础设施朝着低碳增效的方向健康发展。

责任编辑:
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。凯发k8官网下载的联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
排行榜
编辑推荐
文章推荐
博客推荐
视频推荐
2021/7/29
2021/7/29
2021/7/29
网站地图