近日,tpc benchmark express-bigbench(简称tpcx-bb)更新了最新的世界排名,星环科技大数据基础平台tdh在性能和性价比两个维度上均获得了tpcx-bb sf3000全球排名第一。tdh此次成功打榜并登顶大数据测试基准tpcx-bb,代表着国产大数据平台在全球大数据领域的又一次突破,也意味着星环科技tdh对hadoop体系大数据平台(cdh为代表)具有高兼容性,能够实现国产化平滑替代,帮助用户打造高性能、低成本、自主可控的数字底座。
tpcx-bb,大数据分析系统基准测试规范
tpcx-bb是事务处理性能委员会tpc制定的衡量基于hadoop的大数据系统的性能基准测试,通过模拟零售商线上和线下业务中的30个常见分析查询来评估硬件和软件的性能。这些查询使用sql语言表达结构化数据,并使用机器学习算法表达半结构化和非结构化数据。其中,sql查询可以使用hive或spark,而机器学习算法则使用机器学习库、用户定义的函数和过程程序。
tdh,高性能、低成本、高兼容
星环科技大数据基础平台tdh在2018年成为全球首个通过数据库领域难度最高的基准测试tpc-ds及官方审计的产品,标志着星环科技在分布式数据库领域的技术能力处于世界顶尖水平。此次登顶大数据领域的测试标准tpcx-bb,标志着星环科技的大数据技术迈向新的高度。
从测试结果可以看出,国产大数据平台tdh通过常规服务器配置(cpu配置低于记录中的其他案例),性能提升了139%,具备超高性能的同时也体现了大规模集群下,性能可以线性扩展的能力。与此同时,用户成本只有第二名的1/3,让用户能够使用上高性能、低成本的国产大数据平台。
如上面提到的,tpcx-bb是衡量基于hadoop的大数据系统的性能基准测试,以sf3000为例,在过去的记录中打榜的基本都是cdh和hdp等hadoop发行版产品,星环科技tdh此次跑通tpcx-bb并成为全球第一,表明其对cdh、hdp等具有高度兼容性。tdh基础存储和计算组件兼容cdh/hdp,迁移成本低,同时提供便捷的迁移工具,实现数据一键迁移。目前,tdh已有大量成功替换cdh/hdp案例。
软硬件深度融合,为用户提供更高性价比的选择
星环科技通过将企业级大数据平台软件和硬件深度结合,实现计算、存储、网络、虚拟化和应用融合的超融合一体机txdata。通过ssd闪存加速、网络极速优化、gpu/fpga深度优化、系统优化等,使得txdata性能得到飞速提升,提供优秀的扩展性和高可用性,将数据处理负载性能和稳定性最大化。同时,txdata密度可达普通服务器的2~4倍,帮助用户节省机房空间和能源消耗,一体机的交付方式实现开箱即用,降低部署和运维成本,加速业务上线,给用户提高更高性价比的选择。
此外,星环科技tdh已完成与主流信创生态厂商的适配互认工作,适配长城飞腾、华为泰山、浪潮等服务器,鲲鹏、飞腾等cpu,麒麟、统信等os,并支持基于arm与x86服务器混合部署,通过了中国信通院云原生湖仓一体大规模“一数多芯”专项评测,在10000节点x86、arm混合部署集群下,湖仓数据集成、计算、存储、数据治理以及其他湖仓能力等五大能力域均满足云原生湖仓一体测试要求,成为首个通过该专项评测的数据产品平台。在性能上,tdh根据不同硬件和场景进行相应的优化,充分发挥国产arm架构多核cpu的优势,部分场景下性能超过x86架构。
星环科技自创建以来一直秉持着“自主原创,领先一代”的技术发展策略,为用户提供更先进架构、更强性能、更高性价比、更安全可控的国产大数据平台。目前,星环科技大数据基础平台tdh已在金融、政府、能源、交通等十多个行业帮助企业构建数字底座,并成功替代国外传统数据库(oracle、ibm db2、teradata等)和大数据平台产品(cdh、hdp、cdp等),帮助企业更全面、更便捷、更智能、更安全地运用数据。