cloudera(cloudera 和hortonworks 合并后)所有产品不再提供社区版,用户无法获取新的功能。2021年1月31日开始,所有cloudera软件都需要有效的订阅,且订阅费昂贵。此外,cdh 6和hdp 3将是cdh和hdp的最后企业版本,企业版用户无法继续获取新的功能和性能提升。至2022年3月份,cdh/hdp全部停止服务(eos),用户没办法获取售后支持。那些已经部署了cdh/hdp的企业面临着一个迫切的问题,自己原先部署的平台该怎么办?结合国产化浪潮,大数据平台该往什么方向发展?
本文讲从四个方面与您分享选择星环科技自主研发的大数据基础平台tdh替代来cdh/hdp的“4点原因”。
多模型统一架构,技术领先,打造更强平台
transwarp data hub(tdh)是星环科技(星环信息科技)自主研发的企业级一站式多模型大数据基础平台,采用领先的多模型统一技术架构,9种存储引擎支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。相比于迁移到cdp或者国内封装的hadoop商业版,用户迁移到星环科技tdh后,tdh多模型统一架构提供统一sql引擎、统一计算引擎、统一分布式存储管理、统一资源调度,统一内联架构高效搞定湖仓集一体、htap等复杂场景,无需拼凑组件散装架构。
tdh能够存储 pb 级别的海量数据,同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分析等数据分析功能,被广泛应用在离线数据批处理、高并发的在线数据服务、数据集市、数据仓库、数据湖、图存储分析、空间数据存储、实时数据处理等各类大数据业务场景,帮助企业,更全面、更便捷、更智能、更安全地运用数据,加速企业数字化转型。
成套的工具组件让系统的安装部署、扩容升级、安全防卫、风险告警、权限管理等工作变得更便捷。
此外,星环科技大数据基础平台tdh在技术领先性、性能、易用性、安全性以及凯发官网首页的售后服务等诸多方面具有优势。
技术领先性:tdh产品技术始终领先于同类型产品2~3年,在大数据技术领域较早实现多项技术突破,例如2015年tdh4.0就完整支持分布式事务,同类型如hive在多年后任然不能很好支持;2016年发布的tdh5.0推出新一代资源管理与调度技术,将容器技术和大数据技术有效结合,提供有效的资源隔离技术同时带来极致的安装和升级体验,cloudera 2020年也计划相关产品使用这一凯发k8官网下载的解决方案;2020年tdh 7.0推出了创新的多模技术架构,实现了通过统一sql引擎对关系型、文本、图数据、时空、时序等数据模型进行操作,在行业内处于先进水平。
性能:tdh自研高性能分布式计算和存储引擎,整体性能是cdp的 5~25倍。
易用性:星环科技tdh采用自研统一计算引擎,提供统一sql接口处理,支持sql 2003标准与存储过程,并且支持oracle/db2/teradata 等sql 方言。tdh提供sql开发工具、轻量级etl工具、数据调度工作流工具、图形化数据建模工具、交互式分析与cube设计工具、元数据管理工具、可视化报表、大数据治理工具、灾备工具等大量易用性工具。
安全性:星环科技tdh提供了大数据安全合规能力,在企业构建大数据能力的同时,确保数据业务的安全合规。平台基于敏感识别与分类分级,帮助企业实现大数据资产的分类管理,分级保护。支持多种数据安全防护能力,包括静态脱敏、动态脱敏、数据水印,加强了数据业务事中控制能力。平台还支持以数据为中心的监测与审计能力,能识别敏感数据操作并进行用户实体行为分析,能及时进行告警,提供事后可查溯源的能力。
运维:tdh提供开箱即用的可视化运维监控、安全管控工具,容器技术带来极致的安装、升级、补丁体验。
售后:tdh原厂超过1100人研发与支持团队和超过3万名星环科技认证的大数据工程师,专业性更强,售后无忧。
自主研发,国产生态,满足信创要求
自主可控方面tdh有绝对优势,tdh产品通过工信部自主代码扫描测试。cdp完全是国外软件,不可控,国产软硬支持不好。开源封装产品依赖开源,不能自主可控,很多组件受美国法律限制,不能规避“被制裁”风险。部分产品有license风险,如es已经改开源license策略了,后续商用存在一定的风险。
同时星环科技tdh已完成与主流信创生态厂商的适配互认工作,适配长城飞腾、华为泰山、浪潮等服务器,鲲鹏、飞腾cpu,麒麟、统信等os,并有官方认证,支持基于arm与x86服务器服务器混合部署并有落地案例,满足信创验收要求,帮助各行业用户提升大数据系统的国产化水平。
高度兼容,简单3步,实现平滑迁移
tdh基础存储与计算组件兼容cdh/hdp,可以实现平滑迁移,大大降低企业迁移成本低。
同时,星环科技(星环信息科技)提供专业的迁移工具transwarp backup (tbak),帮助用户通过简单的三步即可实现数据与业务的一键迁移,高效便捷。整个迁移过程操作简单,配置灵活,通过3步即可完成所有的迁移工作,同时用户可以对迁移过程进行全流程实时监控,保障整个迁移过程顺利进行。
第一步,基于tbak提供可视化的界面进行cdh和tdh的集群配置。
第二步,创建cdh迁移方案。tdh提供服务级和表级的迁移策略,以及对源集群,灾备集群,调度策略等进行配置。在调度策略中用户可以根据实际情况进行配置,例如可以设置在业务空窗期的每天凌晨2点进行数据迁移。同时,用户可以设置相应的告警策略,当迁移发生问题时可以第一时间收到告警信息并对问题进行排查和恢复。
第三步,执行迁移任务和结果检查。当集群配置完成后,所有的迁移方案将在迁移方案界面进行管理和操作。用户可以选择相应的迁移方案进行操作,例如立即执行和设置执行策略。若点击执行迁移任务,系统会进入到自动迁移状态,同时可以监测迁移任务执行的整体状态信息,并且可以对每一步的执行情况进行实时监测。当迁移发生故障时,系统会发出执行故障的告警,方便用户对故障发生的阶段进行排查和故障恢复。
整个迁移过程均在可视化界面完成,操作简单,通过3步即可完成所有的迁移工作,同时用户可以对迁移过程进行全流程实时监控,保障整个迁移过程顺利进行。
大量案例,经验丰富,保障安全可靠
星环科技(星环信息科技)积累了大量的迁移成功案例,经验丰富,可以保障整个迁移过程安全可靠。例如,某通信集团核心业务系统存量数据10pb级别,每日增量数tb,批处理作业数千个,数据量大,业务价值高。原有系统使用cdh oracle混合架构,cdh 有近200节点,主要承担数据批处理加工,oracle对接上层应用,cdh散装架构和cdh oracle混合架构带给客户巨大的开发运维成本,同时批处理性能、稳定性和安全性也无法满足客户数据增长需求。最终星环科技(星环信息科技)在项目一期用tdh成功迁移了客户cdh oracle混合架构的数据平台,“一个顶两”,并且数据稽核、联邦计算、资源调度、安全性、高可用、易用性等关键能力得到增强,真正实现“降本增效”。迁移全程用时6个月不到,充分体现了tdh对cdh的兼容性,以及oracle方言和存储过程支持能力。随着一些新应用上线,目前tdh集群生产环境扩容至近200个节点,直接对接经营分析、计费、客服、账务、结算等系统。
以上就是企业选择星环科技tdh实现cdh/hdp的“4点原因”。此外,tdh作为一款国产化自主可控的大数据基础平台,可以替代oracle、ibm db2、teradata等传统主流数据库在分析型场景中的应用及替代elastic search在分布式搜索场景中的应用,并在政府、金融、能源、制造业等十多个行业内落地,帮助企业打造更全面、更便捷、更智能、更安全地国产化数字底座,加速企业数字化转型。