星环科技作为国内出色的基础软件厂商,致力于围绕数据全生命周期为企业提供基础软件及支持。transwarp data hub(后文统称tdh)是星环科技自主研发的企业级一站式多模型数据管理平台。
凭借星环科技创新的技术架构和深厚的产品研发能力,自诞生以来,tdh平台帮助数千家企业实现了对海量数据的统一管理与集群服务的统一运维。通过构建业内极具特色的计算引擎与创新的系统架构持续为用户智能化管理以及开发数据赋能,大幅降低了综合成本,实现了智能运维、高效运维的生效目标。
基于星环极速大数据平台构建核心商业系统,是企业实现一站式数字化转型、加速业务创新的致胜关键。近期,星环科技发布了tdh8.1.0版本,相信很多企业级平台的用户对这款新产品非常感兴趣。本文将从产品功能、特点以及最新版本的优化几个方面帮助您快速了解tdh8.1.0版本。
业务痛点
随着信息技术和人类生产生活深度融合,全球数据呈现爆发增长、海量集聚的特点。各自独立的大数据和数据库产品如同一个个数据孤岛,成为不同场景、项目、业务、部门间数据互通的壁垒。为了应对业务部门的扩张以及不可预测的需求变化,企业在进行数据融合创新的时候,通常会针对不同的项目场景配备不同的数据模型。例如,时序数据、点边图数据、消息队列等。
虽然引入不同的数据模型来解决不同场景的问题可以满足大部分业务的需求,但是同时也会引发一系列的问题。例如,数据冗余、资源配置困难等。并且,引入多种数据模型的处理还意味着运维人员需要熟练掌握每一款大数据产品的相关知识,极大的增加了运维压力与学习成本。
此外,针对数据平台的运维通常会出现如下几种情况:
1. 没有统一运维入口,传统的查询运维难以完成指标数据的可视化,易缺乏或遗漏关键监测指标;
2. 由于日志格式非结构化,海量日志的处理十分复杂,急需强大的搜索能力和聚合能力;
3. 数据碎片化、监控对象颗粒度庞大的情况下,自动化监控实现渺茫,从而带来故障发现的延时,实时性无法保障。
为什么选择tdh
为了避免数据异构带来的开发成本与运维成本的剧增,tdh采用原创的分层架构设计。其在多个模型基础上使用统一的sql引擎层、计算框架层、存储管理层以及资源管理层,用户无需访问不同接口即可操作不同的数据模型。
原生支持多模型数据的计算框架加上全新开发的存算策略,tdh大数据管理平台的多模数据方案可以有效的解决用户因为场景切换、数据库切换而导致的接口、开发语言切换的问题,大幅度减少了大数据企业运维团队的人力投入以及总成本。此外,tdh完全打通所有服务的监控数据,使用统一的工具监控。其覆盖了大数据集群资源监控、大数据组件监控、智能告警通知、监控仪表盘、自定义指标采集、日志生命周期管理、权限管控等重点功能,为企业运维团队提供一套完整的云上智能化运维凯发k8官网下载的解决方案。
tdh极大程度的提升了业务部门、大数据开发部门、大数据运维部门、数据分析部门以及领导层的使用体验。其支持数据湖、数据仓库、实时流处理、综合搜索、人工智能等主流场景的大数据应用开发,实现全场景覆盖;并且,tdh是业界sql支持十分完善的平台,包括sql 99/03、分布式事务、主流数据库方言等等,充分实现传统应用的平滑迁移。
tdh 8.1.0全新特性为用户带来极致体验
一、全新重构的页面布局让组件部署与管理更便捷、更高效
为了简化多模型机构的使用和运维,tdh 8.1.0 创建了一个新的统一界面,通过引入集群-产品-服务这3层布局的方式,更深入的体现出多模型数据库的业务价值。为了方便用户查看并更高效的进行组件部署,tdh8.1.0在较大集群中把同类型产品聚合展示,并图形化展示多个组件之间的依赖关系,对集群运维人员更加友好。
通过全套图形化工具覆盖数据集成、转换、治理、建模和展现等全部开发环节,极大程度地提升了大数据开发工程师的开发体验。
二、不停服、不中断业务的集群升级方案支持,整体升级更加流畅稳定
相比以往平台升级期间需要关闭所有服务的要求,tdh 8.1.0 采用全新的系统架构,基于tcos容器化集群操作系统,强化了用户在不停服、不中断业务的情况下完成平台的升级操作。整个升级过程时间更短、影响更小,操作更简单。
并且,平台中的所有分布式集群均实现了数据与服务的高可用,确保平台健康稳定运行。tdh8.1.0 利用分布式系统的特点,能够在不中断业务的基础上平滑地完成系统服务升级以及实现了集群的动态扩容和缩容,即弹性扩展等操作。
除此之外,tdh 8.1.0还提供平台补丁功能,相对于整体升级,做到了更轻量级、对业务无感知的在线维护。其提供平台及产品升级维护统一操作入口,全流程一键完成。同时,完整记录平台版本维护操作记录,方便事后审计回溯,更加安全可控。
图:平台补丁
三、全新自研的云原生操作系统支持更稳定、更高效的超大集群管理
tdh 8.1.0持续为上层大数据业务容器化运行以及应用云端化提供关键保障。作为一站式多模型大数据管理平台,其采用全新自研的tcos 2.1系统,支持灵活、按需的进行水平扩展,支持异构硬件(x86,arm混合部署)、异构操作系统的水平扩展,支持单独扩展计算或存储资源的水平扩展。通过提供集群化部署管理功能,可以方便地安装部署并管理规模高达数千节点的单个/多个大数据集群。
tdh8.1.0延续采用强大的存算解耦架构,结合多模型数据库概念,使得业务的横向扩展、纵向延伸更具备灵活性。与之前版本相比,tdh8.1.0具有更灵活的资源弹性,更简洁的操作和运维,更低的总体拥有成本。
全面加强的产品核心功能
以下是tdh 8.1.0主要包含的核心功能与服务:
一、一站式集群部署与管理,充分提升用户使用体验
为了帮助用户可以更加便捷地对大数据集群进行管理,tdh 提供可视化、一键自动部署的功能,极大的提升了用户的使用体验感。同时,通过添加、删除节点、停止或启动角色服务等操作线性提高系统的处理能力。
例:为已有服务添加角色
此外,tdh支持对平台的所有组件和服务进行一站式以及可视化监控、管理和优化。tdh提供监控、度量、告警、健康检测、磁盘管理、软件升级、服务迁移等功能,实现一站式集群管理。
二、多模型灵活调用,满足各种数据分析需求
tdh 8.1.0通过8款异构存储引擎保障10种不同存储模型的高性能,自动化对应多部门业务需求。用户可以根据业务的需要,随时增减不同的存储引擎,做到资源按需分配。
tdh通过提供成套的产品组件与工具等来帮助企业对海量数据进行统一管理,用户可以通过对多组件进行整合,实现对数据的快速集成。
三、全套智能运维组件开箱即用,让运维稳定无忧
基于多年以来在大数据运维方面积累的丰富经验,星环科技发布的全新aquila 1.7智能运维分析工具支持kerberos安全认证,具备高安全性、高易用性的特点,其解决了一些开源工具存在的潜在问题。例如,ganglia的gmetad节点存在的high i/o问题可能导致业务性能受到影响。通过预置平台丰富的运维资源,用户可以根据自身运维场景来定制不同的运维模块组合,从而对大数据产品、微服务以及云平台的运维做到开箱即可用。同时,aquila还预置了基础监控、大数据监控、paas层监控等多维度的监控资源,实现了整个tdh平台各个维度的一键运维,最大程度的提升用户的使用体验感。
此外,aquila提供预置的54个仪表盘, 110条告警规则,以及50多条日志搜索规则。用户可以通过通用告警模板迅速按需创建多条告警规则,极大地提升了告警功能的易用性。
图1 规则定制
图2 通知设置
tdh平台对碎片化的运维数据进行收集整理并实现了对各种指标和系统运行情况进行全面监控。其整合了集群健康状态检查,服务可用性检查等多种状态检查机制,能够及时发现异常,并告知集群运维人员。此外,用户还可以实时浏览各服务的状态,并且在告警出现时采取恰当的措施以处理应对。服务的高可用方案可以避免业务出现中断的情况。通过特色的预置仪表盘、灵活指标采集策略、多样的告警通知功能达到对所采集的运维数据进行事前预警、事中告警、事后分析的全阶段运维效果。
写在最后
tdh8.1.0是星环科技自主研发的一站式多模型数据管理平台,采用了创新的多模型技术架构和统一数据管理,可以构建服务于整个企业的统一数据资源库,让不同部门的数据间的隔阂彻底打破,使跨部门数据灵活调用拥有了技术支撑,有效的降低了用户的开发成本以及总运维成本。通过8种异构存储引擎支持业界完善的10种存储模型,自动化应对多部门业务需求,能够支撑用户各种高阶的数据分析场景,帮助用户完成数据自动化管理,实现业务价值。
tdh 8.1.0充分利用极具特色的计算引擎与存储模型,为用户带来计算与存储的高度弹性的同时,实现了平台一站式资源配置和安全管控。一方面平台根据集群资源情况,统一进行各产品资源调度,总体提高集群的使用率;一方面平台整体进行安全管控,做到多个产品安全的无缝集成,整个集群更加安全。
以上就是 tdh 8.1.0 的整体介绍,tdh致力于帮助用户实现数据全生命周期的管理。