中国信通院不久前发布的《中国数字经济发展报告(2022年)》显示,去年我国数字经济产业规模为45.5万亿元人民币,达到GDP规模的39.8%。这表明,虽然有疫情和贸易争端等不利因素,但我国数字经济发展仍然维持稳中向好态势。
数据是数字经济的基础,我国数字经济高速发展的背后是对数据相关技术的强烈需求,特别是大数据相关技术。国家对此高度重视,“十四五”规划提出要培育壮大人工智能、大数据等新兴数字产业。与此同时,国家在“十四五”期间也把科技创新摆在发展全局的核心位置,并提出要加快关键核心技术攻关,在数据领域尽快完成自主可控和国产化。
在此背景下星环信息科技(上海)股份有限公司(以下简称“星环科技”)的上市可谓恰逢其时。星环科技有“国产大数据基础软件第一股”之称,自成立以来,专注于大数据与云基础平台、分布式关系型数据库、数据开发与智能分析工具等基础软件研发,坚持核心技术自主研发,截至目前已有31项核心技术,打造出了可信任的、专业的、国产化的大数据基础软件。根据发行结果公告,星环科技本次IPO募集资金14.3亿,招股书显示将用于大数据与云基础平台建设、分布式关系型数据库建设和数据开发与智能分析工具软件研发项目。
可以预料,星环科技的上市不仅将推动其产品和技术的快速迭代,更好地赋能各行业的数字化转型,同时也有利于真正将核心关键技术牢牢掌握在自己手中,为数据生产要素价值的释放贡献来自中国的自主创新力量。
过去的十年是数据市场波澜壮阔发展的十年,海量数据如潮水般涌来,各种相关技术快速迭代,这种快速的发展也对数据分析模式和整个大数据应用产生了深刻的影响。星环科技是这个大潮的见证者更是推动者,执着于大数据关键技术的自主研发奇异果体育,从开源软件起步,逐渐从大数据行业的跟随者成长为引领者。
2013年是星环科技成立的第一年,这一年星环科技发布了Trasnwarp Data Hub。它相当于一个数据枢纽,或者说一个数据的集中集散地,能将各种模型的数据保存其中。Data Hub有两大作用:一个是存储和分析,第二个是分发和共享。这个概念跟几年后国外大厂提出的数据湖(data lake)非常接近。
2017年,星环科技在Data Hub的基础上提出“大数据3.0”,进一步丰富了Data Hub的内涵。“大数据3.0”的核心是要打造一个一站式数据平台,把用户的数据湖、数据仓库、数据集市的需求通过一站式数据平台来解决,从而让企业更好地掌控和管理好数据。作为配套,星环科技还推出了数据工具集Transwarp Studio,帮助客户实现从数据采集、数据治理、数据质量提升、形成数据资产到数据对外服务整个数据全生命周期的管理。
进入2018年,大数据、云计算、人工智能融合趋势日益明显,星环科技适时提出了“数据云”的概念,并推出Transwarp Data Cloud(TDC)数据云平台。该平台采用容器化技术,以数据为中心,数据库、数据分析等都作为平台上的服务对外提供。这和后来Cloudera的CDP和Snowflake的多种云服务非常类似,Cloudera和Snowflake都是在2020年才开始大力推广“数据云”技术架构,星环科技早两年前就已经实现。
2020年星环科技再次发力,提出了多模型数据平台。多种数据模型能够在同一平台中利用统一的访问语言、统一计算引擎和同样的资源管理方式进行统一使用和管理。多模型数据平台是一个非常大的技术进步,标志着星环科技已经走在技术的前沿,成为大数据技术的引领者。这一年星环科技还推出了联邦数据云的理念,致力于将跨多个数据中心甚至公有云的数据、应用和基础设施资源进行统一管理,从而帮助企业构建了一套完整、统一、互联互通的数据基础设施。
2022年,星环科技推出了融合数据云,进一步丰富了数据云和联邦云的概念。与“数据云”强调资源的弹性调度和统一管控不同,“融合数据云”更强调数据的流通和开放共享,让数据在数据平台上以安全可信的方式流动到合适的地方、流到需要的人,同时,可以通过轻量化地构建统计分析和决策智能应用,赋能业务并实现业务的智能化。
从上述发展脉络可以看出,星环科技从成立到今天,其技术演进经历了由点(Data hub)到面(大数据3.0)、从单平台到单数据中心到跨数据中心、从集中到分布式的演进路径,在此过程中不仅星环科技的产品体系越来越完善。同时,对用户需求和痛点的理解越来越深刻,就是致力于以更简单、更高效的方式来解决用户问题,正如从大数据一站式平台到多模型数据平台,极大地简化了大数据技术栈,简化了系统运维和开发成本。可以说这直击用户的痛点,因而得到用户高度认可。
随着大数据时代的到来,企业需要面对越来越多的数据类型。除了结构化数据,更有大量图片、视频、文档、时序数据等非结构化数据要处理。统计显示,新生数据中非结构化数据占比已经超过80%。然而,传统的数据处理系统是以结构化数据为主要处理对象的,不管是关系型数据库还是数据仓库都是如此。随着数据量和数据类型不断增加,如何处理各种类型数据成为一个关键问题,多模数据平台由此应运而生。
传统的数据管理方式是专库专用,也就是一种数据库处理一种类型的数据,比如结构化数据用关系型数据库,文档数据用文档数据库、图用图数据库等,“混合持久化”就是这种思路。基于这种思路,企业需要同时部署多种数据库。这带来了一系列问题:一个是同样的数据可能同时在多个数据库中保存,数据冗余不说,一致性也是很大问题,这会带来很高的维护成本;其次是系统复杂,开发和运维人员需要掌握多种数据库的相关知识,难度高;第三奇异果体育,不同数据库使用各自独立的计算引擎和存储,相互难以互通,互通时只能把数据从一个数据库导入另一个数据库中,效率低,同时也难以保证实效性。
多模型数据平台基于统一的架构,在一个平台上实现各种类型数据的集中存储、查询和处理,从而有效降低数据开发与运维的难度,提升开发效率。星环科技大数据基础平台TDH正是这样一个多模型大数据平台。以2022年推出的TDH9.0为例,TDH9.0提供统一的接口层、统一的计算引擎层、统一的分布式数据管理层和统一的资源调度层,在保障不同数据模型高性能、高可靠、高可用的同时,实现了9种存储引擎支持10种数据模型,这意味着TDH9.0能处理10数据类型。
TDH这一能力的关键是其多模型统一架构,它把多种数据模型的接口层、计算引擎层和分布式数据管理统统抽象了出来,避免了多个接口标准不统一,避免了计算资源的抢占,避免了存储不统一。用户不再需要维护多个数据库,一个SQL就可以实现不同数据模型的操作和查询,模型转化流转以及跨模型关联分析,解决了不同模型数据之间的组合使用问题,具有复杂度低、开发成本低、运维成本低、数据处理效率高等优点。
目前,星环科技的多模能力已经得到了外界的认可,在Gartner 2022年6月发布的《中国数据库管理系统供应商甄选》中,星环科技是覆盖7个以上品类的四家厂商之一和Gartner认可的四家多模厂商之一。
值得一提的是,多模能力不止是简化了运维,同时也开启了新的创新空间,有可能孵化出新的应用场景和价值。
我们必须承认,今天的企业正面临越来越复杂的数据分析场景和需求,主要体现为数据类型日益多元化、分析场景多样化、分析时效实时化。为了满足这些需求,数据平台架构开始演变,“数仓一体”“湖仓一体”就是在这种背景下出现的,并很快成为大数据市场的热点话题。星环科技在多模型数据平台能力的加持下,为用户提供了非常出色的湖仓一体和数仓一体化解决方案。
众所周知,在“湖仓一体”之前,市场上的解决方案是数据湖+数据仓库的组合,即用数据湖解决多源异构数据的存储和分析需求,用数据仓库满足结构化数据的分析需求。通常数据湖基于Hadoop搭建,而数据仓库基于MPP数据仓库(如Greeplum)搭建,两套系统各自独立。
这种解决方案的问题结构复杂、数据冗余、时效性不足、一致性无法保证等。而利用星环科技基于ArgoDB打造的湖(数据湖)、仓(数据仓库)、集(数据集市)一体化方案,用户可以采用统一访问接口,从而最大程度上降低数据湖、数据仓库、数据集市业务过程中业务接口的调整,降低用户开发成本,提高数据处理效率。同时,基于ArgoDB打造的湖仓集一体化方案还可以无缝衔接AI技术,帮助业务挖掘更多数据价值。
ArgoDB是星环科技自主研发的一款分析型多模型数据库,可以替代Hadoop+MPP混合架构,一个ArgoDB数据库就可以满足数据仓库、实时数据仓库、数据集市、OLAP、AETP、联邦计算等各种需求。值得一提的是,2019 年 8 月,ArgoDB是全球第四个通过 TPC-DS 基准测试并经过 TPC 官方审计的数据库产品。
除了“湖仓一体”之外,近几年HTAP也非常受关注。HTAP要解决的是基于同一套引擎同时支撑业务系统运行和分析决策场景,避免在传统架构中在线与离线数据库之间大量的数据交互,从而满足对数据分析时效性的需求。对此需求星环科技自主研发了AETP数据库(分析增强型交易库)。
星环科技的KunDB3.0是一款自研的分布式交易型数据库,高度兼容MysQL和Oracle,具备可扩展、高并发、高可用、数据灾备等特性。通过采用了基于分析引擎增强分布式事务处理引擎技术(ATEP),一个系统就可以同时提供高性能的AP(数据分析)和TP(交易处理)服务能力。使用行列混合存储方案,列存提供给AP引擎支持高性能分析,同时列存作为TP库的只读副本,实时从行存同步事务最新数据库,延迟低于10s,保证了数据分析的时效性和全局一致性读。
当下的中国大数据市场正处于高速发展之中,同时,中国也在大力推动自主可控和国产替代。Gartner预测到2025年,中国分析型数据库市场来自海外厂商将只剩下30%,交易型数据库市场海外厂商市场也只会剩下50%左右。随着海外厂商的退出,国产数据库纷纷登堂亮相,中国数据库市场将迎来洗牌。这对于长期专注大数据平台和数据处理相关技术研发、拥有核心技术的星环科技无疑是非常有利的。有核心技术和更多资源加持,上市后星环科技必将迎来新的发展阶段,从而也能更好地赋能行业,助力中国数字经济。奇异果体育奇异果体育奇异果体育