多模数据处理破茧成蝶 大数据“卡脖子”成为过去！

Spark技术的代表企业是Databricks。Databricks公司是由加州大学伯克利分校负责开发流行的开源Apache Spark数据处理框架的团队创建的。该公司帮助大企业快速处理、整合和分析大量数据。它的统一分析平台旨在孤立的数据存储系统之间建立数字管道，并帮助工程师和数据科学家更好地沟通。

Databricks公司业务方向已经转移到“大数据分析和人工智能解决方案”。现在行业内更多的将其看成一家AI公司。

针对多模型数据处理，开源路线方面的举措是推出多模型数据库，当然这些数据库也是开源的。

ArangoDB是一个开源的、原生的多模型NoSQL数据库，同时支持Doc、Graph、K/V三种存储，它有适用于全部三种数据模型的统一内核和统一数据库查询语言—AQL (ArangoDB Query Language)，非常适用于搭建高性能的应用和服务。

ArangoDB还允许在单个查询中混合使用三种数据模型。因此，用户可以在单次查询过程中混合使用多种数据模型，而无需在不同数据模型间相互“切换”，也不需要执行数据传输过程，并且这三种数据模型均支持水平扩展。

2018年初，ArangoDB完成1156万美元融资，深受投资人追捧。2020年初，ArangoDB 3.6 发布。

多模数据库ArangoDB的优势

不过ArangoDB的优势是一个内核、一个查询语言、支持三种数据模型。其缺点也是仅支持三种数据模型，应用受到了限制。

对于一些单一的典型场景，市场上出现的不同产品和知名的解决方案大都是开源系统，所以对多模型数据支持的产品很难放弃自身优势的开源项目，而是在原数据模型支持基础上的扩充，而更多的是新的开源项目。

另一条技术路线就是以星环科技为代表的自主开发。

中国用户需要处理的数据量远超过之前在其他国家的需求。同时中国用户在应用场景方面有着非常强的创新意识，需要处理的场景复杂度也超过了其他国家用户。

星环科技就是专注解决用户的这些难点，走出了一条独特的自主研发技术创新之路。星环的产品体系已经从最早的分析型数据库扩展至闪存加速分析型数据库、实时计算、全文检索数据库、图数据库、Bigtable数据库、交易数据库、基于容器技术的数据云等，从底层资源调度到上面的计算引擎，形成了一条有别于Hadoop或Spark、而具有星环特色的技术路线，实现了多个领域的技术突破。

Transwarp Data Hub(TDH)是星环科技推出的企业级大数据平台，经过7年的快速演进，不断发展成熟，在邮政、交通、金融、政府等行业获得了大量的部署实施经验，同时向新生的大数据技术领域进行的拓展和探索。

5月15日，星环科技推出一站式大数据平台TDH 7.0版本，主打一站式多模异构数据处理，打破了行业内普遍存在的不同数据库产品切换的不便利，通过一个平台处理多种数据模型，让用户无需维护多种数据库成为现实。

吕程告诉中国软件网记者，作为一个多模型的数据处理平台，TDH 7.0可以提供统一的数据操作/查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架，满足利用一个多模异构平台，处理多种数据的需求。

星环的一站式多模处理平台示意

同时，TDH 7.0版本一站式多模异构数据处理性能亮眼，彻底解决大数据发展的一大瓶颈。据介绍，TDH从上而下划分为五个层次：

最上层是SQL层，开发了统一的SQL引擎，兼容各种不同的SQL“方言”;

计算层，开发了统一的计算引擎，进行统一的计算任务优化和分发;

（编辑：PHP编程网 - 湛江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!