加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 湛江站长网 (https://www.0759zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

技术干货|多图详解数据中台的建设框架(上篇)

发布时间:2022-10-30 03:00:08 所属栏目:大数据 来源:转载
导读: 《DAMA数据管理知识体系指南》对企业的数据管理成熟度定义了6个层级,分别为:0级-无能力、1级-初始或临时级、2级-可重复级、3级-已定义级、4级-已管理级、5级-优化级,级别越高数据管理越

《DAMA数据管理知识体系指南》对企业的数据管理成熟度定义了6个层级,分别为:0级-无能力、1级-初始或临时级、2级-可重复级、3级-已定义级、4级-已管理级、5级-优化级,级别越高数据管理越成熟。对于前期缺少数据管理经验的企业,在无数据专家或数据顾问公司支撑的情况下,容易导致以下的问题:

一、数据架构规划未能长期有效支撑业务发展

对企业数据架构缺少系统性梳理与思考,没有规划未来长期有效的业务发展,只考虑当前业务提数需求急于建设,会使系统变的越来越复杂和扩展性困难。

二、数据管理缺乏统一标准

企业内部建设的多个业务系统(如ERP、CRM、OA等系统)由不同厂商负责建设,对企业的数据实体定义、数据模型定义、字段定义等均有不同的标准,在数据治理过程当中缺少有效梳理,容易导致跨系统融合查询分析时常常遇到数据不统一的问题。

三、海量数据带来的高时延

在海量数据的背景下,导致数据采集加工清洗存在高时延和性能障碍,无法及时出数。面向业务的BI系统OLAP查询数据仓库的数据应用层的数据时,由于数据量过大,且分析库的选型性能限制,导致数据查询时延高,无法满足快速的业务需求。

四、海量数据的价值挖掘不足

数据是企业数字化转型的一个重要支撑点,多个业务系统沉淀的海量数据中蕴藏了巨大的价值,这些数据的背后体现了企业业务经营过程中的潜在规律。因此,做好数据挖掘,就是对企业经营的深刻复盘,就能够对企业发展起到良性的反馈与推送作用。

五、缺少业务适应的数据分析应用

业务人员想要临时获取数据往往需要技术人员的协助,向技术人员描述业务需求大数据架构标准,由技术人员通过一系列操作获取到所需数据。存在以下痛点无法满足:(1)分析效率低:针对业务提出的分析都需要等待技术排期,无法满足日益增长的业务所需的时效性要求;(2)业务人员无法自助取数:数据库的表及关联关系等相关技术问题,分析过程较技术化,对业务人员不友好,业务人员无法直接参与,需要技术人员通过多次编写SQL去取数。

针对上述企业数字化转型过程中遇到的问题,浩鲸科技依托于成熟的数字化转型指导原则、企业级云原生数字化基础设施--鲸智WhaleDI,为客户提供规划咨询、设计开发、数据交付、持续运营、资产运营,价值运营等服务内容,致力于为企业数字化转型提供解决方案。

鲸智WhaleDI数据架构基于DataOps体系,覆盖了中台建设事前的咨询规划,事中的开发设计与交付,事后的持续运维和价值运营,保证平台工具和数据中台数据体系的高度协同,并且通过资产运营规范,实现企业数据资产和行业数据资产的持续沉淀和演进。

WhaleDIWhaleDI数据中台建设规范,中台模式开启数据要素运营新时代

鲸智WhaleDI数据中台建设规范是WhaleDI体系中的一个重要构成,浩鲸科技数据智能产品线基于浩鲸科技多年来数据与智能的产品经验、项目实践,结合对数据智能领域的探索与总结,将鲸智WhaleDI数据中台的作业标准进行编制。

鲸智WhaleDI作为浩鲸科技数据智能的企业级云原生数字化基础设施,通过一整套的方法论、作业标准、工具、及行业经验为企业客户提供优质的解决方案和服务。

大数据舆情分析架构_大数据架构标准_大数据架构标准

01 、咨询规划

规划咨询主要用于指导数据中台建设规划阶段现状调研和顶层设计,主要包括数据中台规划咨询方法论、以及规划咨询分阶段执行的关键动作和输入输出模板等内容。其中咨询方法论对规划咨询工作开展进行总体介绍;各执行阶段对调研对象、调研提纲和交付物模板进行定义,提供常用行业项目输出示例,整体提升数据中台规划咨询的效率和质量。

大数据舆情分析架构_大数据架构标准_大数据架构标准

02、技术选型

鲸智WhaleDI数据中台技术及组件选型方法,涵盖数据底座、数智平台和数智引擎,为鲸智WhaleDI数据中台售前/交付过程中涉及到的技术选型提供参考,提升技术架构标准化水平和输出效率。

大数据架构标准_大数据架构标准_大数据舆情分析架构

03、成熟度评估

为客户提供标准、专业的数据管理能力成熟度评估服务,从服务流程、服务标准、服务模型工具方面进行规范化约束,保障数据中台成熟度评估工作的高效和专业性。

成熟度评估服务的客户主要包括运营商、交通、能源等行业用户,侧重数据中台建设运营能力评估,不包括浩鲸科技自身及其他数据服务提供商服务能力的成熟度评估,范畴为甲方数据中台规划、数据中台能力提升、数据中台能力审计等咨询服务环节的前评估和后评价。

大数据架构标准_大数据舆情分析架构_大数据架构标准

04、交付规范

帮助企业建立规范的交付体系,提高企业整体的交付水平,从而达到规范员工交付行为、增强员工安全意识、提升客户交付感知,以及确保客户数据资产安全。本规范主要适用于业务合同类项目交付工作,适合项目的相关交付人员与其他对本规范感兴趣的人员阅读。

大数据舆情分析架构_大数据架构标准_大数据架构标准

大数据架构标准_大数据舆情分析架构_大数据架构标准

05、需求规范

需求管理规范,需要明确需求管理流程,并对每个相关部门所应有的责任与权利进行界定,同时要建立有效的监管措施,使流程中的每个环节都能发挥有效作用。

需求管理不是项目前期的一个环节,而是贯穿整个项目的关键流程。在具体进行需求管理时,应该着重注意明确职责避免缺位、需求应分层沟通和确认、分步实施和先易后难的原则。

大数据架构标准_大数据舆情分析架构_大数据架构标准

06、架构设计

鲸智WhaleDI数据中台建设的数据架构设计,所有参与数据中台建设的数据架构师、数据建模师都需要熟悉规范约定,并落实到位。

参与运营商项目和数据智能垂直交付的数据中台项目本规范必须严格遵照执行,必须严格使用开发工具,屏蔽传统的后台命令行脚本开发方式。不带开发工具产品的数据中台项目开发工具部分可选。

大数据架构标准_大数据舆情分析架构_大数据架构标准

07、开发规范

浩鲸科技鲸智WhaleDI数据中台建设开发的原则,对数据中台的线上开发流程和规范进行约束,规范数据开发实施团队的数据开发工作,保障程序质量、提升开发效率、保证数据开发的延续性、可读性和易维护性。

大数据架构标准_大数据舆情分析架构_大数据架构标准

以上,我们梳理了当前企业数据管理的痛难点

用多图详细介绍了浩鲸数据中台建设规范

下篇还将从数据接入、运维、安全、质量规范等方面进行讲解

期待和更多伙伴、行业专家探讨,共同进步

(编辑:PHP编程网 - 湛江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!