DataOps关键技术能力模型实践

随着数字化转型的普及和深入，大数据技术在各类行业中普遍落地使用，企业生产、营销、运营等各环节中的 数据将普遍被采集，数据应用开发需求增长与数据用户角色的复杂致使企业数据开发、数据运维工作量以及数据应 用交付协调难度大大增加。海量数据的爆发式增长给数据价值挖掘带来了一系列的挑战：数据孤岛阻碍数据的共享 与统一，数据在各部门间协作困难，单点自动化难以支撑整体效能提升。DataOps作为一种新兴的数据处理与管理 方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数 据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。

1.什么是DataOps 

DataOps 是一种数据管理实践，它通过自动化和协作来提高数据的质量和分析能力。它借鉴了 DevOps 的原则，将文化、自动化、测量和分享的理念应用于数据管理和分析流程，以实现数据的快速交付和高质量管理。DataOps 强调跨部门的协作，通过整合数据生产者和数据消费者，打破数据孤岛，促进团队之间的协作，从而提高数据的可用性和分析的准确性。

DataOps 的关键能力包括数据集成、数据开发、任务运维等全链路数据处理能力，以及数据地图、数据质量、数据安全等数据治理和运营能力。它通过自动化技术简化数据管理功能，如数据传输、流程自动化等，以提高数据的可用性和准确性。DataOps 还鼓励持续测试和监控数据管道，确保它们的正常运行和正确治理。

在实际应用中，DataOps 可以帮助企业实现数据一体化编辑、数据集成、数据管控等功能，提高数据研发效率。例如，金融行业可以通过 DataOps 实现反洗钱、实时盈亏计算、监管报送等核心应用的自动化和实时性，提升业务流程的效率和准确性。

DataOps 的趋势表明，数据可观察性将成为强制性要求，AI 将推动数据可观察性的发展，并且数据基础设施的现代化将受到 AI 的推动。数据工程师的角色将不会因 AI 的发展而消失，反而会变得更加重要，他们需要了解如何将生成性人工智能与数据管道结合，以自动获取价值。

开源项目如 Apache SeaTunnel 和 Apache DolphinScheduler 在 DataOps 领域取得了显著成就，它们提供了实时多源数据集成工具和大数据工作流调度平台，已经在多个行业中得到应用。

2.DataOps 关键技术

数据采集与集成：大数据系统需要解决各类场景下的采集与数据集成问题，如不同数据部署方式（本地部署、云部署、跨云部署 等）、多种数据形式（结构化、半结构化、非结构化）、各类型数据（批量式、增量式/流式数据）。

数据存储：随着结构化数据和非结构化数据数量的不断增长，以及分析数据来源的多样化，之前的存储系统设计已经无 法满足大数据应用的需求，存在很多挑战，如容量问题、延迟问题、安全问题、成本问题、高可用诉求、灵活性诉 求。为了应对大数据对存储系统的挑战，数据存储领域内在不懈努力提升数据存储系统的能力，主要提升有3个方 面：提升系统的存储容量、提升系统的吞吐量、系统的容错性。

批流计算：批计算处理的是“固定的”、有界的数据集。数据的导入与计算通常是严格地分成两个阶段，即先将数据导 入，再对数据进行计算与处理，一般需要关注高吞吐量。流计算处理的是“不固定的”、无界的数据流。在一些场 景下，数据会不停地产生，当数据产生之后要立刻对其进行分析与处理。在这种情况下，数据的导入与计算往往是 同时发生的，数据进入计算系统后就要立刻对其进行响应，一般关注的是低延时。业内的一个热点方向就是批流一 体，包括计算的批流一体和存储的批流一体，这样可以降低系统维护成本、保障数据质量和一致性，进一步混合调 度提高资源使用率。

湖仓一体：湖仓一体是一种将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的新型融合架构，类似于在湖边 搭建了很多小仓库，有的负责数据分析，有的运转机器学习，有的用来检索音视频等，数据源流都可以从数据湖里轻松获取。这样就打通了数据仓库和数据湖，将数据仓库的高性能及管理能力与数据湖的灵活性融合了起来，底层 支持多种数据类型并存，能实现数据间的相互共享，上层可以通过统一封装的接口进行访问，可同时支持实时查询 和分析，为企业进行数据治理带来了更多的便利性。

多维分析：多维数据中的维是指人们观察事物的角度，同样的数据从不同的维度进行观察可能会得到不同的结果，同时也 使人们更加全面和清楚地认识事物的本质。多维分析可以对多维形式组成的数据进行切片、切块、上卷、下钻、旋 转等分析操作，使分析者、决策者能够从多个角度、多个侧面去观察数据、对比数据，从而深入了解包含在数据中 的信息和内涵。

数据可视化：数据可视化主要旨在借助于图形化手段，清晰有效的传达与沟通信息。但是，这并不意味着数据可视化就一定 因为要实现其功能用途而令人感到枯燥乏味，或者是为了看上去绚丽多彩而显得极端复杂。为了有效的传达思想概 念，美学形式与功能需要齐头并进，通过直观的传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集 的深入洞察。数据可视化技术的基本思想，是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成 数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入 的观察和分析。

数据血缘：数据血缘是指数据的全生命周期中，数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成一 种关系。其记录了数据产生的链路关系，这些关系与人类的血缘关系比较相似，所以被成为数据血缘关系。数据血 缘分析是元数据管理的重要应用之一，其梳理系统、表、视图、存储过程、ETL、程序代码、字段等之间的关系， 并采用图数据库进行可视化展示。

3.DataOps能力模型

DataOps能力模型围绕数据开发流水线，从业务需求出发，以创造业务价值为目标，形成“4+3”的能力框架，即 4 个核心环节和 3 项实践保障。DataOps能力模型框架的提出，旨在帮助企业建立对DataOps工作的宏观视图，了解DataOps能力建设的核心主线与保障体系，为企业的能力建设提供参考。

为了不断提高数据产品交付效率与质量，实现高质量数字化发展的目标，DataOps的数据流水线以数据工程化能力为核心，构建出数据研发管理、数据交付管理、数据运维和价值运营四个环节。

4.DataOps开发实践

为了保证DataOps研发流水线能够持续高效运转和迭代完善，企业需要有力的保障措施。这些要求的目标是引导企业以全局最优为目标，保障数据研发流水线的平滑运作。