“大模型+数据治理”的应用场景与实践

数据的采集方式、使用环境以及组织之间存在的语义差异导致数据碎片化现象严重，大模型的出现将对企业数据治理产生深远影响，自然语言有望成为数据语言，使企业能够更加容易地访问数据，而不需要解决以上导致数据碎片化的难题。

目前，大模型与数据治理的结合仍处于早期阶段，尤其是中国大部分企业在数据治理水平方面仍有较大欠缺，短期来看大模型对数据治理的影响较小，但企业不应忽视大模型将带来的长期影响。

01

大模型对数据治理工作的影响

大模型正在通过自然语言改变数据治理活动，使数据治理活动更易于访问。与元数据管理工具的集成以及语义工具和知识图谱的丰富化，将用于在企业或行业特定语料库上训练大语言模型。因此，企业有望通过自然语言对话式指令执行数据治理任务，这不仅能降低数据治理的技能门槛，还能提高数据治理专家的工作效率，显著优化成本。

大模型对数据治理工作的影响主要为：

• 让大模型学习数据语义，然后通过元数据发现、构建和维护上下文语义等让大模型观察新数据；

• 利用大模型修正和生成代码，从而增强数据探索、数据工程、数据操作和管理活动。

但是这些活动目前仍然需要人工干预和控制，确保元数据的一致性并解决异常情况，或是在代码生成时验证准确性。

通过大模型赋能数据治理，企业有望实现如下业务收益：

• 提高数据治理团队的工作效率；

• 优化成本；

• 降低非技术用户的技能门槛，更快地获取洞察力。

02

大模型在数据治理领域的应用场景

（1）元数据发现和知识图谱生成

发现和记录元数据并基于元数据构建知识图谱正在成为企业的一项重要能力，这是通过大模型增强的数据编织来解决碎片化数据治理问题的第一步。尽管很多数据治理工具中提供数据目录功能以实现元数据管理自动化，但很少有提供展示元数据使用情况的知识图谱功能。

大模型为实现增强型元数据管理提供了一种新的方式，通过利用与内容管理类似的方法，可以提取数据语义并识别数据使用的上下文。虽然语义差异（例如，销售部门与营销部门对客户的描述方式）可能无法从根本上解决，但可以通过上下文去解决，营销部门使用一套专业用语而销售部门使用另一套专业用语，将二者之间的关系记录在知识图谱中，有助于在跨营销和销售的场景中减轻上下文之间的理解差距。 

（2）代码生成和代码校正

代码生成使得用户可以通过自然语言生成数据管道，提高数据工程师的生产力，还有望降低数据工程的技术门槛，使非技术用户也能够轻松生成或增强数据管道。但是用户需要检验或纠正生成代码中发现的任何问题或逻辑错误。因此，数据工程师仍需要理解大模型生成的代码，熟悉底层数据表示以保证代码的准确性。

代码校正和维护（例如对代码进行注释描述）是使用大模型来改进数据工程、数据质量和数据治理活动的另一种方式。大模型可以帮助识别数据上下文中的错误（如，在查询中选择要使用的表格时出现错误），其他的应用场景可能还包括检测语义差异（例如对不同概念使用相同术语或将相同术语用于不同计算）、数据质量规则中的异常检测或自动应用数据质量规则作为数据管道生成的一部分。

（3）用于部署和管理的对话式界面 

大模型可以用于数据管道或系统健康监测（包括成本）的简单操作说明，这些功能会降低用户的操作难度和成本。但这些功能只会影响用户体验，并不会从根本上改变数据管理的操作方式。随着时间的推移，在与其他AI技术和代码生成能力相结合的情况下，更多的管理和部署工作将被自动化，实现系统的自我修复、自我调整和成本优化。

03

大模型用于数据治理领域的风险

大模型在改变数据治理市场和实践的同时，也会为企业带来一些需要额外应对的风险，具体来看： 

第一，与大模型的其他应用场景一样，当应用于数据治理时，也容易出现幻觉。生成的查询或代码可能存在错误，因此数据发现的过程可能不准确。 

第二，当连接到企业数据时，与安全性、隐私性甚至泄露元数据相关的风险可能为企业带来挑战。 

第三，企业数据相关负责人可能会面临技术的额外支出和复杂性。 

第四，大模型带来的易用性和生产力并不能解决数据本身存在的问题，企业如果想获得数据的准确性和质量，就必须完善数据治理，加强元数据管理。 

第五，使用嵌入大模型或RAG的数据管理技术可能会导致计算成本显著增加，企业需要平衡投入成本与可获得的收益。

第六，在模型未达到足够的准确度前可能需要反复的进行人工培训和修正模型输出，这可能会给员工带来额外的负担。

第七，在将大模型用于数据治理领域之前，企业需要专门的技能培训。企业所有人员（包括业务人员在内）都需要掌握更多的数据知识，从而更好地理解大模型对数据治理的影响。负责数据治理的员工需要掌握更多大模型技术相关的技能如提示工程等。数据管理员、数据架构师、数据工程师和运营人员等需要培训、验证和测试大模型功能。