当前位置: 首页 > news >正文

【数据治理】要点整理-信息技术数据质量评价指标-GB/T36344-2018

导读:指标为数据质量评估提供了一套系统化、标准化的框架,涵盖规范性、完整性、准确性、一致性、时效性、可访问性六大核心指标,助力组织提升数据处理效率、支持决策制定及业务流程优化,确保数据在数据生存周期各阶段的质量可控。

目录

1、数据质量指标说明

2、数据质量评价表模板实例

3、数据质量评价过程 


1、数据质量指标说明


2、数据质量评价表模板实例

序号评价指标评价维度评价规则案例说明评价结果问题描述改进建议
1规范性数据标准符合性数据是否符合国家标准、行业标准或企业规定的数据格式、编码规则等。身份证号字段需符合GB 11643-1999标准,某记录身份证号为“12345678901234567X”(校验位正确)。 合格保持校验规则,定期抽查数据。
2数据模型符合性数据是否符合数据模型定义,如字段类型、长度、约束等。客户姓名字段定义为VARCHAR(50),某记录姓名为“张三”(长度符合)。 合格确保数据录入时字段类型与模型一致。
3元数据一致性数据是否与元数据描述一致,如取值范围、业务含义等。元数据定义“性别”字段取值范围为“男”“女”,某记录值为“男”。 合格定期更新元数据,确保与实际数据一致。
4完整性数据元素完整性必填字段是否均有值,无缺失。订单记录中商品ID字段为必填,某记录商品ID为“P001”(无缺失)。 合格设置必填校验,录入时提示补全。
5记录完整性数据集中是否包含所有应存在的记录。某日应生成100条订单记录,实际生成100条(无缺失)。 合格建立数据完整性监控机制,定期核对记录数。
6准确性数据内容正确性数据值是否准确反映实际对象。账户余额应为1000元,某记录余额为1000元(准确)。 合格通过与权威数据源比对,确保数据准确。
7空值率关键字段空值率是否在可接受范围内。某字段空值率应低于5%,实际空值率为2%(符合要求)。 合格监控空值率,对高空值率字段进行清洗或补全。
8一致性数据逻辑一致性数据间逻辑关系是否一致,如库存与订单数量匹配。库存100件,某订单商品数量为50件(库存充足)。 合格建立数据一致性校验规则,实时同步数据。
9数据冲突检查数据是否与其他上下文数据无矛盾。CRM系统中商品名称为“手机”,ERP系统中为“智能手机”(需统一)。 不合格商品名称不一致统一数据命名规范,建立数据映射关系。
10时效性数据更新延迟数据更新是否及时,如包裹状态更新。包裹签收后,系统状态应在2小时内更新(实际延迟1小时)。 合格设置超时提醒,优化数据更新流程。
11数据时效性影响数据时效性是否影响决策或业务。实时库存数据支持快速补货决策(无影响)。 合格确保关键数据实时更新,支持业务决策。
12可访问性数据可访问率数据接口成功率是否达标。某数据接口成功率应达99%,实际为99.5%(达标)。 合格监控接口性能,优化服务器资源。
13访问权限管理数据访问权限是否合理设置。敏感数据仅授权人员可访问(已设置)。 合格定期审计访问权限,确保数据安全。

3、数据质量评价过程 

环节具体内容实例说明作用
与职责分工明确组织架构与职责分工 成成立由数据管理员、业务部门(销售、客服、物流)代表、数据分析师组成的数据质量管理团队。数据管理员主导规则制定与执行监督;业务部门提供业务视角的数据需求和使用反馈;数据分析师负责数据质量评估与分析明确各部门在数据质量管理中的职责和分工,为后续工作提供组织保障
规范标准制定数据相关规范标准1. 数据格式规范:规定商品编号为 8 位数字,客户姓名不超过 20 个字符且支持中英文,订单日期格式为“YYYY - MM - DD”统一数据标准,避免因数据格式、录入方式等不一致导致的数据质量问题
2. 数据录入规范:客服录入客户电话需为 11 位数字,地址详细到门牌号
3. 数据存储规范:交易数据存于关系型数据库特定表,用户数据按用户 ID 分区存储
确定评价指标确定衡量数据质量的指标1. 完整性:订单关键字段(商品 ID、客户 ID、订单金额)完整率 ≥ 99%提供量化标准,用于准确评估数据质量状况
2. 准确性:商品价格误差 ≤ ±1%,客户地址准确率 ≥ 95%
3. 一致性:商城前端与后台库存数据误差 ≤ 1%
4. 时效性:订单状态更新时间 ≤ 实际变更后 1 小时
实施评价执行数据质量评估并反馈1. 定期检查:每周抽样检查订单关键字段完整性并统计完整率及时发现数据质量问题,形成持续改进机制
2. 实时监控:利用工具实时监测商品价格,超误差范围即报警
3. 数据比对:每日定时比对商城前后台库存数据,记录不一致情况
4. 循环反馈:发现问题反馈给相关部门整改,整改后重新评估
数据质量提升采取措施提升数据质量1. 问题修复:通过与业务系统日志和财务数据比对,补全缺失订单金额解决已发现的数据质量问题,提高整体数据质量水平
2. 流程优化:优化客服录入客户地址界面,增加自动联想和校验功能
3. 培训教育:组织客服参加数据录入规范培训,强调正确录入的重要性
数据交付使用将数据投入业务使用并持续监控1. 数据交付:把高质量数据提供给业务部门,如营销部门用准确客户数据开展精准营销,物流部门用完整订单数据安排配送让数据发挥实际价值,支持企业决策和业务运营,保障数据质量持续稳定
2. 持续监控:在数据使用过程中持续监测质量,确保满足业务需求
http://www.xdnf.cn/news/747991.html

相关文章:

  • 【数据集】30 m空间/1 h时间分辨率地表温度LST数据集
  • 投稿Cover Letter怎么写
  • C语言 — 自定义类型(结构体,联合体,枚举)
  • stm32默认复位刚开始由hsi作为主时钟源而后来才换成的pll
  • 【HTML-15.2】HTML表单按钮全面指南:从基础到高级实践
  • 第十四章 MQTT订阅
  • Wireshark 使用教程:让抓包不再神秘
  • 2025最新版在Windows上安装Redis(仅限开发环境)
  • 【Netty系列】Protobuf编码解码:客户端、服务端
  • 【判断数字递增】2021-12-19
  • C++:指针(Pointers)
  • 11.3JVM调优
  • 零基础SEO优化操作全解析
  • 2006-2024年 上市公司-企业战略联盟数据-社科经管实证数据
  • 打开NRODIC SDK编译不过怎么处理,keil与segger studio
  • CppCon 2014 学习:Modern Template Metaprogramming A Compendium
  • 【LLM相关知识点】关于LangChain框架学习简单整理(三)
  • C++17新特性 Lambda表达式
  • 神奇的平方和运算
  • 法规解读——GB/T 前向碰撞预警功能FCW
  • kafka学习笔记(三、消费者Consumer使用教程——配置参数大全及性能调优)
  • 数据库核心技术深度剖析:事务、索引、锁与SQL优化实战指南(第三节)----从全局锁到行锁的全面总结
  • ShenNiusModularity项目源码学习(31:ShenNius.Admin.Mvc项目分析-16)
  • 【Doris基础】Apache Doris中的Segment详解:存储与查询的核心组件
  • python分配方案数 2023年信息素养大赛复赛/决赛真题 小学组/初中组 python编程挑战赛 真题详细解析
  • VLAN的作用和原理
  • 命令行式本地与服务器互传文件
  • python:在 PyMOL 中如何查看和使用内置示例文件?
  • MySQL存储架构深度解析:从引擎选型到云原生实践(2025最新版)
  • 【系统配置与部署类】docker的深度配置和应用