国内大型银行数据模型实践案例
交通银行基于企业架构方法论构建企业级数据模型 交通银行在企业级架构实践过程中,总结形成了以“轻量化”、“智能化”为特点的企业级数据模型。 轻量化主要包括三方面:建模方法的轻量化、模型资产轻量化和模型落地轻量化。轻量化模型降低了实施成本,缩短了项目周期,可以更好的支撑中小金融机构进行数字化转型的快速实践。智能化是指在建模过程中,通过建立语料库,近义词识别等步骤,对新建数据模型所引用的属性进行智能化标准推荐,贯彻数据标准智能化管控,可加快建模工作的效率和模型成果的准确度。
交行数据模型采用双“T”架构,包括“正T模型”,即1个高阶数据模型加上N个领域数据模型,以及“倒T模型”,即1个公共模型加上N个场景化应用。
正T针对交易服务和运营管理场景,关注数据规范性和唯一性,强调实体属性的标准化,指导交易系统的设计开发,提供业务组件边界划分标准和跨组件数据交互使用的参考依据。倒T针对分析与决策报告场景,关注数据易用性和一致性,强调统一维度管理,为数据指标建设提供设计依据,同时也是数据分析需求的管理抓手。双T设计原则强调彼此的对齐和同频,正T中圈定业务对象和关键实体与倒T中的维度和关键事实设计做映射,从而实现两个模型在内容层面的统一。通过“双T”架构模型,实现了数据生产侧与数据消费侧的逻辑自洽,在进行前台业务产品设计的同时,同步设计后续监管报送、运营分析等场景的数据方案。
在数据模型建设落地后,长期有效的运营机制建设也至关重要,需要通过数据架构管控落地实施。
数据架构管控主要包括事前分析、事中管控、事后监督三个阶段。在需求分析阶段,应以数据模型作为参照,基于模型的基础数据项与指标数据项进行详细分析,避免“同名不同义、数出不同源”等问题;在开发管控阶段,应通过数据模型落实主数据管理、数据标准化、数据模型、数据分布流转等管控要求,从模型层面对跨系统数据交互等予以规范;在事后监督阶段,定期对各业务系统的企业级数据模型落地情况进行检查和评估,持续发现并整改,保障企业级数据模型的执行落地、迭代优化的高效闭环。
农业银行基于FS-LDM模型构建企业级数据模型
中国农业银行将数据建模方法与DataOps全生命周期的标准化流水线相结合,从组织模式、管理制度、系统工具为数据模型结构提供全方位支撑。 在组织模式方面,明确数据模型研发各环节的角色职责和人员分工,共同推动数据模型的建设和管理工作。 在管理制度方面,梳理数据研发运营全链路中各类技术、业务制度和规范,发布可实施的技术标准,包括模型设计规范、测试规范等,形成管理“软规范”。
在系统工具方面,通过平台工具将模型设计过程与数据标准、数据质量管理要求融合,建立质量门禁,形成“硬约束”,保障数据模型设计规范的落地执行。
农行的大数据体系在经历了基础数据平台、大数据平台、数据中台1.0三个阶段后,迈入了数据中台2.0阶段。农行数据模型最初的框架主要参考了Te reda ta公司的FS-LDM的主题划分方式,采用三范式建模与维度建模相结合的方法;当前的数据模型在此基础上补充了业务领域视角,与农行产品目录的划分保持一致,形成了数据视角和业务主题结合的通用数据视图。 农行基于企业架构视角以维度建模为主,结合三范式建模的设计方法,如存款、贷款、理财等实体的设计采取维度建模,参与人相关实体的设计采用三范式建模。采用以数据驱动为主,业务驱动为导向,通过双向结合的方式既保证设计的数据模型符合业务实际发展导向,又保证了数据模型建立在现有的真实数据基础之上,从而间接地保证了数据模型的易懂性与可用性。
随着数据架构的演化,农行引入了数据湖的新技术,拓宽了数据底座,以数据湖为源对数据架构进行了优化,分为基础宽表、通用宽表、服务宽表三层逻辑架构。
随后基于数据资产视角细化主题域模型框架,本着便于业务人员理解和技术人员实施的原则,细化模型框架时按照客户性质、业务条线、凭证类别、渠道类型等进行划分,将各个分支尽可能的细化。同时确保模型的可扩展性,具体步骤如下:
技术总体方案设计思路-CSDN博客