数据标准建设方法论总结

数据标准是描述和阐述数据业务属性和技术属性的规范文档，IT系统应根据数据标准的规定，采集数据，生产数据，存储数据，交换和共享数据。本文作者对数据标准建设的方法进行了总结，一起来看一下吧。

通常来说，IT系统由硬件、软件、数据和通讯等四个部分构成。数据是指信息的可再解释的形式化表示，具有业务和技术两种属性。业务属性包括数据的业务定义、分类和规则等，技术属性包括数据的类型、格式、形态等。数据标准就是描述和阐释数据业务属性和技术属性的规范文档。IT系统应根据数据标准的规定，采集数据，生产数据，存储数据，交换和共享数据。

数据标准中定义的数据范围，广义地说，应包括IT系统中的全部数据。但从标准建设的经济性和实用性出发，一般主要包括IT系统中需要与其他系统（包括人机间）进行交换和共享的部分，即该部分数据是否存在业务应用的需求和数据交换的需求。

基于上述认识，我们认为数据标准建设总的原则如下图所示，是由业务部门的业务需求和IT系统的数据交换需求共同驱动的。

在上述总体原则的指导下，数据标准建设的具体实施步骤如下图所示，包括标准框架、现状调研、标准设计、实施映射、标准执行和维护增强六个步骤。

一、标准分类

此阶段的工作目标是要回答“标准的范围应该包括哪些”，数据标准分类作为数据标准化工作开展的基础，主要包括明确标准定义范围、确定主题定义目的、明确主题定义指导原则、确定数据标准层次、明确主题定义内容等内容。

二、现状调研

此阶段的工作目标是要回答“待建设的主题目前数据状况如何”。通过制定调查问卷、安排现场访谈、收集文档资料等手段，从业务和技术两方面开展调研，了解跟标准相关的内容，包括现有定义、使用习惯、数据分布、数据流向、业务规则、服务部门、主要矛盾、差异产生原因等，在此基础上对标准建设的背景、建设的难度、影响的范围才能够有清晰的了解，便于设定合理的标准建设目标、制定可行的标准实施规划。

本环节的主要工作内容如下：

1）业务需求采集

在数据标准分类指导下，从数据应用出发，针对其细节信息设计合理的调查问卷，最大限度减少业务人员的工作量，能够在短时间内帮助业务人员了解标准建设的背景以及必要性、重要性，同时采集到业务部门目前主要存在的问题以及对标准的期望。

2）系统现状调研

对包括数据结构、数据字典、系统之间的关系（数据流向）、重要业务规则在系统中的体现方式等方面的内容进行调研。需要各系统的管理维护人员提供相应支持，保证提供的材料文档说明能够跟现行系统保持高度一致。

3）分析应用调研

针对重要的分析类应用系统进行调研，分析其涉及到的数据/业务范围、重点数据需求、主要问题等。

4）现状整理分析

将此阶段采集到的业务需求、现状问题等进行全面的整理，包括调查问卷汇总、数据结构/字典规范化、样本数据案例等，便于问题的汇总以及标准的现状差异分析和影响范围分析。

5）重点问题访谈

根据现状整理和分析的结果，结合数据标准建设的整体规划和目标，针对其中的重点问题如果存在了解不全面、采集信息存在歧义、参考文档不一致等情况，可以适当召集相关人员做专题访谈澄清问题，便于后续工作的开展。

三、标准设计

此阶段的工作目标是要回答“标准应该是什么样的”，基于标准规划的分类，以现状调研的成果作为重要依据，完成待建设主题数据标准设计和定义工作，包括信息类的划分和定义，信息项的业务定义和描述，数据类型及其他技术属性的指导意见等。

本环节的主要工作内容如下：

1）方法原则确定

结合上一阶段的产出成果，确定各主题标准定义原则和定义方式以及大体的工作范围和详细程度。

2）信息视图定义

根据各主题数据具体情况，进行大/中/小等不同层次的信息类定义，阐述其业务内涵以及应该包括的内容，以大/中/小类的组织方式形成业务视图。

3）信息项定义

梳理每个类别下具体的信息项列表，针对每个信息项进行标准的设计工作，包括业务层面的定义和描述，力求完整、准确，尤其应明确；同时根据信息项的标准业务含义，为其定义技术属性，如数据类型、推荐长度等；如果信息项涉及到相关代码，同步进行整理和定义；如果信息项需要设定重要的检核规则，也可酌情、有选择地加以设置并与之关联。

4）标准定义审核

组织相关部门和人员采用书面确认的方式对已经完成的标准定义工作进行检核和补充，如有必要，可针对未能达成共识的重要问题进行集中评审，应着重考察标准对业务的适用性、先进性和全面性等。

5）管理员名单拟定

根据数据标准使用者和维护者，拟定相应管理员，并报领导小组进行审批。

四、标准映射

此阶段的工作目标是要回答“和标准相关的内容都在哪儿”，将已定义数据标准与业务系统、业务应用进行映射，描述标准和现状的关系，以及可能的影响范围，作为后续差距分析和标准执行的输入。

本环节的主要工作内容如下：

1）工作范围确定

在现有的业务系统和应用中，制定系统选择的优先策略，针对稳定的（近期没有升级改造计划）、有代表性（涵盖普遍性业务）的系统确定后续详细映射的工作范围。

2）源系统分析

对选定的源系统进行详细分析，选取内容与标准涉及到的主题信息项、公共代码等相关的数据表、数据字段，并针对这些选中的数据抽取相关样本协助分析。

3）样本数据分析

针对重要信息（如证件种类、渠道代码等）或者差异很大，而且跟先期规划重点相关的部分，需要对样本数据进行分析，以便更清晰地表现问题，并了解问题产生的背景。需要补充说明的是，此工作可能在整个项目进行过程中会持续、分批、分次开展。

4）信息项映射

针对标准中具体的信息项，在准确理解其含义的基础上，将其映射到所有选中系统的数据表、数据字段上，建立两者关联关系。

5）回顾和检查

组织专家小组对标准映射范围选取的适当性，映射的准确性等进行回顾和检查，并最终确认。

五、标准执行

此阶段的工作目标是要回答“标准应该如何执行”，针对现有系统和新建系统，对已定义数据标准进行执行落地工作，包括制定执行策略、编写执行建议和实施方案。在标准执行阶段，应充分考虑业务需求和实施难易程度，最大程度上结合目标和现状，针对不同类型的系统制定相应策略，并设定合理的阶段性目标。

本环节的主要工作内容如下：

1）标准执行策略确定

针对新老系统、业务处理或分析系统、自行开发或外购系统等不同类型的系统，充分考虑其各自的特点，在满足标准需要，影响最小化的基础上分别制定不同的执行策略。

2）相关系统执行分析

对需要落地执行数据标准的系统进行执行调研和影响性分析，确认其数据标准落地执行要涉及到的改造工作。

3）标准执行建议编写

结合业务优先级和实施难度分析结果，根据上一阶段的系统执行情况调研结果，针对目前急迫解决的业务问题确定标准的执行方向，执行建议应作为实施方案的主要参考文档。

4）标准实施方案编写

与项目组或具体系统技术人员通过会议、邮件或访谈的形式进行充分沟通和交流，相互合作编写实施方案，包括具体的标准执行内容、执行方式、执行步骤等。

5）实施方案审批

将标准实施方案提交领导小组进行论证和评审。

六、维护增强

此阶段的工作目标是要回答“如何管理维护标准”，结合数据管理需求和机制，培养管理员负责相应工作，在全行范围内培训和宣讲数据标准。

1）数据标准管理办法制定：制定相关的管理办法，用以规范数据标准的使用、维护与管理，确保数据标准的有效性、适用性，推动数据管控体系建设，促进信息在全行范围内的共享。该办法需由相关部门监督执行。

2）数据标准培训：定期对数据标准的相关内容进行全行内的系统培训和专题培训，制定培训时间表，包括培训内容、培训方式、培训人员和培训时间。

3）标准的维护更新：收集整理各部门数据标准更新需求，根据数据标准管理办法，分期分批地进行标准更新、发布等工作。

​Read More