数据中台建设从数据中台的认知开始
发布时间: 2020-10-30
数据中台的概念由来已久，从技术产品构成上来讲，比如数仓、大数据中间件等产品组件相对完备。但是我们认为依然不能把数据中台建设作为一个技术平台的项目来实施。金融机构在数字化转型的进程中建立数据中台，必须从战略的高度、组织的保障及认知的更高层面来做规划。在战略规划的指导下，搭建一套可持续运行的、自服务的、端到端的数据中台建设体系，从而加速金融机构全面数字化转型的进程。
企业数字化转型，数据中台确实是数字化转型的试验田，所以数据中台掀起了一股热潮；但是由于对数据中台建设的认知不够，强调数字化转型，但是忽略了数据中台的价值，以及数字资产的管理、运用等等。导致数据中台最终是一个技术平台的呈现；价值就无法最大化。本文将从数据中台的价值体现、必备的核心能力来对数据中台建设做一个简短的认知。
1.数据中台的价值体现
这是一张讲述数据中台价值体现比较通用的图；描述了数据和业务之间的一个闭环过程，区别于以往数据治理始于数据终于数据的一个自闭环，导致数据治理困难的局面。数据中台的建设，为业务数据治理打开了一扇门。
由于我们通常是与金融机构的科技部门沟通，在技术人员的眼中，往往把数据中台理解为一个技术平台、大数据平台。其实这是不对的，这里我们必须强调，数据中台的核心是数据服务的能力，服务对象是业务，所以必须结合实际的业务场景，比如：精准营销、智能风控通过服务的形式直接赋能业务，数据中台面向的不仅仅是技术人员，更多的是业务部门。无论是由科技部门建设数据中台，还是运营部门建设数据中台，都必须统一数据中台价值观：数据是一种资产。
数据中台的使命，是赋予数据资产价值变现的能力，无论是通过业务赋能的形式隐性变现，还是通过数据服务公开交易的直接变现。它们都需要一个很重要的基础条件“数据资产化”。
数据中台作为金融机构各业务系统的数据服务提供方，通过自身的数据处理能力以及业务对数据的不断供给（业务数据化过程），形成一套持续运行的、不断完善的数据资产体系（数据资产化过程）。当金融机构在面对业务多元化挑战，需要构建新的前台应用时，数据中台可以快速的提供数据服务（资产服务化过程），灵敏的响应金融机构多元化业务创新（服务业务化过程），使金融机构在金融融合创新的时代下，持续保持高竞争力。
2.数据中台必备的核心能力
现实中，由于对数据中台的认知不够全面，导致数据中台的落地困难重重，目前数据中台的建设往往是技术组件的堆积，是传统数据仓库的改版。结合以往我们在数据领域耕耘多年的经验，我们认为，数据中台必须具备“盘”、“规”、“整”、“用”4个基本核心能力。
（1）数据中台之“盘”，关键在于盘活数据
我们提到“盘”，就很容易想到“盘点”一词，没错，我们要说的就是“数据盘点”那点事。何为“数据盘点”？所谓“数据盘点”，我们类比“资产盘点”、“库存盘点”来讲，就是把数据家底拿出来亮一亮，看一看我们企业在经营和管理活动中，积累了哪些数据，对我们的整个数据盘面、数据链路有个整体的了解。刚才我们“盘”的还是内部数据，实际上我们还需要盘一盘外部数据，即我们在经营活动中，需要收集的外部数据，已经采集了哪些外部数据。
现在我们清楚了“盘”的范围，即金融企业在经营、管理活动中沉淀下来的数据资源以及在经营活动中所需要的外部数据。我们已经知道了我们需要了解的数据基本面，这是不是意味够了呢？当然不是，由于一些客观原因，在科技建设的过程中造成数据体系烟囱式的建立，一个个的数据孤岛已然形成，数据中台建设的一大目标就是消除数据孤岛，打通金融企业数据链路。所以，数据盘点不能仅仅停留在常规的“盘点”层面，而是要通过一定的技术手段，整合金融企业内部烟囱林立的数据体系，汇聚内外部数据资源，盘活整个数据盘面，让数据像水、电、气一样流通起来，更好的服务于金融企业经营及管理活动。
因此，“盘”，讲的是盘点，但更重要的是“盘点”完成，对数据基本面有了认知后的数据整合、汇聚，即“盘活”。
数据整合、汇聚的技术实现目前已经很成熟，不做赘述；在数据整合的方法上，其实无外乎两种方式，基于ID（身份）的整合以及基于数据主题的整合。
（2）数据中台之“规”，重点在标签体系
“规”，有法度也，是规则、是制度、是体系。
讲数据的，通常把书类比为石油，“规”就相当于是石油提纯的一个过程，那么数据中台的“规”就是对数据提纯的一个过程，即“数据资产化”过程。我们知道石油提纯有一系列的标准体系，那么数据资产化也同样需要建立完备的数据资产体系。金融机构数据资产体系建设必须围绕业务价值，从推动业务数据向数据资产转化的角度来构建。
传统的数字化建设往往局限在单个业务单元，忽视了数据多业务关联的属性，缺乏对数据的深度理解。数据中台必须连通全域数据，通过统一的数据标准，构建规范的、紧密结合业务的、可扩展的数据标签体系。
数据中台建设的核心是数据，数据中台管理的核心也是数据，数据中台应用的核心还是数据。数据对于金融企业如此重要，那么数据中台建设过程中，我们依靠什么样的数据体系来构建我们的数据中台？那么数据中台的数据建设体系应该是什么样的，这些都是需要我们有一个基本认知的。
我们认为数据中台建设，至少应该包含应用、标签、主题、贴源这4个层级结构。
贴源层：这个名字不知道是哪位前辈取的，顾名思义，很形象，和源数据保持一致；那么他的作用，对于我们技术部门来说还是很重要的，通俗理解就是“甩锅”，关于这一点，大家可以细品……
主题层：金融企业常用的十大数据主题，对应的就是数据体系中这个层面，这里不多赘述，这一层对应的也是数据整合、汇聚的范畴。
标签层：即数据对象建模层。我们讲数据整合方式时，把基于ID（身份）的整合放到了一边，那么在这里，我们就是基于 ID 把各主题、业务过程的同一对象跨主题、跨业务板块进行打通，形成对象的全域级标签体系，以方便对数据的深度分析、价值挖掘、敏捷应用。
应用层：按照金融企业特定的业务场景，从标签层、主题层抽取数据，面向业务进行加工特定的数据，以为业务提供端到端的数据服务。当然，有些特定的业务场景需要兼顾性能需求、紧急事物需求，也可能直接从贴源层抓取数据直接服务于特定的业务场景。真正做到在对业务端到端数据服务同时，兼顾数据中台的灵活性、可用性和稳定性。
这里要详细讲一下标签层，它是数据中台的价值魅力体现。数据标签体系建设，一来可以让数据可读，即数据开发者和数据使用者对数据的认知统一，更方便端到端的数据使用；二来通过数据标签目录将标签组织化、结构化，以一种更柔性的方式来适应未来多元化业务场景对数据应用的诉求。
以上是一个金融机构比较常见的客户标签； 数据中台的数据是不断的在被业务滋养，在数据中台的运营过程中，结合上图我们不难想象到，标签数据不是一成不变的，它在被业务滋养的同时，也需要不断的调整（参数、指标、属性、特征等），以更好的反哺业务，不断互补，让数据中台为业务提供更有价值的数据服务。所以，我们总结整个标签建设的过程大致分为以下几步：
Step 1、数据对象认知：全面理清数据关系，确定数据对象。
Step 2、制定标签目录结构：根据业务需求，定制标签体系框架，原则上按照三层目录分层(具体情况具体对待)，并且逐步填充标签内容。
Step 3、整合可用数据资源：通过对象ID及ID-ID的映射关系，整合和对象相关的业务数据资源，如：账户数据、交易数据、行为数据、交易数据、风险数据、社交数据等。
Step 4、构建标签模型：结合业务需求及业务人员的经验，对数据进行建模，进一步挖掘、完善标签。
Step 5、标签应用：将标签应用到实际的业务场景，为业务提供高价值的数据服务。
Step 6、标签优化：通过业务运营检验标签及权重分配的合理性，优化标签体系，同时通过业务的滋养，丰富、完善标签体系，进一步反哺业务运营。
整个标签层的建设中，我们要秉着以数据价值为导向，尊重数据可行性、业务可行性，约束、规范整个建设过程，体现出数据中台的价值魅力。
（3）数据中台之“整”，难点在于数据治理
“整”，汉语对整的解释非常多，《后汉书·张衡传》中有云“整法度”，即整顿法度，所以整字，有整顿、整治、治理等意思，在这里，我们取的也是“整”字，整顿、整治、治理之义。
数据治理是数据资产管理中必不可少的一部分。数据治理兴起于上世纪90年代，但是纵观中国整个发展史，每一次朝代的更替，都是一次数据治理的过程，最近的，清政府入关，“留头不留发、留发不留头”，这就是一场数据治理。再往前，最早的，秦灭六国，始皇帝统一度量衡、焚书坑儒，车同轨、书同文是中国历史上最为彻底的一次数据治理。因此，我们中国人对于数据治理的概念向来不陌生。
数据治理是一个持久战，是一个持续性的工作；我们需要根据自身所处的现状，来制定近期、中期、长期的战略计划，在整体战略规划中，采取急用先行。了解近期以及中长期在业务和技术上的策略及目标，特别是与数据治理相关的信息;通过访谈、调研等方式，在内部营造数据治理的氛围、人相关人员在数据治理目标及价值方面达成普遍共识。根据现实存在的差距与计划，制定符合自身的数据规划。
关于治理的标准，金融企业一般以业界标准为基础，如国家标准、监管机构（如国家统计局、中国人民银行、工信部）制定的标准，结合本身实际情况对数据进行规范化，一般会包括分类、格式、编码规则、字典值等内容。良好的数据标准体系有助于金融企业数据的共享、交互和应用，可以减少不同系统间数据转换的工作。数据标准的制定，要适应业务和技术的发展要求，优先解决普遍的、急需的问题。数据标准由业务、技术、权限等内容构成：
业务：明确所属的业务主题以及业务概念，包括业务使用上的规则以及标准的相关来源等。对于代码类标准，还会进一步明确编码规则以及相关的代码内容，以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的，进而形成一套一致、规范、开放和共享的业务标准数据。
技术：描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。
权限：明确数据标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。
因此，数据标准的制定应从业务数据为出发点。经过详细的数据调研、访谈、设计、评审等标准定义流。;数据标准的制定需以“循序渐进、不断完善”为原则，支撑完整的数据标准创建过程，确保每一个数据标准对应企业的数据需求，做到数据标准有理有据。
数据质量管理是金融企业数据治理的有机组成部分。高质量的数据是金融企业进行分析决策、业务发展规划的重要基础，只有建立完整的数据质量体系，才能有效提升银行数据整体质量，从而更好的为客户服务，提供更为精准的决策分析数据。
从技术层面上，应该完整全面的定义数据质量的评估维度，包括完整性、时效性等，按照已定义的维度，在系统建设的各个阶段都应该根据标准进行数据质量检测和规范，及时进行治理，避免事后的清洗工作。
数据质量问题会发生在各个阶段，因此需要明确各个阶段的数据质量管理流程。例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量、不断消除。
近年来，欧盟推出了 《通用数据保护条例》（General Data Protection Regulation，简称GDPR）。我国监管层面不断完善数据治理工作，我们不得不将数据安全纳入数据治理的范畴。尤其金融企业从数据获取到数据存储，大量涉及到客户敏感数据，目前主要从数据获取安全、数据存储安全、数据传输安全、数据使用安全层面，通过一定的技术和规章制度来尽可能提高数据安全，比如现在的数字签名、智能合约、物理隔离、通道隔离等技术的应用，安全性会不断提高，但想要彻底消除安全隐患可能还需要很长的一段路要走。数据安全将是金融企业数据治理的一个重点，也是金融企业的科技从业人员将要面临和解决的一大难题。
（4）数据中台之“用”，体现在数据服务
“用”，即使用、应用。前面我们多次提到，数据中台让数据使用更简单，数据中台为业务提供端到端的数据服务。数据服务是数据中台资产价值变现的核心载体，是连接前台和后台的桥梁，数据中台能够以服务的形式为前台业务提供端到端的数据支持，支撑数据应用，距离业务更近，可以让业务更快的创新，创造更多的价值。
a. 常见的数据服务模式：
查询服务：通过特定的条件输入，以 API 的形式供前台业务调用（API 包括实时和批量两种情况）。查询类服务应用场景非常广泛，基本贯穿了整个经营及管理活动，是最为常见的一种数据服务类型。
分析服务：结合大数据技术手段，高效的对数据进行关联分析，在金融企业中，分析类型的服务主要是决策支撑、风控、客户洞察等应用场景。
推荐服务：以客户标签为基础，对客户进行画像，根据客户的活动轨迹、行为偏好等属性，定向、精准推送服务产品，在金融企业精准营销场景下使用广泛。
圈人服务：在金融企业中，一般以产品、营销活动为核心，在全量的用户数据中，基于标签组合圈定营销对象，比如理财产品营销，产品定位为青年、高净值人群，那么可以通过圈定这两个标签人群，进行营销。这本质上和推荐服务一样，都是通过用户标签体系组合，构建客户画像，只是主体不同。
b. 常见的数据服务类型：
数据大屏：数据可视化大屏是一个很重要的“面子”，它一方面能够通过酷炫的效果让人眼前一亮，同时也能把业务和数据的“里子”有效的传达出来，表里如一。
数据报表：通常情况下，分析类数据服务为数据报表提供服务支撑。数据表报类应用主要是通过可视化形态，呈现各种数据指标，主要是通过下钻、对比、关联分析手段，对所关注的数据进行灵活的查看。
商业智能：商业智能型应用是数据应用的核心，是数据洞察以及业务创新的重要支撑，商业智能是和数据标签结合最紧密的一种数据应用形态，从数据服务类型上看，包含了推荐服务、圈人服务，主要是通过数据画像达到数据洞察和业务创新，金融企业使用场景广泛，比如，风控、营销、产品设计、生物识别等等。
本文内容转载自：微信公众号EAWorld
原文作者：姚斌
作者: 姚斌