银行数据清洗解决方案

背景

整合业务系统源数据，通过数据传输系统建立统一数据视图，统一数据加工，解决了数据有效性和标准化两大基础问题，为全行业务发展、精细化管理、决策及监管提供有力支撑。

通过数据传输系统搭建统一数据平台

首先就是要进行数据整合，将多源数据进行统一集成并非易事。显然，依靠人工处理会大大影响数据的及时性与准确性，利用宝利信通的批量数据传输系统代替人工方式，对不同数据源中的业务数据进行自动抽取和转换，然后经过对这些数据的清理、标准化和整合的过程，将其统一存储到各数据集市中。

系统逻辑架构

系统功能特点

1. 支持任意数据源类型访问

支持的数据库：传统关系型数据库、Flat Files、Excel、MPP数据库，如Teradata、Greenplum等。

支持的应用系统：ERP、财务、交易系统。

支持XML半结构化、非结构化、云端数据等。

支持任意的消息类型：MQ、JMS和 Web Service及EAI平台。

2. 支持任意时延访问要求

支持任意时延要求对数据进行访问：批量、实时、变更捕获。

系统数据流程

1、按功能数据分区

信息系统应用对数据的不同需求，将数据平台按照面向历史，面向实时，面向操作，面向集成等功能需求进行逻辑分区。

2、数据分层

将数据按照不同粒度进行分层归并、聚合处理，满足不同业务应用场景的数据需求。

3、统一数据接口

通过统一的数据接口标准，由数据平台统一提供数据服务，保证数据的一致性。