金普新区公共数据服务平台上线使用
随着信息技术,尤其是传感器、通信、计算机和互联网技术的迅猛发展和广泛应用,人类获取数据的手段越来越多,速度大大加快,成本急剧降低,层次和尺度更为精细,人联网和物联网又使得人和物都成为数据来源,这样一来,大数据成为了网络时代人类社会的重要资产。
面对这些持续激增的海量数据信息和基于数据的业务需求,现今大部分行业所能做的也只是被动的将数据短暂存储,已使用近30年的传统数据处理架构对这些海量信息的处理和应用几乎无能为力。如何让这些复杂无序的数据产生价值、而不是空耗成本,如何让行业轻松驾驭这些海量数据信息来创新、快速洞察,这是现今各行各业的迫切需求。
公共数据服务平台通过提供的结构化数据汇聚作业,使当前分散于各个业务系统中的海量结构化数据的高效集成成为可能,满足跨系统结构化数据的高效接入,充分迎合客户对海量数据汇集的需求。通过提供的数据清洗转换,将已有的ETL脚本加入系统的作业调度中,充分满足了客户对海量数据汇集后对数据加工的需求,客户可以根据业务需求去编写与扩展ETL脚本,极大地增加了系统在数据加工上的灵活度。系统提供对作业的实时管理,满足了客户在作业提交后对各作业的监控以及周期性调度的需求。
公共数据服务平台主要功能模块包括:数据分区管理、数据源管理、元数据管理、数据血缘、数据质量、数据编目、数据标准、数据汇聚、数据转换、数据加工、数据服务等。
公共数据服务平台不仅有效解决大数据时代客户普遍面临的数据汇集难、数据资源利用率低、数据响应业务需求慢等痛点难点。而且充分地满足了客户对于海量数据资源池中数据加工的需求。