| 数据清洗能够提高数据质量,保证数据的可用性、可靠性、一致性、完整性、有效性和唯一性,有效满足不同业务场景的数据分析和清洗需求.本文通过对数据清洗的功能架构、技术架构、数据备份、数据清洗、数据存储模型和清洗模型驱动的研究,建立面向多类型数据库的自定义数据抽取机制,自由灵活的建立数据分析清洗对象集,基于建立的数据集,进行纵向计算与分析,数据列与列之间的横向逻辑和数学计算,掌握数据集的特征.通过对数据相似度比较、数据异常识别、数据越限判断和数据缺失统计等算法的融合,结合基于模型驱动的数据清洗流程,可根据统计分析的结果,快捷配置数据清洗流程,并生成数据清洗模型,实现以模型为基础,流程为驱动的数据自动清洗过程. |