?0??5

2??0??6自动清洗X自动清洗是通过专门编写的计算机应用程序来进行数据

清洗这种方法能解决某个特定的问题Y但不够灵活Y特别是在清理过

程需要反复进行时??0??5一般来说,数据清理一遍就达到要求的很少??0??6Y程序

复杂Y清理过程变化时工作量大而且Y这种方法也没有充分利用目前

数据库的强大的数据处理能力。

数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

进行处理Y数据清洗的内容主要包括四点

??0??5

1??0??6缺失值处理由于调查编码和录入误差Y数据中可能存在

一些缺失值Y需要给予适当的处理常用的处理方法有X估算

整例删除变量删除和成对删除

??0??5

2??0??6异常值处理根据每个变量的合理取值范围和相互关系Y检

查数据是否合乎要求Y发现超出正常范围逻辑上不合理或者相

互矛盾的数据。

数据清洗主要是对缺失值重复值异常值和数据类型有误的数据

进行处理Y数据清洗的内容主要包括四点

??0??5

3??0??6数据类型转换数据类型往往会影响到后续的数据处理分析

环节Y因此Y需要明确每个字段的数据类型Y比如Y来自A表的

学号是字符型Y而来自B表的字段是日期型Y在数据清洗的时候

就需要对二者的数据类型进行统一处理

??0??5

4??0??6重复值处理重复值的存在会影响数据分析和挖掘结果的准

确性Y所以Y在数据分析和建模之前需要进行数据重复性检验Y

如果存在重复值Y还需要进行重复值的删除。

在进行数据清洗时Y需要注意如下事项X

??0??5

1??0??6数据清洗时优先进行缺失值异常值和数据类型转换的操作Y最后进

行重复值的处理

??0??5

2??0??6在对缺失值异常值进行处理时Y要根据业务的需求进行处理Y这些

处理并不是一成不变的Y常见的填充包括X统计值填充??0??5常用的统计值有

均值中位数众数??0??6前/后值填充??0??5一般使用在前后数据存在关联的情

况下Y比如数据是按照时间进行记录的??0??6零值填充。

在进行数据清洗时Y需要注意如下事项X

??0??5

3??0??6在数据清洗之前Y最为重要的对数据表的查看Y要了解表的结构和发

现需要处理的值Y这样才能将数据清洗彻底

??0??5

4??0??6数据量的大小也关系着数据的处理方式

??0??5

5??0??6在导入数据表后Y一般需要将所有列一个个地进行清洗Y来保证数据

处理的彻底性Y有些数据可能看起来是可以正常使用的Y实际上在进行处

理时可能会出现问题??0??5比如某列数据在查看时看起来是数值类型Y但是其

实这列数据的类型却是字符串Y这就会导致在进行数值操作时无法使用??0??6。

数据处理常常涉及数据集成操作Y即将来自多个数据源的数

据Y结合在一起形成一个统一的数据集合Y以便为数据