min-max标准化（Min-Max Normalization）

也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 , 1]之间。转换函数如下： 
 
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

min-max标准化python代码如下：

import numpy as np

arr = np.asarray([0, 10, 50, 80, 100])
for x in arr:
    x = float(x - np.min(arr))/(np.max(arr)- np.min(arr))
    print x

# output
# 0.0
# 0.1
# 0.5
# 0.8
# 1.0
   
   
    

     
1
     
2
     
3
     
4
     
5
     
6
     
7
     
8
     
9
     
10
     
11
     
12
     
13
    

Z-score标准化方法

也称为均值归一化(mean normaliztion)， 给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。转化函数为： 
 
其中  μ  为所有样本数据的均值， σ 为所有样本数据的标准差。

import numpy as np

arr = np.asarray([0, 10, 50, 80, 100])
for x in arr:
    x = float(x - arr.mean())/arr.std()
    print x

# output
# -1.24101045599
# -0.982466610991
# 0.0517087689995
# 0.827340303992
# 1.34442799399
【ML】数据预处理
   
   
    

    
    
     

     
     
      
前言
     
     
      
对于数据的预处理，没有固定的步骤。 
下文写的仅仅的常规的一些小步骤。 
具体的预处理，还需要根据数据以及需求来自行处理。
     
     
      
====================================
     
     
      
Python
     
     
      
STEP1、导入依赖包
     
     
      
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
      
      
       

        
1
        
2
        
3
       
     
     
      
把np作为numpy的缩写，后面可以直接使用np来调用各种方法。
     
     
      
==> 
numpy系统是python的一种开源的数值计算扩展。 
这种工具可用来存储和处理大型矩阵，比python自身的嵌套列表结构要高效的多。 
你可以理解为凡是和矩阵有关的都用numpy这个库。
     
     
      
==> 
matplotlib.pyplot是用来做数据的展示。也就是数据的可视化。
     
     
      
==> 
pandas该工具是为了解决数据分析任务而创建的。pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。 
pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使python成为强大而高效的数据分析环境的重要因素之一。
     
     
      
======== 
选择好这三行代码，敲下shift+return组合键。
     
     
      

     
     
      
如果结果如下，说明库已经导入了。 
我们的环境配置也完全没有问题。
     
     
      
如果环境的配置有问题，参考博客： 
http://blog.csdn.net/wiki_su/article/details/78404808
     
     
      
STEP2、读取数据
     
     
      
原始数据在云盘，有需要的自行下载吧。 
链接:http://pan.baidu.com/s/1eRHXACU 
密码:4q8c
     
     
      
在Spyder中，设置好文件路径。千万不要忘了。
     
     
      

     
     
      
输入下面的代码。然后选择这行代码，敲下shift+return组合键。
     
     
      
#import dataset
dataset = pd.read_csv('Data.csv')
      
      
       

        
1
        
2
       
     
     
      
我们在explorer中会看到我们命名的dataset。
     
     
      

     
     
      
双击打开
     
     
      

     
     
      
根据上面的dataset的那个图我们可以看出，我们的目的是想要通过地区，年龄，薪资来看购买力。
     
     
      
那我们把country，age，salary作为X，purchased作为Y。 
得到二者之间的关系，就得到了country，age，salary和purchased之间的某种关系。
     
     
      
#取出所有的行，（去掉最后一列 purchased）
X = dataset.iloc[:,:-1].values

取出结果
Y = dataset.iloc[:,3].values
      
      
       

        
1
        
2
        
3
        
4
        
5
       
     
     
      
运行结果如下：
     
     
      

     
     
      
然后我们双击打开X，会发现打不开。这个是因为数据类型的原因。
     
     
      

     
     
      
我们可以在代码中输入X，然后选中运行。
     
     
      

     
     
      
STEP3、遗失数据的处理
     
     
      
我们回过头在看上面的dataset的图。 
我们会发现数据缺少几个。他用了nan来标记缺失的数据。
     
     
      

      
      
       
注意： 
对于缺失的数据，我们大体上有3中处理方法： 
1、通过数据中的最大值和最小值，我们把中间值赋值给缺失的数据； 
2、通过所有数据的平均值来赋值给缺失的数据； 
3、删除有空缺数据项；
      
      
       
择优排队的结果是：1 > 3 、 2 > 3 
因为在大部分的时候，我们的数据会非常稀少。每一个数据都来之不易。我们不能轻易的删掉。
     
     
      
     
     
      
============
     
     
      
导入库。这个库就是专门做数据预处理的。
     
     
      
#预处理impoter
from sklearn.preprocessing import Imputer

#做遗失的部分的处理 用NaN的方式填补上来
#axis：传0或者。0代表处理列 ，1代表处理行。
#strategy的值有mean，median，most_frequent ，分别代表：平均数 中间值 最常出现的数值
imputer = Imputer(missing_values = 'NaN',strategy = 'mean', axis = 0)

#1-3行缺失的部分补上
imputer = imputer.fit(X[:,1:3])

#返回处理好的数据
X[:,1:3] = imputer.transform(X [:,1:3])
      
      
       

        
1
        
2
        
3
        
4
        
5
        
6
        
7
        
8
        
9
        
10
        
11
        
12
        
13
       
     
     
      
对于这个方法，我们不熟悉可以通过Help来查看。不过前提是 
from sklearn.preprocessing import Imputer这行代码运行过。
     
     
      

     
     
      
然后我们运行下，会发现缺失的数据已经被我们填充好了。
     
     
      

     
     
      
STEP4、数据明确化
     
     
      
数据明确就是为了提高运行的速度和准确性。 
当然我们不进行数据明确也可以…为了更好，还是加上这步吧。
     
     
      
我们看country 和 purchased ，如果都变成用数字表示。那我们运行的效率就提升上去了。
     
     
      
热编码的优点： 
1.能够处理非连续型数值特征。 
2.在一定程度上也扩充了特征。
     
     
      
#数据明确
#提高运行的速度和准确性
#把数据明确化，变成数字
#OneHotEncoder 热编码
from sklearn.preprocessing import LabelEncoder,OneHotEncoder

#把城市数据进行数字明确化
labelencoder_X = LabelEncoder()
X[:,0] = labelencoder_X.fit_transform(X[:,0])

#热编码，拿出来做数组的编排
onehotencoder = OneHotEncoder()
X = onehotencoder.fit_transform(X).toarray()

#把结果数据进行城市化
labelencoder_Y = LabelEncoder()
Y = labelencoder_Y.fit_transform(Y)
      
      
       

        
1
        
2
        
3
        
4
        
5
        
6
        
7
        
8
        
9
        
10
        
11
        
12
        
13
        
14
        
15
        
16
        
17
       
     
     
      
运行，然后我们看下结果：
     
     
      

     
     
      

     
     
      
STEP5、数据分割
     
     
      
数据分割。是把数据分为两组。一组A用来训练，一组B是用来测试。 
然后通过测试数据的Y，用训练组的模型得到的Y值进行比较。
     
     
      
就是比较B.Y 和 ResultA （B.X） 的值是否一样，如果一样或者差别不大，那么我们做出来的模型就是可靠的。
     
     
      
#数据分割
from sklearn.cross_validation import train_test_split

#0 取一次就好了，不要每次都取两组随机的数字
X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size = 0.2,random_state = 0)
      
      
       

        
1
        
2
        
3
        
4
        
5
       
     
     
      
我们就可以看到分割好的两组数据。 
X_train、Y_train 
X_test 、Y_test
     
     
      

     
     
      
STEP6、数据缩放
     
     
      
数据缩放把这些数据，规范在一个范围中。 
如果不这么做的话，比如 0 ，0.001， 0.2, 99… 这类数据非常不易看。
     
     
      
from sklearn.preprocessing import StandardScaler

#缩放
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)
Y_train = sc_X.fit_transform(Y_train)
Y_test = sc_X.fit_transform(Y_test)
      
      
       

        
1
        
2
        
3
        
4
        
5
        
6
        
7
        
8
       
     
     
      

     
     
      
我们打开X_train，然后format调成小数一位。结果如下。
     
     
      

     
     
      
以上就是数据预处理的几步了。
     
     
      
END 完整代码
     
     
      
#数据预处理 data preprocessing

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

#import dataset
dataset = pd.read_csv('Data.csv')

#Matrix of feature
X = dataset.iloc[:,:-1].values
Y = dataset.iloc[:,3].values

#预处理impoter
from sklearn.preprocessing import Imputer

imputer = Imputer(missing_values = 'NaN',strategy = 'mean', axis = 0)
imputer = imputer.fit(X[:,1:3])
#返回处理好的数据
X[:,1:3] = imputer.transform(X [:,1:3])

#数据明确
from sklearn.preprocessing import LabelEncoder,OneHotEncoder

labelencoder_X = LabelEncoder()
X[:,0] = labelencoder_X.fit_transform(X[:,0])

onehotencoder = OneHotEncoder()
X = onehotencoder.fit_transform(X).toarray()

labelencoder_Y = LabelEncoder()
Y = labelencoder_Y.fit_transform(Y)

#数据分割
from sklearn.cross_validation import train_test_split

#0 取一次就好了，不要每次都取两组随机的数字
X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size = 0.2,random_state = 0)

#缩放X
from sklearn.preprocessing import StandardScaler

sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)
Y_train = sc_X.fit_transform(Y_train)
Y_test = sc_X.fit_transform(Y_test)