一：定义问题

二：理解数据

三：数据清洗

四：特征工程

五：模型选择

1.定义问题

问题描述：基于项目提供的房屋历史数据，预测新的房屋销售价格，本题是一个回归问题，应考虑使用回归模型进行求解，项目的评分标准是均方根误差（RMSE）。

2.数据理解

2.1数据概览

trainSet=pd.read_csv('E:/Python3.6 File/house-prices/train.csv')#读取数据
testSet=pd.read_csv(''E:/Python3.6 File/house-prices/test.csv')
trainSet.info()
trainSet.describe()#获取数据集的统计学信息

我们可以得知数据是分为训练集和测试集，数据中含有缺失值，目标变量为SalePrice，特征值有数值型和类别型两种数据类型。

2.2 数据可视化分析

2.2.1数值型特征值可视化分析

我们首先获取数值型特征值和类别型特征值得列表

continuous_varible=[]##数值型变量
discrete_varible=[]##类别型变量
for i in range(len(trainSet.columns)):
    if trainSet[trainSet.columns[i]].dtype!=object and trainSet.columns[i]!='Id' and trainSet.columns[i]!='SalePrice':
        continuous_varible.append(trainSet.columns[i])
    elif trainSet.columns[i]!='Id' and trainSet.columns[i]!='SalePrice':
        discrete_varible.append(trainSet.columns[i])

再作图观察数值型特征值分布情况

import seaborn as sns
import matplotlib.pyplot as plt
continuous_table=pd.melt(trainSet,value_vars=continuous_varible)##数值型变量的分布
g=sns.FacetGrid(continuous_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.distplot,'value')
plt.show()

绘制目标变量与数值型特征值得分布情况

##绘制连续型变量与SalePrice的关系图
continuous_table=pd.melt(trainSet,id_vars=['SalePrice'],value_vars=continuous_varible)
g=sns.FacetGrid(continuous_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.scatterplot,'value','SalePrice')
plt.show()

2.2.2类别型特征变量分析

对类别型变量进行分析，分别作图查看其分布及与SalePrice之间的关系

#类别型变量的分布图
discrete_table=pd.melt(trainSet,value_vars=discrete_varible)
g=sns.FacetGrid(discrete_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.countplot,'value')

#类别型变量与SalePrice的关系图
discrete_table=pd.melt(trainSet,id_vars='SalePrice',value_vars=discrete_varible)
g=sns.FacetGrid(discrete_table,col='variable',col_wrap=4,sharex=False,sharey=False)
g.map(sns.boxenplot,'value','SalePrice')

由上图可以看出saleprice与类别型数据并没有明显联系，saleprice与GrLivArea，1stFirSF等数值型特征有明显的相关关系。

2.2.3目标变量SalePrice的可视化分析

分析目标变量SalePrice 我们对目标变量SalePrice进行可视化处理，利用seaborn作其概率密度图； 通过图我们发现SalePrice并不完全符合正态分布，我们可以查看峰度(Kurtosis)和偏度（Skewness）两个统计量； 通过箱型图我们发现SalePrice存在异常值。

##接下来我们对目标变量SalePrice进行可视化处理
plt.subplots(figsize=(10,5))
sns.distplot(trainSet.SalePrice)##seaborn作其密度曲线
plt.subplots(figsize=(10,5))
sns.boxplot(trainSet.SalePrice)

计算SalePrice的峰度和偏度,观察其是否满足正态分布

我们发现SalePrice分布不满足正态分布且具有异常值，稍后我们可以对其进行对数变换使其满足正态分布，并且可以删除其异常值。

2.3相关性分析

计算saleprice与特征之间的相关系数，并进行可视化处理。

##计算saleprice与特征之间的相关系数
trainSet.corr()['SalePrice'].sort_values(ascending=False)[1:]
##绘制热图
plt.subplots(figsize=(30,20))
sns.heatmap(trainSet.corr(),cmap="BrBG",center=0,annot=True,linewidths=.5)
##绘制关于trainSet的相关系数，颜色风格为‘BrBG’，以0为中心，显示数值(annot)，中间用0.5width的线分隔的热图
plt.show()

由此热图我们可以发现有大概15个特征与saleprice呈较强相关，其中有三个特征与saleprice呈高相关 许多特征与特征之间也呈现较高相关性 由上图可以看出saleprice与object型数据并没有明显联系 saleprice与GrLivArea，1stFirSF等特征有明显的相关关系。

3.数据清洗

3.1.异常值处理

作散点图观察SalePrice异常点，对异常值进行处理。

previous_train=trainSet.copy()
train1=trainSet[(trainSet.GrLivArea <= 4000) & (trainSet.SalePrice <= 500000)]

3.2目标变量正态化处理

使用对数变换对目标变量SalePrice进行正态化，使其更加满足正态分布。

3.3缺失值处理

1.合并训练集和测试集以便于对数据进行处理

2.对于有些缺失值比如Alley空值代表的是没有，可以用NA填充

missing_val_col = ["Alley", 
                   "PoolQC", 
                   "MiscFeature",
                   "Fence",
                   "FireplaceQu",
                   "GarageType",
                   "GarageFinish",
                   "GarageQual",
                   "GarageCond",
                   'BsmtQual',
                   'BsmtCond',
                   'BsmtExposure',
                   'BsmtFinType1',
                   'BsmtFinType2',
                   'MasVnrType']
for i in missing_val_col:
    all_data[i].fillna('None',inplace=True)##在all_data上进行填充空值

3.对于有些特征空值填充为0。

missing_val_col2 = ['BsmtFinSF1',
                    'BsmtFinSF2',
                    'BsmtUnfSF',
                    'TotalBsmtSF',
                    'BsmtFullBath', 
                    'BsmtHalfBath', 
                    'GarageYrBlt',
                    'GarageArea',
                    'GarageCars',
                    'MasVnrArea']
for i in missing_val_col2:
    all_data[i].fillna(0,inplace=True)##在all_data上进行填充空值，空值填为0

4.用每个社区的街道中间值来代替那些街道尺寸空缺的选项

all_data['LotFrontage'] = all_data.groupby('Neighborhood')['LotFrontage'].transform( lambda x: x.fillna(x.median()))

5.利用众数进行填充

missing_val_col3 = ['MSZoning','Utilities','Functional', 'SaleType','KitchenQual','Exterior2nd','Exterior1st','Electrical']

for i in missing_val_col3:
    all_data[i].fillna(all_data[i].mode()[0],inplace=True)

6.查看缺失值

由此可见缺失值已经处理完成。

4.特征工程

4.1数值型特征转换为类别特征

#将某些特征的类型从数值型转变为类别型
all_data['OverallCond'] = all_data['OverallCond'].astype(str) 
all_data['OverallQual'] = all_data['OverallQual'].astype(str)

## 年份也应该是类别型而非数值型 
all_data['YearBuilt'] = all_data['YearBuilt'].astype(str)
all_data['YearRemodAdd'] = all_data['YearRemodAdd'].astype(str)
all_data['YrSold'] = all_data['YrSold'].astype(str)
all_data['MoSold'] = all_data['MoSold'].astype(str) 
all_data['GarageYrBlt'] = all_data['GarageYrBlt'].astype(str)

## MSSubClass代表住宅类型处于字符型变量 
all_data['MSSubClass'] = all_data['MSSubClass'].astype(str)

4.2类别特征转换为数值特征

将类别型特征转化为数值型特征,对于无序型类别特征使用one-hot编码

##将字符型的分类变量转变为数值型的变量以方便回归模型调用
all_data=pd.get_dummies(all_data,drop_first=True)

4.3归一化处理

对数值进行归一化处理，使用（X-X_mean）/std

##归一化处理，使用（X-X_mean）/std
num_cols_means=all_data.loc[:,num_cols].mean()
num_cols_std=all_data.loc[:,num_cols].std()
all_data.loc[:,num_cols]=(all_data.loc[:,num_cols]-num_cols_means)/num_cols_std

5.模型选择与调参

首先将训练集和测试集分离

##分回训练集和测试集
train_x=all_data[:n_train]
train_y=train1.SalePrice
test_x=all_data[n_train:]
#test_y=pd.read_csv('E:/Python3.6 File/house-prices/sample_submission.csv').SalePrice

1.首先我们使用普通线性回归模型，利用交叉验证法计算器均方根误差。

##使用线性回归模型（linerGression）进行预测
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split,cross_val_score
from sklearn.metrics import mean_squared_error

## 设置学习器，n_jobs=-1,代表CPU全速启动
lin_reg = LinearRegression(n_jobs=-1)

##计算均方根误差
scores = np.sqrt(-cross_val_score(lin_reg, train_x,train_y,cv = 10, scoring = 'neg_mean_squared_error'))
scores=scores.mean()
scores

最后计算得出其均方根误差达到600903，很明显普通线性回归模型不适用。

2.使用岭回归模型进行预测

##使用Ridge Regression(岭回归)模型
from sklearn.linear_model import Ridge
##划分数据集，1/3为测试集
trainX,testX,trainY,testY=train_test_split(train_x,train_y,test_size=1/3,random_state=3)
scores=[]
alpha_score={}
#alpha=[-3,-2,-1,1e-15, 1e-10, 1e-8, 1e-4, 1e-3,1e-2, 1,1.5, 2,3,4, 5, 10, 20, 30, 40]
alpha=np.logspace(-3,2,50)
for i in alpha:
    ridge=Ridge(i)##参数值设为i
    ##交叉验证
    score=np.sqrt(-cross_val_score(ridge,trainX,trainY,cv=10,scoring='neg_mean_squared_error'))#求其均方根误差
    #使用ridge学习器，对数据trainX，trainY进行10折交叉验证，评价标准为准确度‘accuracy’
    scores.append(score.mean())
    alpha_score[i]=score.mean()

##绘制不同alpha值与评分图
plt.plot(alpha,scores)
plt.xlabel('alpha')
plt.ylabel('Accuracy')
plt.show() 

我们可以知道对于岭回归，当alpha取9.5时，评分sorce为0.121，能够得到最佳预测效果

所以我们可以使用alpha=9.5的岭回归模型进行预测 。

3.使用随机森林进行预测

from sklearn.ensemble import RandomForestRegressor
max_features=[.1,.3,.5,.7,.9,.99]
scores=[]
for i in max_features:
    clf=RandomForestRegressor(n_estimators=200,max_features=i)
    score=np.sqrt(-cross_val_score(clf,trainX,trainY,cv=5,scoring='neg_mean_squared_error'))
    scores.append(score.mean())
plt.plot(max_features,scores)
plt.title('Max feature vs RMSE ')

由图可以看出取最大特征数为大概0.3时可以有一个比较低的误差 使用max_features=0.3来进行预测。

clf=RandomForestRegressor(max_features=0.5,n_estimators=200)
R_clf=clf.fit(trainX,trainY)
predict03=R_clf.predict(testX)

最后我们得出随机森林法的误差为0.137

4.使用AdaBagging法进行预测

##取alpha=9.5
from sklearn.linear_model import Ridge
ridge=Ridge(9.5)
from sklearn.ensemble import BaggingRegressor
from sklearn.model_selection import cross_val_score
#我们在使用Bag个ing集成时将它的基分类器设置为ridge
#trainX,testX,trainY,testY=train_test_split(train_x,train_y,test_size=1/3,random_state=3)
params=[1,10,15,20,25,30,40]
test_scores=[]
for param in params:
    clf=BaggingRegressor(n_estimators=param,base_estimator=ridge)
    scores=np.sqrt(-cross_val_score(clf,trainX,trainY,cv=10,scoring='neg_mean_squared_error'))
    test_scores.append(scores.mean())
plt.plot(params,test_scores)
plt.title('n_estimators vs RMSE')

可以得出当基学习器个数为40时，误差降到了0.122以下，决定采用n_estimators=40，基学习器为alpha=9.5的Ridge学习器。

ridge=Ridge(9.5)
clf=BaggingRegressor(n_estimators=40,base_estimator=ridge)
clf.fit(trainX,trainY)
predict_B=clf.predict(testX)

最后可以得出AdaBagging法的误差为0.122。