机器学习越来越多地在企业应用，本文跟大家分享一个采用python，应用决策树算法对跨国食品超市顾客等级进行预测的具体案例。
如果想先行了解决策树算法原理，可以阅读本公众号的文章决策树-ID3算法和C4.5算法。
本文目录
- 加载数据 1.1 加载库 1.2 加载数据
- 数据预处理 2.1 分析标签列数据分布 2.2 特征列数据分析 2.3 年收入列正则化处理 2.4 受教育程度列One-hot编码
- 模型训练与效果评估
- 完整代码
一、加载数据
1 加载库
首先加载pandas库，并设置数据读取文件夹。
代码语言：javascript复制import os
import numpy as np
import pandas as pd
os.chdir(r'F:公众号4.决策树和随机森林')2 加载数据
接着用read_csv函数读取数据。
代码语言：javascript复制ori_date = pd.read_csv("customer.csv") #读取数据得到结果如下：
本文数据10281行、28列，其中每一行代表一个顾客。每一列代表一个特征，其中member_card列表示标签列。
注：如需本文数据，请到公众号中回复“决策树预测客户等级”即可免费获取。
二、数据预处理
在建模之前需要对标签列进行分析、入模特征进行挑选处理。先来看看标签列的数据特征吧。
1 分析标签列的数据分布
首先用value_counts函数看下标签列的分布情况，并查看该列是否存在缺失值和有问题的值。
代码语言：javascript复制ori_date['member_card'].value_counts()得到结果如下：
说明10281个顾客中，有5703个顾客被标记为青铜客户、2420个顾客被标记为普通客户、1198个顾客被标记为金牌客户、960个顾客被标记为银牌客户。
显然这是一个多分类问题，且这一列的数据类型为int64（整形），没有缺失值，所以不需要对该列进行缺失值处理。
2 特征列数据分析
首先来看下数据框中有哪些列，具体语句如下：
代码语言：javascript复制ori_date.columns得到结果如下：
可以发现第一列是顾客编号，后面的列是顾客姓名、地址、电话号码、国家、受教育程度、年收入、性别、孩子数目、拥有汽车数目等。
本文挑选年收入、受教育程度、孩子数目和拥有汽车辆数做为特征变量（自变量）进行建模。感兴趣的同学可以自己尝试增删变量，看看模型结果会有什么变化。
在建模之前先来看看入模特征的数据特点，首先是年收入列，具体语句如下：
代码语言：javascript复制ori_date['yearly_income'].value_counts()得到结果如下：
从结果中可以发现，年收入这一列存在$符号、空格、-等字符，需进行特殊处理。
再来看看受教育程度列的数据特点，具体语句如下：
代码语言：javascript复制ori_date['education'].value_counts()得到结果如下：
可以发现这一列是文本型，如果要入模，需转换成数值型。
接着来看看孩子数目列的数据特点，具体语句如下：
代码语言：javascript复制ori_date['total_children'].value_counts()得到结果如下：
可以发现这一列是数值型，且没有空值，无需处理，可直接入模。
最后来看下拥有汽车数目列的数据特点，具体语句如下：
代码语言：javascript复制ori_date['num_cars_owned'].value_counts()得到结果如下：
可以发现这一列同样是数值型，且没有空值，无需处理，可直接入模。
3 年收入列正则化处理
一种办法是只保留年收入列中的数值作为入模变量，具体语句如下：
代码语言：javascript复制ori_date['yearly_income'] = ori_date['yearly_income'].str.replace('[^0-9]', '')
ori_date['yearly_income'].value_counts()得到结果如下：
其中.str.replace('[^0-9]', '')表示把年收入中非数值字符替换成空，即只保留数值字符。
另一种办法是只保留年收入下限作为入模变量，具体语句如下：
代码语言：javascript复制ori_date['yearly_income'] = ori_date['yearly_income'].str.split(" ").str[0].str.replace('[^0-9]', '')
ori_date['yearly_income'].value_counts()得到结果如下：
可以发现第二种方法只保留了收入下限。
本文采用的是第一种方法，感兴趣的同学可以试试第二种办法，看看两种方法得到的变量入模后有多少区别。
4 受教育程度列One-hot编码
从上文的分析中可以发现，受教育程度列是文本列，需要转换成数值才可以入模。
有些同学可能会说，直接该列的文本转换成相应的数值即可，具体语句如下：
代码语言：javascript复制from sklearn.preprocessing import LabelEncoder
encoding = LabelEncoder()
encoding.fit(ori_date['education'])
education_new = encoding.transform(ori_date["education"])
education_new = pd.DataFrame(education_new)
education_new.iloc[:,0].value_counts()得到结果如下：
对比原始数据：
可以发现Bachelors Degree(学士学历)、Graduate Degree(研究生学历)、High School Degree (高中学历)、Partial College(大学在读)、Partial High School(高中在读)分别用数值0、1、2、3、4替换。
根据常识可知在学历上，学士学历和大学在读相比学士学历和高中学历更相近。在数值上0和2相比0和3更相近。因此用数值随机替换后表现的却是高中学历和学士学历更相近，显然不合理。
所以在建模时一般采用的是One-hot编码，避免由于数值替换带来的关联性。
为了大家能更好地理解One-hot编码，给大家引入一个实例进行说明。
假设现在有8名顾客，每名顾客都有对应的受教育程度(原始列)。由于要把受教育程度入模，所以要把文本型的数据转换成数值型的。
首先找出受教育程度的所有类别(本例中是五种),把这五种受教育程度每一个都当成一列，如果顾客受教育程度是该种类别的就标记为1，否则标记为0。
从上图可以看出，顾客5的受教育程度是Graduate Degree，所以在该列标记为1，其它列标记为0，同理可得顾客6的标记方法。
One-hot编码会把原始的一列扩展成多列，在python中使用如下语句可以实现：
代码语言：javascript复制from sklearn.preprocessing import OneHotEncoder
encoding = OneHotEncoder()
newData = encoding.fit_transform(np.vstack(ori_date["education"].values)).todense()
frame_new = pd.DataFrame(newData)得到结果如下：
三、模型训练
在第二节对数据进行了预处理，本节正式进入模型训练。在模型训练之前，要把特征变量(自变量)和标签变量(因变量)区分出来。
1 区分特征变量和标签变量
区分特征变量和标签变量的语句如下：
代码语言：javascript复制X = pd.merge(ori_date[["yearly_income", "total_children", "num_cars_owned"]],frame_new, left_index = True, right_index = True) #特征变量
y = ori_date['member_card'] #标签变量其中特征变量X由原始数据中的年收入、孩子数目、拥有汽车辆数，以及受教育程度扩展的One-hot编码组成。
标签变量y由member_card构成。
2 模型训练与效果评估
本文采用决策树算法进行建模，并用交叉验证的方法给出模型评分，具体代码如下：
代码语言：javascript复制from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score
clf = DecisionTreeClassifier()
scores = cross_val_score(clf, X, y, scoring = 'accuracy')
print(np.mean(scores))其中，clf=DecisionTreeClassifier表示分类器采用的决策树算法。
cross_val_score表示对自变量X和因变量y采用clf对应的算法，进行交叉验证。每一次都有一列真实值和预测值，两者进行对比算出这次训练的得分，依次保存到scores中。
最终的分数采用多次结果的加权平均来表示。
得到结果如下：
可以发现采用决策树算法进行分类，最终得分0.74左右，感兴趣的同学可以自己尝试调整入模变量和算法，看看能不能优化这个结果。
四、完整代码
本文全量代码如下：
代码语言：javascript复制import os
import numpy as np
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score
#数据读取
os.chdir(r'F:公众号4.决策树和随机森林')
ori_date = pd.read_csv("customer.csv")
#年收入正则化处理
ori_date['yearly_income'] = ori_date['yearly_income'].str.replace('[^0-9]', '')
#ori_date['yearly_income'] = ori_date['yearly_income'].str.split(" ").str[0].str.replace('[^0-9]', '')
#受教育程度列One-hot编码
encoding = OneHotEncoder()
newData = encoding.fit_transform(np.vstack(ori_date["education"].values)).todense()
frame_new = pd.DataFrame(newData)
#确定特征变量和标签变量
X = pd.merge(ori_date[["yearly_income", "total_children", "num_cars_owned"]],frame_new, left_index = True, right_index = True) #特征变量
y = ori_date['member_card'] #标签变量
#模型训练和效果评估
clf = DecisionTreeClassifier()
scores = cross_val_score(clf, X, y, scoring = 'accuracy')
print(np.mean(scores))决策树算法在python中实现已全部讲解完毕，感兴趣的同学可以跟着本文的步骤，自己用python实现。
