原文链接：https://tecdat.cn/?p=34286
分析师：Shichao Zhong
如何处理庞大的数据集，并对数据进行可视化展示（点击文末“阅读原文”了解更多）。
相关视频
项目挑战
在后续分析中特征选择是重点之一，要根据事实情况和数据易处理的角度来筛选变量
解决方案
任务/目标
根据已有的车祸数据信息，计算严重车祸发生率最高和最低的地区；并对车祸发生严重程度进行因素分析，判断哪些外界环境变量会影响车祸严重程度，分别有怎样的影响。
数据源准备
数据记录了约350万条车祸信息（查看文末了解数据免费获取方式），我们从中截取2017-2019年三个年份的完整记录来进行分析。其中有用的列信息包括：日期、地区、严重程度、道路方向、温度、湿度、压强、能见度、风速等13列。
因为数据集过大，因此采用Spark（Spark SQL）和MapReduce等进行数据清洗和筛选。计算各地区总共的车祸数量，以及各月份的车祸数量，用于后续的可视化。
如上图所示，条形图显示的是车祸数量减去全国平均值，而折线图描述的是高严重事故发生率（等级1、2为低严重，等级3、4为高严重）。
点击标题查阅往期内容
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC
左右滑动查看更多
01
02
03
04
因素分析
因为数据量足够多，因此直接删除了有缺失值的记录，得到了770,323行数据。为了分析影响车祸严重程度的环境因素，首先需要将每个因素进行处理和筛选：
能见度：当能见度为20-30公里时，能见度为极佳。然而在数据集中，有一些记录具有非常大的能见度，我认为这些值和10英里的值是一样的，因此把这些值改为10英里，以减少异常值。
天气状况：通过counplot计算不同天气状况下的车祸数量，得到了前10个最常出现的天气状况。为了研究环境因素对车祸严重程度的影响，我们只关注天气条件不好时的数据。因此，删除了天气条件良好的行，并删除了重复的行，最终得到360,824条记录。
风寒：通过绘制了pairplot来查看连续变量之间的关联性，其中发现了一些相互之间具有高度相关性的变量(温度和风寒)。因此删除了高相关变量(Wind_chill)，以便使之后的回归分析更准确。
回归分析
在进行了特征选择和处理后，我们将剩下的变量进行回归分析。以车祸严重程度作为因变量（类别变量），以留下的环境变量为自变量，利用广义线性模型做回归分析，得到各变量的p值（如下图所示），结果表明，所有的p值均小于0.05，但其中温度和湿度的系数几乎等于0，说明这两个变量对严重程度的影响不大。民用曙暮光与风速均为正系数，因此可以推断夜间更容易发生严重事故，风速越高发生严重事故的可能性越大。气压和能见度系数均为负，因此气压和能见度越低，事故越严重。
分类树
我尝试通过分类树利用上述的特征来对车祸严重程度进行分类和预测，并得到对分类模型最有帮助的特征。
尝试了3、4和5交叉验证来确定最佳标准和树的最大深度。从下面的结果可以看出，对于该训练集，最佳的准则是gini准则，树的最大深度的最佳值是6。然后用这个模型对测试集进行预测。实际上，预测的结果并不是很好。因为样本数量太不均匀，导致分类结果与预测结果之间存在较大偏差。大部分数据被预测为2级。
由此可知，仅凭这些变量不足以衡量和预测车祸的严重程度。当然情况也是如此，因为我们在前提下只假设了外部环境因素的存在，而影响车祸的环境因素不仅包括这些因素。然而，我们仍然可以使用现有的数据集和决策树模型，以确定哪些变量是重要的分类。
项目结果
对于该车祸数据集，我们研究了交通事故数量和严重事故发生率，并分析了影响车祸严重程度的外部环境因素。结果表明，气压、能见度、风速和民用曙暮光对事故严重程度有一定的影响。压力、风速和温度对我们的数据进行分类更有帮助。
然而不可否认的是，这个分类和预测的结果并不是很好。由于数据集的限制，有许多潜在变量没有考虑进去，这些局限性导致回归和分类的结果存在一定的误差，但我们仍然可以得出一些关于环境因素可能影响人们发生车祸的结论。
关于分析师
在此对Shichao Zhong对本文所作的贡献表示诚挚感谢，她专注机器学习、数据收集处理、数据可视化领域。擅长Python、MySQL、R。
点击题查阅往期内容
IBM SPSS Modeler分类决策树C5.0模型分析空气污染物数据
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC
Matlab决策树、模糊C-均值聚类算法分析高校教师职称学历评分可视化
PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享
数据分享|R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病
数据分享|WEKA信贷违约预测报告：用决策树、随机森林、支持向量机SVM、朴素贝叶斯、逻辑回归
SPSS Modeler用K-means（K-均值）聚类、CHAID、CART决策树分析31省市土地利用情况和GDP数据
数据分享|Python信贷风控模型：Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付
Python进行多输出（多因变量）回归：集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
PYTHON集成机器学习：用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
R语言集成模型：提升树boosting、随机森林、约束最小二乘法加权平均模型融合分析时间序列数据
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化
R语言基于树的方法：决策树，随机森林，Bagging，增强树
R语言用逻辑回归、决策树和随机森林对信贷数据集进行分类预测
spss modeler用决策树神经网络预测ST的股票
R语言中使用线性模型、回归决策树自动组合特征因子水平
R语言中自编基尼系数的CART回归决策树的实现
R语言用rle，svm和rpart决策树进行时间序列预测
python在Scikit-learn中用决策树和随机森林预测NBA获胜者
python中使用scikit-learn和pandas决策树进行iris鸢尾花数据分类建模和交叉验证
R语言里的非线性模型：多项式回归、局部样条、平滑样条、 广义相加模型GAM分析
R语言用标准最小二乘OLS，广义相加模型GAM ，样条函数进行逻辑回归LOGISTIC分类
R语言ISLR工资数据进行多项式回归和样条回归分析
R语言中的多项式回归、局部回归、核平滑和平滑样条回归模型
R语言用泊松Poisson回归、GAM样条曲线模型预测骑自行车者的数量
R语言分位数回归、GAM样条曲线、指数平滑和SARIMA对电力负荷时间序列预测
R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
如何用R语言在机器学习中建立集成模型？
R语言ARMA-EGARCH模型、集成预测算法对SPX实际波动率进行预测
在python 深度学习Keras中计算神经网络集成模型
R语言ARIMA集成模型预测时间序列分析
R语言基于Bagging分类的逻辑回归(Logistic Regression)、决策树、森林分析心脏病患者
R语言基于树的方法：决策树，随机森林，Bagging，增强树
R语言基于Bootstrap的线性回归预测置信区间估计方法
R语言使用bootstrap和增量法计算广义线性模型（GLM）预测置信区间
R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析
R语言随机森林RandomForest、逻辑回归Logisitc预测心脏病数据和可视化分析
R语言用主成分PCA、 逻辑回归、决策树、随机森林分析心脏病数据并高维可视化
Matlab建立SVM，KNN和朴素贝叶斯模型分类绘制ROC曲线
matlab使用分位数随机森林（QRF）回归树检测异常值
