数据实验楼Spark大数据分析综合实训项目正式发布
http://idatacoding.cn/project_main?project_id=3
重要提示
数据实验楼面向全国高校师生提供服务,如未加入所在院校,请先加入院校方可获得服务。
加入院校方法如下:
如果没有校园码,请在线申请。方法如下:
点击菜单栏“申请院校码”,在弹框里填写信息。
信息填写完整后提交。
Spark大数据分析项目
地理数据可视化、Spark SQL、Spark ML
实训目标
本实训运用真实的出租车订单数据,使用基于Spark的大数据处理分析技术,对城市车流进行时间和空间上的分析并建立行程费用预测模型。通过本实训,学生将进一步夯实Spark分布式计算框架的基本使用,熟悉使用Spark SQL处理和分析数据的基本方法,掌握使用Spark ML构建分布式机器学习模型的方法以及空间地理数据可视化的方法。
实践工具
推荐实训课时:30
前置知识检测
项目介绍
交通作为城市发展的主要动力,对生产要素的流动,城镇体系的发展有着决定性的影响,一个良好的交通运输状态能够为一座城市带来源源不断的发展动力。对城市的交通大数据进行分析,能够帮助我们了解城市中不同区域居民的生活空间和工作空间,能够帮助我们了解不同区域居民在城市交通网络上的活动规律。通过了解这些内容,我们可以做到以人为本,实现交通和生活的和谐,提高城市的宜居性,为政府的精准管理提供决策支持。城市中交通大数据的种类多种多样,有道路监测数据、车辆GPS数据、电子收费数据、移动互联数据等等。其中,作为城市交通道路中重要的一环,出租车的运营数据也是城市交通大数据中非常重要的组成部分。通过分析出租车的运营数据,我们可以获得城市中居民的出行高峰信息,不同时间不同区域之间居民的出行规律等。
项目流程
实训任务示例
新功能 请关注
闯关任务全局视图
闯关模式完成项目任务,边看边做。通过了解项目背景及所需的知识,按照实训任务要求完成编码任务。提供全局视图,实时了解任务进展。
实训进度可视化
实训进度可视化大屏会展示每个学生的任务进度与状态,老师可查看学生的任务答案并与正确答案进行比对。
实训报告留档
实时统计学生的任务进度与报告完成进度。教师可在线完成报告评分,导出成绩和学生报告。