CDA数据分析师 出品
编辑：JYD
大家好，我是曹鑫老师，今天主要为大家讲解的是数据开发岗位。下面演示一个实际案例，帮助大家更好的了解这类岗位。
数据开发主要的内容包括编写数据加工处理程序，数据模型的设计与开发，下面我们通过简单的例子为您展示数据开发岗位的工作内容。
现有业务需求：假设有用户的评论数据，现需要统计评论中各个单词的频次，通过高频词汇挖掘用户的舆情、关注点是什么。由于数据量很大需要使用Hadoop的分布式文件系统(HDFS)存储数据、使用MapReduce分布式计算框架或Spark加工处理数据。
评论数据如下：
根据MapReduce分布式计算框架的使用要求，分别开发Map、Reduce代码：mapper.py
reducer.py
提交代码，这里我们编写一个简单的shell脚本，脚本内容如下：
运行结束，得到结果：
总结：数据量比较小的时候并不能体现出分布式计算的性能优势，但是实际业务中数据量一般都很大，所以使用大数据平台很必要。这只是数据开发各类场景中的一个很小的例子，优秀的数据开发应具备：
- 至少需掌握一种编程语言，
- 熟练使用SQL、
- 熟悉Linux命令，
- 会使用大数据平台
- 熟悉数据模型设计方法（3NF、维度建模等）
这就是数据开发岗位日常工作的一个案例。
