一、对大数据的认识
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
主要解决的是对海量数据的存储以及海量数据的计算分析问题
- 数据单位描述:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
大数据主要的特点:
- Volume(大量):历史上全人类说过的话的数量大约是5EB,个人计算机目前容量单位为TB。
- Velocity(高速):由于传输数据的量是非常庞大的,所以大数据在传输速率方面是高速的。
- Variety(多样):以往的结构化数据相较于非结构化数据,非结构化数据越来越多,例如:音频,视频,地理信息等。对非结构化数据的处理能力要求较高。
- Value(低价值密度):对复杂的,高效价值的数据进行提纯处理。
主要应用场景:
物流仓储、零售(纸尿布 啤酒)、旅游、商品广告推荐(推荐算法)、保险、金融、人工智能…
二、大数据开发岗位主要做什么?
数据采集【原始数据】 数据汇聚【经过清洗合并的可用数据】 数据转换和映射【经过分类,提取的专项主题数据】 数据应用 【提供api 智能系统 应用系统等】
- 大数据开发岗所处的位置以及相关其他岗位职责。
(图片来源于网络)
- 组织结构