初始大数据(Big Data)开发

2022-12-01 14:11:23 浏览数 (1)

一、对大数据的认识

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

主要解决的是对海量数据的存储以及海量数据的计算分析问题

  • 数据单位描述:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据主要的特点:

  • Volume(大量):历史上全人类说过的话的数量大约是5EB,个人计算机目前容量单位为TB。
  • Velocity(高速):由于传输数据的量是非常庞大的,所以大数据在传输速率方面是高速的。
  • Variety(多样):以往的结构化数据相较于非结构化数据,非结构化数据越来越多,例如:音频,视频,地理信息等。对非结构化数据的处理能力要求较高。
  • Value(低价值密度):对复杂的,高效价值的数据进行提纯处理。

主要应用场景:

物流仓储、零售(纸尿布 啤酒)、旅游、商品广告推荐(推荐算法)、保险、金融、人工智能…

二、大数据开发岗位主要做什么?

数据采集【原始数据】 数据汇聚【经过清洗合并的可用数据】 数据转换和映射【经过分类,提取的专项主题数据】 数据应用 【提供api 智能系统 应用系统等】

  • 大数据开发岗所处的位置以及相关其他岗位职责。

(图片来源于网络)

  • 组织结构

三、大数据学习最全路线(推荐)

0 人点赞