关于大数据信息分析的方法与工具

2019-01-08 11:44:17 浏览数 (1)

1、信息分析的原理

信息分析主要以事物、现象、数据、信息的属性、特征、本质、规律、关联等为依据展开定性和定量分析,以期发现新知识。因此,信息分析以事物、现象、数据、信息之间存在的因果关系或相关关系为基础。关系是指事物之间因为时间、秩序、结构、运动等产生的联系,包括时间、空间、发生和发展逻辑(包括流程,如工业流程、业务流程等;规律,如生命体的生老病死循环、自然运动规律等)

事物、现象、数据、信息之间的关系十分复杂且多种多样,但都可归为不确定关系和确定性关系两种,不确定性关系主要是相关关系,是定性分析的基础,确定性关系主要是数量关系,是定量分析的基础

2、信息分析的思维模式

(1)样本微观分析:信息分析以数据、信息和现象为对象,一般是从全体或总体中选择部分样本进行分析,称为样本分析或抽样分析。

(2)定性和定量分析:以相关关系为基础,采用定性方法分析样本的本质、规律、特征、属性、联系;以因果关系为基础,采用数学和统计学模型定量描述或拟合样本的特征、规律和联系。样本间的定量关系通常不是严格的函数关系,而是近似的函数关系,需要用函数关系近似地描述相关关系,这样必然存在误差,因此需要对样本间的函数关系进行各种检验,控制误差。

(3)趋势外推分析:以定性和定量分析得到的样本的本质、规律、特征、属性、联系等为基础进行趋势外推,扩大到全体或总体,并进行总体预测或估计

3、信息分析的方法与工具

信息分析方法主要源于逻辑学方法、系统分析方法、图书情报学方法(如文献计量学方法、引文分析法)、社会学方法、统计学方法、数学方法等,一般分为哲学方法、一般方法、具体方法三个层次,具体分析方法通常又分为定性方法、定量方法和半定量方法三大类。

其中定性方法主要有逻辑思维和科学思维方法,包括分类与比较、分析与综合、归纳与演绎、类比与想象等。定量方法主要有多元分析法(如相关分析、回归分析、聚类分析等)、时间序列分析法(如移动平均、指数平滑、线性趋势、季节指数等)、文献计量方法等。半定量方法主要有内容分析法、层次分析法、德尔菲法等

信息分析的工具主要有四大类:

一是社会调查和专家调查工具;

二是逻辑思维工具;

三是数学和统计模型;

四是数据库和计算机数据挖掘工具

这些方法和工具可以从不同的角度和层面对数据、信息与现象进行分析,为科学管理和科学决策提供必要的定性和定量依据

0 人点赞