大家好,又见面了,我是你们的朋友全栈君。
1、概述
在工业大数据数据库存储领域,除了传统的关系型数据库和分布式数据库以外,还有一种类型的数据库是非常常用,而且是非常有必要的,就是实时数据库,以及时序数据库。 但是,大家可能会有疑问,都是专门处理时序数据的,这是两种数据库吗?他们之间有什么联系?
1.1发展历史
实时数据库是数据库系统的一个分支,它适用于处理不断更新的快速变化的数据及具有时间限制的事务处理。实时数据库技术是实时系统和数据库技术相结合的产物。实时数据库最起初是基于先进控制和优化控制而出现的,对数据的实时性要求比较高,因而实时、高效、稳定是实时数据库关键的指标。 实时数据库的研究设计始于20世纪80年代中期。当时的美国随着流程工业和航天工业的发展,大量的测量数据需要集成和存储,采用关系数据库难以满足速度和容量的要求,而且接口访问复杂,不适合科研和监控的需要,因此诞生了以工业监控为目的的实时数据库。实时数据库系统一般是商业企业信息化建设和工业控制智能化的基础,在商业化的实时数据库产品开发上,国外有不少著名公司在原有自营业务的基础上推出了相应的实时数据库产品。
到了90年代,实时数据库在流程工业全世界范围内大行其道,源于以太网的逐步普及;主要应用于工业监控、控制和公用工程。 国内的实时数据库研究开始得晚一些。随着国内工业界对分布式控制系统(Distributed Control System,DCS)的广泛引进和应用,教育科技界率先进行研究实时数据库理论的研究。目前对实时数据库系统(Real Time Database System,RTDBS)的研究主要来解决实时系统中的数据管理问题或为RTDBS提供时间驱动调度和资源分配算法。
目前实时数据库已经应用到众多领域,它的应用范围还在不断扩展,业界的工程师在不断创造出实时数据库的应用模式。实时数据库还可用于会计、银行、法律、医疗记录、多媒体、过程控制、预定系统和科学数据分析等领域。 整体来看,以监控为目的的实时数据库只是狭义上的实时数据库,广义上讲,只要一个数据库具备实时处理过程,即以足够快的速度处理事务来返回结果并及时响应,且处理的工作事务的状态不断变化,那它就是实时数据库。而以监控为目的的实时数据库满足这些条件,它处理的是传感器或设备不断产生的时序数据,可以快速处理、及时响应。其“时序数据”作为重要特征区别于其他各类数据库,于是就有了另外一个名字:时序数据库。
时序数据库在维基百科上的解释:A time series database (TSDB) is a software system that is optimized for handling time series data, arrays of numbers indexed by time (a datetime or a datetime range). 翻译过来就是“时序列数据库用来存储时间序列(time-series)数据并以时间(点或区间)建立索引的软件系统。”
所以,实时数据库的概念包含时序数据库,也就是说可以处理时序数据的实时数据库就是大家所说的时序数据库,实时数据库还可以处理时序数据以外的数据。网上流传的各种定义和观点大多没有抓住其本质,把各种表象、形态、架构、甚至某个产品的功能当作实时数据库的特征给下定义,不具有参考价值。
1.2发展未来
在国家层面,“实时数据库”被看作是与操作系统统一级别的基础软件。2015年12月14日,工业和信息化部发布贯彻落实《国务院关于积极推进“互联网+”行动的指导意见》行动计划(2015-2018年),明确了2018年“互联网+”总体目标。文中关于实时数据库有如下内容: “发展软件和信息技术服务业。推动基础软件核心关键技术突破,加快新兴领域基础控制及应用软件发展。支持高端工业软件、新型工业APP的研发和应用,发展自主可控工业操作系统及实时数据库等基础软件,提升设计、仿真、管理、控制类工业软件的国产化率和应用水平。”
1.3小结
工业监控领域的实时数据库其实并不单单只是一个数据库,而是一个系统,包括对各类工业接口的数据采集,海量监测数据的压缩、存储及检索,基于监测数据的反馈及控制功能等。它主要是为了解决当时关系型数据库不太擅长的领域,包括: 1、 海量时序数据的实时读写操作
2、 大容量时序数据的存储
3、 集成了工业接口的时序数据采集
4、 集成控制功能,可实现实时控制
但是,“海量”、“大容量”是相对意义上的,十年前几百GB可能就已经算是“海量”了,但随着大数据技术的飞速发展,数据量朝着TB、PB一路高歌猛进,测点规模动则百万、千万起步,部分起步早的实时数据库由于跟不上时代变化而逐步落伍,大浪淘沙筛选出真正的“金子”,它们在新的时代、新的领域将继续解决实时数据处理领域面临的各种问题。 于此同时,随着Hadoop的普及,基于各种开源组件出现了许多新兴的时序数据库,它们继承了Hadoop的“大数据”基因,为处理海量时序数据而生,他们正在互联网领域快速成长,优秀的基因赋予它们光明的未来,但也正在或即将面临大浪淘沙,以及实时数据库的挑战。
新的实时数据库或时序数据库也许正在诞生,还有那些已经长大的, 有的依然健壮成长,有的走向衰落,在这段生命里,大家研究同一个问题,并以解决问题为使命,所不同的只是技术手段,但真正能长久的只是因为使用了某种技术吗?真正重要的是把握住生产发展的需求、跟随问题变化而不断迭代技术。
下面将以实时数据库中的代表:庚顿实时数据库,和时序数据库的代表OpenTSDB,进行全面分析对比。
2、实时数据库&时序数据库基本情况对比
序号 | 比较项目 | OpenTSDB | Golden |
---|---|---|---|
1 | 是否开源 | 是 | 否 |
2 | 公司名称 | 无 | 北京庚顿数据科技有限公司 |
3 | 公司性质 | 无 | 中国民营企业 |
4 | 公司成立时间 | 2010年(产品发布年份) | 2007年 |
5 | 业务开展时间 | 2010年 | 2003年 |
6 | 价格水平 | 免费 | 适中 |
7 | 授权协议 | LGPL(允许私有使用) | 厂商授权 |
8 | 公司资质 | — | 海淀区创新企业 中关村高新技术企业 国家高新技术企业 武器装备质量管理体系认证企业等 |
9 | 产品资质 | — | 满足实时数据库安全评价规范标准要求 |
10 | 技术服务能力 | 使用需专业运维团队 有问题可以社区提问或联作者 | 开发团队在中国,有专门的售后服务团队 |
11 | 纵向管理能力 | — | 支持集团级应用和多级部署 |
12 | 主要应用行业 | 物联网 | 电力(电网、发电 )、新能源、石油化工、物联网等 |
13 | 服务模式 | 线上 | 线上 线下 |
14 | 知名用户 | Zenoss(企业网络/系统管理应用程序) | 国家电网、南方电网、华能集团、华电集团、金风科技、中船 重工、CEC电子等 |
15 | 典型案例 | 数据中心机房运维监控系统 | 在民用领域,广泛应用于国家电网、南方电网、神华集团、华能集团、华润集团等世界五百强企业中,以及金风科技、广东明阳、大唐华创风能、湖北能源集团、华能新能源等风电领军企业中;在军用领域,与中船重工七〇一所、七〇三所、CEC中国电子、中电科十所、十四所、上海核工业研究院、海军工程大学等军工企业和研究机构共同解决海量数据实时处理问题 |
3、成本对比
序号 | 比较项目 | OpenTSDB | Golden |
---|---|---|---|
1 | 软件成本 | 受LGPL协议限制 | 有(由装机容量而定) |
2 | 部署方式 | 需要大量的服务器组成集群 | 单机/双机/集群 |
3 | 硬件成本 | 高 | 低 |
4 | 依赖软件 | Hbase | 无 |
5 | 运维团队 | 需有专业运维团队,熟悉linux集群运维,HBase运维和OpenTSDB运维 | 无,工程人员经过短期培训掌握安装部署即可,运行中的运维工作量很少 |
6 | 开发团队 | 基本的业务能力、客户端等都需要软件开发工程师开发 | 产品配套功能强大的计算引擎和组态软件,工程人员经过短期培训就可组出想要的工程界面和实现业务逻辑 |
7 | 用户体验 | 要达到较高的用户满意度需要投入较高的人财物力 | 成熟产品,用户体验好,节省宣传推销成本和时间成本 |
OpenTSDB的成本主要是硬件和人力成本,Golden的成本主要是软件成本。由于不同用户的情况、需求、资源都不尽相同,可根据实际情况选择最合适的。OpenTSDB多个节点的服务能力相当于Golden一个节点的服务能力。
4、安全可控性对比
序号 | 比较项目 | OpenTSDB | Golden |
---|---|---|---|
1 | 公司地点 | 开源,社区维护,美国 | 中国.北京 |
2 | 研发团队 | 美国,各地开源贡献者 | 中国.北京 |
3 | 总部直属支持团队 | 无 | 有(国内团队支持全国市场) |
4 | 大陆分公司或核心分销商支持 | 无 | 有(北京总部直接派团队进行技术支持) |
5 | 代码可控性 | 开源,可私有到自己产品中 | 国内掌控 |
6 | 数据安全性 | 不安全 | 安全 |
5、结束语
以上是依据产品现有的功能的基础上进行比对,产品更新迭代,会各自沿着自己的产品规划进行发展,使用者根据自己的使用场景和实际情况进行选择。
产品未来可期!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/185736.html原文链接:https://javaforall.cn