Apache IoTDB
2021年度总结
1.版本演进
在过去的2021年里,社区正式推出了 0.12 系列版本,并在 0.12 版本上维护了 0.12.0 - 0.12.4 共计 5 个小版本。我们将精打细磨,力求持续地为大家提供性能稳定、速度极致的体验。
同时,经过一整年的持续演进,0.13 系列版本也要和大家见面了!目前正在进行发版前的各项验证工作。0.13 的新功能主要包括双存储引擎、更丰富的数据处理、更广阔的开源生态:
双存储引擎(支持时间列共享存储、独立存储)
IoTDB原有存储引擎在每个时间序列内部存储一列时间戳,适用于各序列独立采集的场景。从v0.13起,IoTDB新增了多个时间序列共享一列时间戳的新兴存储引擎,标志着 IoTDB 进入双引擎时代。同时,在一个IoTDB内,用户针对不同的监测设备可以选择不同的存储引擎,从而大幅度节省存储成本并提升读写性能。
丰富的数据处理
A.查询功能方面:
Select 子句支持嵌套表达式:
允许在 select 语句出现包含时间序列、常量、数学表达式、函数的任意嵌套表达式
新版空值填充查询:
支持 previous , linear, value 三种空值填充方式
分层聚合查询支持指定多个路径层级
一系列新的内置时间序列生成函数:cast, sinh, cosh, tanh, const, pi, e
Group by fill 全面支持 avg, count, extreme, first_value, last_value, max_time, max_value, min_time, min_value, sum 算子
B.触发器:
提供了侦听序列数据变动的机制。配合用户自定义逻辑,可完成告警、数据清洗、数据转发等功能
C.查询写回:
支持将复杂查询计算结果写回 IoTDB 内部,同时也为序列的内部迁移提供了可能性
D.持续查询:
定时开启查询写回任务,为复杂计算、多粒度的降采样数据预生成提供了便捷
广阔的开源生态
A.REST 服务:
现在可以用 REST 接口管理数据、元数据
B.新 Grafana 插件:
相比现有的 Grafana 连接器功能更强、速度更快、资源占用更少
C.监控框架:
支持指定使用 micrometer 或 dropwizard 采集监控数据,预先埋点超过 50 项,监控数据可直接对接 Prometheus 和 Grafana
D.全新 Cli 工具:
支持历史记录、语法提示和自动补全
2.子项目(UDF-Library)
UDF-Library 基于 IoTDB 用户自定义函数(UDF),实现了一系列关于数据质量的函数,包括数据画像、数据质量、序列匹配、评估与修复等 9 个类别。
https://thulab.github.io/iotdb-quality/
目前,UDF-Library 已经正式成为 Apache IoTDB 子项目。
3.社区成长
社群用户
2020年起,为了更好地服务国内用户,实现更便捷的交流,社区创建了微信群和QQ群。
目前,我们共有微信群 3 个,累计人数超过 1000 人;QQ群(659990460)人数也已经超过 500 人。
从 2020 年的 396人增长到 1532人,国内社群用户数量较 2020 年增长超 287 %!
社区贡献者
目前已经有 162 位贡献者为 IoTDB 主仓库贡献了代码,从 2020 年的 94 增长到 162,相比 2020 年初增长了近 70 人!
目前已经有多家公司深度参与到 IoTDB 的开发中,如东方国信、阿里、云智慧、360、用友、华为、中冶赛迪等等。
学生群体方面,去年一年新增了来自清华、北大、北航、西北工业大学、复旦大学、南京大学、厦门大学、威斯康星大学、新加坡国立大学等国内外高校学生的身影,更有同学选择 IoTDB 作为他们的毕业设计方向。
在这些人中,诞生了 8 位 committer,让我们对他们的贡献表示由衷的敬意。期待有更多的小伙伴成为 committer!
社区荣誉
A. 2021年度最活跃开发项目:
据 Apache 软件基金会 2021年8月31日发布的官方 Blog,Apache IoTDB 排名 2021 年度 Apache 项目 Commits 数量第 7,占 Commits 总数的 2.1%,上榜 Apache 软件基金会 2021年度最活跃开发项目。
B. 入选十三五科技成果展:
被科技部选入国家“十三五”科技创新成就展
C. 荣获北京市科技进步一等奖:
Apache IoTDB 相关技术获得北京市科技进步一等奖
D. 社区 PMC 荣获“2021 中国开源先锋 33 人之心尖上的开源人物”:
SegmentFault 思否作为中国领先的新一代开发者社区,展开了第三届“中国技术先锋”年度评选。来自Apache IoTDB的PMC 黄向东老师成功入选“2021 中国开源先锋 33 人之心尖上的开源人物”
原文链接:https://segmentfault.com/a/1190000041270720
社区周边
除了官方提供的各种资源外,社区的小伙伴去年还为大家提供了不少有用的第三方工具。
A.Rust 客户端:
https://github.com/iotdb-lab/iotdb-rs
https://github.com/iotdb-lab/iotdb-client-rs
B.Rust cli 工具:
https://github.com/iotdb-lab/iotdb-cli
C.C# 客户端:
https://github.com/eedalong/Apache-IoTDB-Client-CSharp
D.IoTDB 每日构建版下载(Nightly Releases):
支持每日自动构建、提 issue 自助打包,适合尝鲜的小伙伴
https://github.com/SteveYurongSu/apache-iotdb-nightly-releases
E.基于Java的GUI,用于查询IoTDB(使用JDBC):
因包含层次结构的图形树,比CLI更易于使用
https://ope.nz/public/iotdbUI.zip
应用示例:
https://ope.nz/public/iotdbUI_screenshot.png
大会活动
社区 PMC 承办了 Apache Con Asia 的 IoT Track、中国开源年会的 IoT Track,并参与 QCon、CNCC、DataFun、DTCC、Hadoop meetup等相关活动。
其中, Apache IoTDB在 Apache Con Asia的大会特邀报告中得到介绍:
2 名 IoTDB 社区成员参与 VLDB Summer school,并获得优秀学员称号。
2021 年的开源软件供应链点亮计划,IoTDB 社区共计入选 16 个项目,其中 13 个项目成功匹配到学生,让至少 10 名同学成为了社区贡献者。IoTDB 社区将继续参与未来的开源软件供应链点亮计划,社区仍然将提供一对一的导师指导,欢迎热心开源的同学关注活动动向,积极参与进来!
END
关于 Confluence 小编还有话要说:咱们社区一贯都是采取全流程开源的模式,在过去一年里,我们将所有的用户需求、设计文档、问题排查文档、知识分享、测试报告都留在了 Confluence 上,