实时即未来,最近在腾讯云流计算 Oceanus 进行 Flink 实时计算服务,以下为使用自定义图数据库 Nebula Graph Connector 的实践。分享给大家~
Nebula Graph是一个开源分布式图数据库。在社交网络、内容实时推荐、用户画像等场景中,图数据库已相对普及。Nebula Graph 团队开发了 Nebula Flink Connector,支持利用 Flink 进行 Nebula Graph 图数据的流式处理和计算。
Nebula Flink Connector是一个自定义的 Flink 连接器,支持 Flink 从 Nebula Graph 图数据库中读取数据(source),或者将其他外部数据源读取的数据写入 Nebula Graph 图数据库(sink)。
当前流计算Oceanus兼容的 Flink 版本为 1.13,scala版本为 2.11,与开源的Nebula connector版本一致。如何在Oceanus上使用可参考Oceanus使用自定义Connector指南
参考链接:
[1] Nebula connector源码地址:
https://github.com/vesoft-inc/nebula-java/tree/v1.0/tools/nebula-flink
[2] Nebula Graph Connector实现原理:
https://cloud.tencent.com/developer/article/1756060
[3] Nebula 实现和实践案例:
https://dzone.com/articles/nebula-flink-connector-implementation-and-practice