新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库

2021-12-31 10:40:10 浏览数 (1)

导语：Apache InLong 增加了通过 Apache Pulsar 接入数据的能力，充分利用了 Pulsar 不同于其它 MQ 的技术优势，为金融、计费等数据质量要求更高的数据接入场景，提供完整的解决方案。

在下面的内容中，我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。

Apache InLong(incubating) 简介

Apache InLong（应龙 https://inlong.apache.org）是腾讯捐献给 Apache 社区的一站式数据流接入服务平台，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。InLong 项目原名 TubeMQ ，专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力，我们将项目升级为 InLong，专注打造一站式数据流接入服务平台。

Apache InLong 以腾讯内部使用的 TDBank 为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。

Apache InLong 服务于数据采集到落地的整个生命周期，按数据的不同阶段提供不同的处理模块，主要包括：

  • inlong-agent，数据采集 Agent，支持从指定目录或文件读取常规日志、逐条上报。后续也将扩展 DB 采集、HTTP 上报等能力。
  • inlong-dataproxy，一个基于 Flume-ng 的 Proxy 组件，支持数据发送阻塞和落盘重发，拥有将接收到的数据转发到不同 MQ（消息队列）的能力。
  • inlong-tubemq，腾讯自研的消息队列服务，专注于大数据场景下海量数据的高性能存储和传输，在海量实践和低成本方面有着良好的核心优势。
  • inlong-sort，对从不同的 MQ 消费到的数据进行 ETL 处理，然后汇聚并写入 Hive、ClickHouse、Hbase、Iceberg 等存储系统。
  • inlong-manager，提供完整的数据服务管控能力，包括元数据、任务流、权限，OpenAPI 等。
  • inlong-website，用于管理数据接入的前端页面，简化整个 InLong 管控平台的使用。

Apache Pulsar 简介

Apache Pulsar 是 Pub/Sub 模型的消息系统，并且从设计上做了存储和计算的分离。Apache Pulsar 计算与存储分离的架构，以及分片存储的设计为 Apache Pulsar 带来了相比于传统基于分区存储 MQ 的一些优势：

  • Broker 和 Bookie 相互独立，方便实现独立的扩展以及独立的容错
  • Broker 无状态，便于快速上、下线，更加适合于云原生场景
  • 分区存储不受限于单个节点存储容量
  • 分区数据分布均匀

准备条件

  • 安装Apache Pulsar，版本2.6
  • 安装Apache Hive，版本2.3

安装 InLong

部署 InLong ，可以使用 Docker Compose 实现一键部署，也可以通过二进制文件在普通机器上部署。

  • Docker Compose 部署：https://inlong.apache.org/zh-CN/docs/next/deployment/docker
  • 使用安装包部署：https://inlong.apache.org/zh-CN/docs/next/deployment/bare_metal

区别于 InLong TubeMQ，如果使用 Apache Pulsar，需要在 Manager 组件安装中配置 Pulsar 集群信息，格式如下：

代码语言：javascript复制
# Pulsar admin URLpulsar.adminUrl=http://127.0.0.1:8080,127.0.0.2:8080,127.0.0.3:8080# Pulsar broker addresspulsar.serviceUrl=pulsar://127.0.0.1:6650,127.0.0.1:6650,127.0.0.1:6650# Default tenant of Pulsarpulsar.defaultTenant=public

创建数据接入

配置数据流 Group 信息

在创建数据接入时，数据流 Group 可选用的消息中间件选择 Pulsar，其它跟 Pulsar 相关的配置项还包括：

  • Queue module：队列模型，并行或者顺序，选择并行时可设置 Topic 的分区数，顺序则为一个分区；
  • Write quorum：消息写入的副本数
  • Ack quorum：确认写入 Bookies 的数量
  • retention time：已被 consumer 确认的消息被保存的时间
  • ttl：未被确认的消息的过期时间
  • retention size：已被 consumer 确认的消息被保存的大小

配置数据流

配置消息来源时，文件数据源中的文件路径，可参照 inlong-agent 中File Agent的详细指引。

请复制以下地址到浏览器查看：

https://inlong.apache.org/docs/next/modules/agent/file/#file-agent-configuration

配置数据格式

配置 Hive 集群

保存 Hive 流向，点击“提交审批”。

数据接入审批

进入审批管理页面，点击我的审批，审批上面提交的接入申请，审批结束后会在 Pulsar 集群同步创建数据流需要的 Topic 和订阅。

我们可以在 Pulsar 集群使用命令行工具检查 Topic 是否创建成功：

配置文件 Agent

在配置文件 Agent 时，需要根据数据接入创建时指定的目录下创建文件：

代码语言：javascript复制
touch /data/test_file.txt;

按照创建数据流时的数据源格式，向文件中写入数据（可以按格式写入更多数据）：

代码语言：javascript复制
echo -e "1|testn2|testn" >> /data/test_file.txt

数据落地检查

最后，我们登录 Hive 集群，通过 Hive 的 SQL 命令查看 test_stream 表中是否成功插入了数据。

问题排查

如果出现数据未正确写入 Hive 集群，可以检查 Dataproxy 和 Sort 相关信息是否同步：

  • 检查 Inlong-Dataproxy 的 conf/topics.properties 文件夹中是否正确写入该数据流对应的Topic 信息：
代码语言：javascript复制
b_test_group/test_stream=persistent://public/b_test_group/test_stream
  • 检查 InLong Sort 监听的 ZooKeeper 中是否成功推送了数据流的配置信息：
代码语言：javascript复制
get /inlong_hive/dataflows/{{sink_id}}

Apache InLong(incubating) 贡献者招募

Apache InLong(incubating) 当前共有 68 名 contributor，仍处在项目孵化的初期，还有很多待办事项，包括：Feature 开发、社区运营，文档翻译等，期待更多开源爱好者加入 InLong，一起将 InLong 打造成 Apache 顶级项目。

以下为 InLong 项目的时间线：

  • 2021年11月5日，发布 0.11.0 版本
  • 2021年9月3日，发布 0.10.0 版本
  • 2021年7月12日，发起更名后第一个版本 0.9.0 投票
  • 2021年4月11日，完成社区改名，改为 Apache InLong
  • 2021年2月11日，发起社区改名变更申请
  • 2020年12月20日，进行项目改名讨论和投票
  • 2020年5月30日，按照 Apache 社区规范发布第一个社区版本
  • 2019年11月3日，进入 Apache 社区孵化
  • 2019年9月12日，TubeMQ 对外开源并捐献给 Apache 社区

Apache InLong 项目官方网站：

https://inlong.apache.org

Apache InLong GitHub 地址：

https://github.com/apache/incubator-inlong

加入 Apache InLong 微信交流群，请扫描下方二维码，添加“星火计划活动助手”好友，并备注“应龙”，小助手会拉你进群。

apache hive https 网络安全 编程算法

0 人点赞