Flink实践-使用 Elasticsearch 作为目的端

2021-10-18 09:21:38 浏览数 (1)

实时即未来,最近在腾讯云 Oceanus 进行实时计算服务,分享给大家~

本次实践通过流计算 Oceanus (Flink)把数据写入到 ES 目的端。

注意点:

  1. 使用 ES 作为 Sink 时,若源端为MySQL等数据库需要捕捉数据变化使用 MySQL-CDC时,需使用upsert方式插入数据。不能使用append方式。
  2. 记录中字段有timestamp类型时,需指定类型长度(timestamp(3)),否则会报以下错误。 语法检查失败:org.apache.flink.table.api.ValidationException: Type TIMESTAMP(6) of table field 'create_time' does not match with the physical type TIMESTAMP(3) of the 'create_time' field of the TableSink consumed type.

0 人点赞