实时即未来,最近在腾讯云 Oceanus 进行实时计算服务,分享给大家~
本次实践通过流计算 Oceanus (Flink)把数据写入到 ES 目的端。
注意点:
- 使用 ES 作为 Sink 时,若源端为MySQL等数据库需要捕捉数据变化使用 MySQL-CDC时,需使用upsert方式插入数据。不能使用append方式。
- 记录中字段有timestamp类型时,需指定类型长度(timestamp(3)),否则会报以下错误。
语法检查失败:org.apache.flink.table.api.ValidationException: Type TIMESTAMP(6) of table field 'create_time' does not match with the physical type TIMESTAMP(3) of the 'create_time' field of the TableSink consumed type.