在做数据分析的时候，往往需要回溯历史数据。但有时候构建历史数据时需要变更参数重复跑数，公司的数仓调度系统往往只支持日期这一个参数，而且为临时数据生产调度脚本显得有点浪费。这个时候就可以结合python的字符串格式...

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它...

Structured Streaming报错记录：Overloaded method foreachBatch with alternatives0. 写在前面1. 报错2. 代码及报错信息3. 原因及纠错4. 参考链接

${kyuubiserver}:${kyport}见 kyuubi-defaults.conf 的 kyuubi.frontend.bind.port 配置。

导读：ClickHouse速度快的秘诀在于——利用存储引擎的特殊设计充分减少磁盘I/O对查询速度的影响。

Spark 3.3.1是一个包含稳定性修复的维护版本。该版本基于Spark的branch-3.3维护分支。强烈建议所有3.3用户升级到这个稳定版本。

Spark Connect是我想写的一个大数据相关的选题。但是由于各种原因一直拖拖拉拉的，就拖到了2022年的最后几天。

转换算子是spark中的一种操作，用于从一个RDD转换成另一个RDD，它可以被用来创建新的RDD，也可以被用来转换已有的RDD。它们提供了一种通用的方法来完成RDD的转换，如map、filter、groupByKey等。...

兴致勃勃的在网络上看了亚马逊AWS年度大会re:Invent2022。我每年有空就会看，虽然从来没去LasVegas现场参观。

Flink Forward Asia 2022最近在开，有关Flink的讨论，又开始在国内热闹起来。从技术上来说，Flink当然已经是streaming processing的一个标杆了。