最新 最热

Spark关键词

Application Spark的应用程序,包含一个Driver program和若干Executor

2023-02-25
1

SpringBoot异步任务

在Java应用中,绝大多数情况下都是通过同步的方式来实现交互处理的;但是在处理与第三方系统交互的时候,容易造成响应迟缓的情况,之前大部分都是使用多线程来完成此类任务,其实,在Spring 3.x之后,就已经内置了@Async来完美解决...

2023-02-25
0

Flink Yarn Cluster & HA

在一个企业中,为了最大化的利用集群资源,一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在 Yarn 上面运行。首先,让我们了解下 Yarn 和 Flink 的关系。...

2023-02-25
1

Flink 的 HA简介

首先,我们需要知道 Flink 有两种部署的模式,分别是 Standalone 以及 Yarn Cluster 模式。对于 Standalone 来说,Flink 必须依赖于 Zookeeper 来实现 JobManager 的 HA(Zookeeper 已经成为了大部分开源框架 HA 必不可少的...

2023-02-25
0

输入DStream之基础数据源

HDFS文件 基于HDFS文件的实时计算,其实就是,监控一个HDFS目录,只要其中有新文件出现,就实时处理。相当于处理实时的文件流。 streamingContext.fileStream<KeyClass, ValueClass, InputFormatClass>(dataDirectory) strea...

2023-02-25
0

自动分区推断

表分区是一种常见的优化方式,比如Hive中就提供了表分区的特性。在一个分区表中,不同分区的数据通常存储在不同的目录中,分区列的值通常就包含在了分区目录的目录名中。Spark SQL中的Parquet数据源,支持自动根据目录名推断...

2023-02-25
1

Action操作开发实战

1.Reduce 2.collect 3.count 4.take 5.saveAsTextTile 6.countByKey 7.foreach

2023-02-25
1

后端渲染是什么

服务端渲染是一种Web应用程序开发技术,它将服务器端生成的HTML和CSS直接发送给浏览器,而不是使用JavaScript在客户端生成和渲染页面。这种技术最初用于动态Web应用程序的开发,但现在已成为构建现代Web应用程序的重要工具...

2023-02-25
0

Error: ENOENT: no such file or directory, scandir ‘D:IdeaWorkcode-front-jetnode_modules.npminsta

执行npm run dev的时候出现如下错误 Error: ENOENT: no such file or directory, scandir ‘D:IdeaWorkcode-front-jetnode_modules.npminstallnode-sass3.7.0node-sassvendor’...

2023-02-25
1

使用 c++20 协程与 io_uring 实现高性能 web 服务器 part1:一个最简单的 echo server

如果您不熟悉 io_uring 和 c++20 协程,可以参考这个仓库里的其他一些文章和示例代码:

2023-02-24
0