最新 最热

SparkStreaming之foreachRDD

DStream中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。所以要掌握它,对它要有深入了解。下面有一些常用的错误...

2022-07-02
0

Zabbix表字段类型和value type问题

最近在帮同事搞spark streaming的监控,主要是通过解析servlet的url来获取对应的监控值。

2022-07-01
1

Delta Lake 2.0:Databricks的急病乱投医???

新粉请关注我的公众号在今年的Data+AI summit上,Databricks宣布了不少东西,其中之一就是2019年同样的Data+AI Summit上开源的Delta Lake,这次宣布开源2.0。这个2.0按照Databricks的说法,就是把之前藏着的捏着的“高级”功...

2022-07-01
0

Spark集群安装

1,download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。

2022-06-29
1

Spark存储体系底层架构剖析-Spark商业环境实战

本套系列博客从真实商业环境抽取案例进行总结和分享,并给出Spark源码解读及商业实战指导,请持续关注本套博客。版权声明:本套Spark源码解读及商业实战归作者(秦凯新)所有,禁止转载,欢迎学习。...

2022-06-29
0

商品搜索引擎—推荐系统设计

结合目前已存在的商品推荐设计(如淘宝、京东等),推荐系统主要包含系统推荐和个性化推荐两个模块。

2022-06-29
1

java拦截器_Java拦截器实现「建议收藏」

java拦截器实现功能类似于aop功能的实现,实现拦截部分方法,一般用于类似 登录进入A页面,未登录进入B页面

2022-06-29
0

RDD:创建的几种方式(scala和java)[通俗易懂]

每一个spark应用程序都包含一个驱动程序(driver program ),他会运行用户的main函数,并在集群上执行各种并行操作(parallel operations)

2022-06-29
0

大数据采集平台之ZDH_SERVER部署

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

2022-06-28
0

【大数据】最新大数据学习路线(完整详细版,含整套教程)

大家好,又见面了,我是你们的朋友全栈君。大数据学习路线java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,......

2022-06-28
0