最新 最热

sklearn中多种编码方式——category_encoders(one-hot多种用法)

离散型编码的Python库,里面封装了十几种(包括文中的所有方法)对于离散型特征的编码方法,接口接近于Sklearn通用接口,非常实用 可以使用多种不同的编码技术把类别变量转换为数值型变量,并且符合sklearn模式的转换。...

2021-12-07
1

阿里P8面试被问:Spring AOP Proxy创建出来的到底是个啥?

修改CouponService类实现这个需求:在点券充值时,需管理员登录并使用其编号进行结算。

2021-12-07
1

hadoop必知必会的基本知识

这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。   (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Bl...

2021-12-07
1

Python+大数据学习笔记(一)

pyspark: • pyspark = python + spark • 在pandas、numpy进行数据处理时,一次性将数据读入 内存中,当数据很大时内存溢出,无法处理;此外,很 多执行算法是单线程处理,不能充分利用cpu性能 spark的核心概念之一是shuffle,它...

2021-12-07
1

Note_Spark_Day14:Structured Streaming(以结构化方式处理流式数据,底层分析引擎SparkSQL引擎)

连续处理(Continuous Processing)是“真正”的流处理,通过运行一个long-running的operator用来处理数据。

2021-12-07
1

Note_Spark_Day13:Structured Streaming(内置数据源、自定义Sink(2种方式)和集成Kafka)

此检查点位置必须是HDFS兼容文件系统中的路径,两种方式设置Checkpoint Location位置:

2021-12-07
1

【Spark Streaming】Spark Day10:Spark Streaming 学习笔记

首先,学习SparkStreaming流式计算模块,以批处理思想处理流式数据,进行实时分析。

2021-12-06
1

前端面试2021-011

ES6是一种新的客户端脚本语言标准,语法上对原生JS进行了扩展,如提供了声明变量的let关键字和声明常量的const关键字,对函数进行扩展提供了箭头函数,函数参数默认值等,对对象进行了扩展提供了简洁操作语法,扩展了字符串操作...

2021-12-06
0

从“消息队列”到“服务总线”和“流处理平台”

队列是一种先进先出的数据结构,特殊之处在于它只允许在队列的前端(front)进行删除操作,而在队列的后端(rear)进行插入操作。

2021-12-06
1

Java序列化,碰到serialVersionUID不一致怎么处理?

公司有个子服务较多,交互频繁的系统,有一些需要共享传输的对象,它们通过 JDK 序列化(Java Object Serialization)后进行交互;但是由于一些不可描述的历史原因,这些对象存在多个版本,每个版本中的属性不一致,且未设置 serialVer...

2021-12-06
0