最新 最热

大数据开发岗面试30天冲刺 - 日积月累,每日五题【Day01】——Hive1

Hive 和数据库除了拥有类似的查询语言,再无类似之处。 1)数据存储位置 Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。 2)数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修...

2022-05-08
0

hive 内部表和外部表的区别

未被 external 修饰的是内部表(managed table),被 external 修饰的为外部表 (external table)

2022-05-08
0

大数据系列思考题

个人理解: hdfs启动流程 hdfs是Hadoop Distribute File System 的简称,即分布式文件系统,用于存储海量数据. hdfs的启动分为三步:1.启动Namenode;2.启动Datanode;3.启动Secondary Namenode; 详细说说: Secondary Name...

2022-05-08
1

大数据面试题百日更新_Hive专题(Day13)

查询语言不同,传统数据库用的是SQL语句,hive是集成的HQL语句. 数据存储地方不同,不同于传统数据库存储在原始设备或本地文件系统(Raw Device or Local FS),Hive 存储在HDFS. 执行方式不同,传统数据库是Excutor单元执...

2022-05-08
0

MySQL系列之逻辑架构简介

第一层结构主要处理客户端与mysql服务端的连接、授权认证、安全等;第二层是Mysql服务端的核心,功能包括查询解析、分析、优化、缓存等,存储过程、触发器、视图等都在这一层实现;第三层的存储引擎主要负责数据存储和提取,存...

2022-05-07
0

DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决

将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。

2022-05-07
0

Hive中文注释乱码问题的解决

在HIVE中建表的时候,有时候难免要表中文注释,然而如果不经过配置,会导致desc某个表名的时候,直接以?的方式返回。

2022-05-07
1

HIVE表中分区的删除

不过HIVE本身还提供一种机制,可以删除其中的分区。只要某一条记录在某个分区中,就可以实现用个“转弯”的方式来实现,即先删除分区,再手动去掉这条记录,再导入到分区中。...

2022-05-07
1

hive中常量列的添加和查询

在正常应用场景中,常常会从HIVE中直接获取某个DATAFRAME,这个dataframe除了与数据表中某些字段的提取,还往往会涉及到一些常量列的添加,用以如区分数据等场景。...

2022-05-07
0

Spark RDD(DataFrame) 写入到HIVE的代码实现

在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。

2022-05-07
0