最新 最热

尚硅谷电商数仓 6.0 hive ODS 层建表脚本

hive ODS 层的数据来源是MySQL业务表和服务器的日志数据。由于我们的表过多,我们希望一次性可以建表成功,所以写一个hql脚本(该脚本在hive的gmall库下【没有先创建】创建1张日志表,17张全量表,13张增量表),最后在hive客户端s...

2024-08-17
2

Hive ODS 层数据装载脚本

此脚本用于将hdfs上的业务数据和日志数据装载到hive对于路径(建表时指定的路径)

2024-08-15
2

一文搞懂连续问题

连续问题考察范围可能涉及到:开窗函数,lag函数,row_number(),sum()over(order by) 等各种函数,以及相关数据处理技巧等,无论选取那种方法,连续问题都是相对较为复杂,考察综合能力的一类问题。...

2024-07-23
2

Hive怎么调整优化Tez引擎的查询?在Tez上优化Hive查询的指南

在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中,应评估和验证配置参数及任何SQL修改。建议在工作负载的性能测试过程中一次只进行一项更改,并最...

2024-06-20
4