最新 最热

hive常用命令

删除表分区:alter table tableName drop partition (pdt='表分区');

2023-03-31
5

为什么我们需要 Hive Metastore!

IT 中的每个人都与数据打交道,包括前端和后端开发人员、分析师、QA 工程师、产品经理以及许多其他角色的人员。使用的数据和数据处理方法因角色而异,但数据本身往往不是关键。...

2023-03-21
3

数据湖选型指南|Hudi vs Iceberg 数据更新能力深度对比

数据湖作为新一代大数据基础设施,近年来持续火热,许多前线的同学都在讨论数据湖应该怎么建,许多企业也都在构建或者计划构建自己的数据湖。基于此,自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现,网...

2023-03-17
7

每天一道大厂SQL题【Day17】腾讯外包(微信相关)真题实战(二)

大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。...

2023-03-17
5

【rainbowzhou 面试17/101】技术提问--如何进行数据质量检查?

在【rainbowzhou 面试15/101】技术提问--数据质量管理的流程有哪些?中,我讲述数据质量管理的四个阶段。今天详细说说如何进行数据质量检查,希望对大家有所帮助。...

2023-03-16
1

【rainbowzhou 面试5/101】技术提问--大数据测试中遇到的问题?举例说明一下

上篇【rainbowzhou 面试4/101】技术提问中,我着重说明了ETL测试中常见的两种测试场景,以及相应地测试方法。那么在实际大数据项目过程中,会遇到哪些问题呢?本篇就带你了解大数据测试过程中遇到的一些经典测试问题,并针对问...

2023-03-16
3

数据中台各环节处理概要

前言目前数据中台支持了如下操作数据抽取数据转换数据清理数据转服务数据抽取数据抽取环节要注意字段匹配字段类型转换匹配不同数据源数据类型的映射添加常量数据转换字段匹配字段类型转换匹配常量转换算法数据清理字...

2023-03-16
1

hive性能调优 读书笔记 - 问题排查、调优、数据处理模式

还有其他命令 explain vectorization operator,explain vectorization expression

2023-03-12
3

每天一道大厂SQL题【Day14】微众银行真题实战(四)

大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。...

2023-03-08
1

数据中台数据准备

字符型:varchar、char、nchar、nvarchar、long(在数据库中是以ASCII码的格式存储的)

2023-03-06
2