最新 最热

hive-行转列按顺序合并

目录一、背景二、实现1.建表ddl2.示例数据3.按顺序合并4.按顺序合并结果5.可以看到最后一条最长的才是我们需要的数据6.结果--------一、背景想实现行转列按顺序合并,但是impala不支持,故用hive实现二、实现1.建表ddlcr...

2022-11-13
2

OLAP数据库计算层架构分析

目前主流的OLAP数据库计算层架构有Master-Slave和Master-Master两种形态,但大多数选择的是Master-Slave架构,Master-Slave有助于控制流和计算流的分离,更简单的部署方式(Master集成元数据)等优势,下面是关于各个数据库或数...

2022-09-22
4

基于CO2传感器CCS811在灯塔平台上的实践

导语在工位坐久了,时常感觉呼吸不畅、脑瓜不灵、需求写不快。为了解工位上的空气质量情况、也为了提醒自己多开窗,于是我想到了传感器采集 + 灯塔平台处理的组合。01.数据采集|CCS811这次使用的是维特智能的 CCS811 二氧...

2022-08-25
2

left join 会出现多出的行吗?

但是小姐姐解释说,查询结果确实“诡异”的多出了184行,问题变的 interesting

2022-08-22
2

Impala metrics之statestore-subscriber

本文主要梳理一下Impala的“statestore-subscriber”相关的metrics,这类metrics主要是在catalog和impalad上存在。目前主要分为两种类型,下面来简单看一下。

2022-05-20
2

半图绘制,加倍美观!

许多数据的可视化形式都是对称的,例如箱型图、散点图、小提琴图等。由于显示信息的空间有限,可以通过将几何图形切成两半并添加其他几何图形来更好地利用空间。...

2022-03-29
3

Linux实现文件内容去重及求交并差集

日常工作中,使用Hive或者Impala查询导出来可能会存在数据重复的现象,但又不想重新执行一遍查询(查询时间稍长,导出文件内容多),因此想到了使用Linux命令将文件的内容重复数据进行去除。...

2020-10-10
1

记一次 org.apache.kudu.client.NonRecoverableException 的排查

在实时数仓的时候,遇到了 org.apache.kudu.client.NonRecoverableException,搞了好长时间,特此记录一下。

2020-06-19
2

0746-5.16.2-Impala中查询监控状态检查告警解析

在使用impala 的过程中,在CM页面经常能看到IMPALA时, 经常看到IMPALA DAEMON 出现如下告警

2020-03-03
3

一步一步理解 Impala query profile(三)

在本博客系列的第3部分,我将仍然关注查询计划(Query Plan)和执行摘要(Execution Summary),但是将使用真实数据(Kaggle’s Flights Delay database),来执行一个更复杂的查询。...

2019-12-16
2