最新 最热

BI-SQL丨表变量与临时表

白茶在之前描述WITH AS的用法时,曾提到过,除了WITH AS以外,我们还有其他两种办法来进行类似DAX中VAR定义虚拟表的行为,本期我们来了解一下:如何使用表变量与临时表。...

2022-05-07
3

人在数海漂,挨了“数据粒度”这一刀

粒度取决于维度的组合,即我们想通过什么角度去看事物。不同的业务场景,对数据粒度有不同的要求。粒度越细可以表达的东西越多、粒度越粗可以表达的东西就越少了。...

etl
2022-04-27
2

免费分布式自动化运维,ETL批量调度工具 TASKCTL 8.0 使用安装

8.0 是一款基于B/S架构的【企业级免费ETL任务批量处理工具】它支持各类脚本任务程序和扩展;具备可视化图形拖拽设计界面,以及可视化任务作业管理、计划调度、实时监控、消息提醒和日志分析功能;有效弥补了传统ETL工具在...

2022-04-26
3

数仓建模系列:关于事实表设计,多业务过程要不要合并,依据啥?

在构建数据仓库总线矩阵完成后,可着手事实表和维度表的设计。数仓总线矩阵里每个业务过程都会生成至少一张事实表(识别业务过程的本质就是识别要构建的事实表),因为有可能一个原子事件涉及多张表的情况。同时,因上游业务系...

2022-04-25
3

BI-SQL丨WITH AS

在DAX函数中,有些时候我们写的DAX逻辑引用次数过多,或者是性能过差,我们都会选择使用VAR来定义一个变量,减少资源的占用和方便重复的引用。而有些时候,为了进一步提高性能,我们还会选择通过VAR定义虚拟表来减少迭代遍历的次...

2022-04-15
3

BI-SQL丨开窗函数(二)

通过之前的介绍,相信大家也知道了,我们经常使用的开窗函数除了排名函数以外,还有聚合函数。

2022-04-08
3

Power Query 真经 - 第 2 章 - 查询管理

在深入到 Power Query 数据转换的广阔世界之前,最好先确保为将来的成功做好准备。从实际来说,往往一开始的项目或案例都很小,但随着时间的推移,最终会变得越来越复杂。本章描述的方法将有助于确保随着问题的规模变大和复...

2022-04-02
3

一条SQL语句的优化

今天同事反馈ETL数据抽取很慢,并且用的DBLINK来做数据抽取,慢到什么程度呢?大概要执行2~3小时,很久没搞过Oracle了,很多技能都已经生疏了,抱着试试完的心态,决定帮这个忙;后来经过优化,运行速度到了2分钟级别,其实还有优化的空...

2022-03-11
3

客快物流大数据项目(五十七):创建Kudu-ETL流式计算程序

创建Kudu-ETL流式计算程序实现步骤:在realtime目录创建 KuduStreamApp 单例对象,继承自 StreamApp 特质重写特质内的方法编写代码接入kafka集群消费其数据package cn.it.logistics.etl.realtimeimport cn.itcast.logi....

2022-03-07
3

ETL (Extract-Transform-Load) with Kiba(4)

它的意思就是删除 from 字段(或 Key) ,将其中的值赋予给 to 字段,这个字段是新字段,在 row hash 中添加入新的 KV 对

2021-10-18
2