最新 最热

从多个数据源中提取数据进行ETL处理并导入数据仓库

ETL(Extract, Transform, Load)是一种广泛应用于数据处理和数据仓库建设的方法论,它主要用于从各种不同的数据源中提取数据,经过一系列的处理和转换,最终将数据导入到目标系统中。本文将介绍如何使用Python进行ETL数据处理...

2023-04-21
2

使用Python进行ETL数据处理

ETL(Extract, Transform, Load)是一种广泛应用于数据处理和数据仓库建设的方法论,它主要用于从各种不同的数据源中提取数据,经过一系列的处理和转换,最终将数据导入到目标系统中。本文将介绍如何使用Python进行ETL数据处理...

2023-04-21
2

谷歌推出 Bigtable 联邦查询,实现零 ETL 数据分析

作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀最近,谷歌宣布 Bigtable 联邦查询普遍可用,用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外,查询无需移动或复制所有谷歌云区域中的数据,增加了联邦查询...

2023-03-29
2

【rainbowzhou 面试4/101】技术提问--什么是ETL,ETL测试怎么做?

紧接上篇【rainbowzhou 面试3/101】技术提问,上篇从整体到局部,介绍了一下大数据存储以及测试人员如何进行测试的内容;本篇将介绍大数据处理以及处理过程中的测试方法,希望对大家有所帮助。...

2023-03-16
2

【rainbowzhou 面试2/101】项目介绍

看完今天的分享对你是不是有所启发呢,有任何想法都欢迎大家后台私信我,一起探讨交流。

2023-03-16
2

hive etl 通过 ETL engine 读取 Hive 中的数据

etl-engine支持None和Kerberos认证方式,适合测试环境及企业应用中的认证场景。

2023-02-28
2

ETL工具选型 需要考虑哪些因素

ETL产品的选型工作一直以来都是困扰架构师的一块心病,国外付费产品用不起,国外免费产品学习成本高、不易实施。

2023-02-20
2

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。

2023-01-18
2

Project Tardigrade:Trino(Presto)到底想干什么?

今天有空聊聊大数据技术。Project Tardigrade是今年大数据技术里面值得聊几句的东西。不知道有多少人听说过?

2023-01-10
3

数据仓库与商业智能宝典第2版

作为数据仓库和商业智能(DW/BI)行业中有影响力的领军人物,RalphKimball、MargyRoss得到了世界范围内的认可和尊重,他们在《数据仓库与商业智能宝典(第1版)》中确立了行业标准。现在,在《数据仓库与商业智能宝典(第2版)成功设计...

2022-12-31
3