最新 最热

KLOOK客路旅行基于Apache Hudi的数据湖实践

客路旅行(KLOOK)是一家专注于境外目的地旅游资源整合的在线旅行平台,提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区,支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧...

2022-05-18
0

大数据小白到入门的知识结构

博主96年,从事大数据开发工作4年。实时、离线、数仓、springcloud、爬虫、机器学习都略有接触及实际开发经验。

2022-05-17
0

实时数仓:Iceberg

作者:代来,腾讯 CSIG 工程师背景互联网技术高速发展的背景下,数据已经成为各大公司的最宝贵资源之一。大数据领域经过近十年的高速发展,无论是离线计算还是实时计算、不管是数据仓库还是数据中台都已深入各大公司的各个业...

2022-05-16
1

大数据技术笔试题库

12、在MapTask的Combine阶段,当处理完所有数据时,MapTask会对所有的临时文件进行一次()。

2022-05-14
1

《用户画像:方法论与工程化解决方案》读书笔记第3章

在画像系统搭建的过程中,数据存储的技术选型是非常重要的一项内容,不同的存储方式适用于不同的应用场景。本章主要介绍使用Hive、MySQL、HBase、Elasticsearch存储画像相关数据的应用场景及对应的解决方案。...

2022-05-13
1

Hive Format异常分析

本文已上述的错误为切入点,分析下异常原因以及Hive相关的关于Format的异常。主要内容如下:

2022-05-12
0

Kylin的入门实战

1.Kylin 是一款大数据OLAP引擎,由ebay-中国团队研发的,是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目

2022-05-12
1

杨校老师课题之Hive数据仓库搭建

(1) 嵌入模式 基于系统本身的数据库derby数据库进行存储元数据,该模式是默认安装方式,配置简单 缺点: 一次只能连接一个客户端,仅适合在测试环境内使用...

2022-05-11
0

Hive LLAP概念透析

由于社区近年来构建的各种功能和改进,包括 Tez 和基于成本的优化,Hive 的速度显着提高。 将 Hive 提升到一个新的水平需要以下内容:

2022-05-11
1

开源项目丨 Taier 1.1 版本正式发布,新增功能一览为快

本次版本更新对 Flink 的支持升级到 Flink1.12,支持多种流类型任务,新版本的使用文档已在社区中推送,大家可以随时下载查阅。

2022-05-10
1