最新 最热

Airflow 和 DataX 的结合

我们团队用的调度系统是 Apache Airflow(https://github.com/apache/airflow),数据传输工具是 DataX(https://github.com/alibaba/DataX),这两个工具的介绍读者可以自行查看对应的链接,不多叙述。...

2021-09-08
0

Xcode的iOS项目的版本号设置

今天对Xcode里iOS的版本号又有了新的认识,一个叫做Version,一个叫做Build,这两个值都可以在Xcode中选中target,点击“Summary”后看到。 Version在plist文件中的key是“CFBundleShortVersionString”,和AppStore上的版本号...

2021-09-07
1

如何在一个设备上安装一个App的两个不同版本

最近干了件蠢事,事情是这样的,我们App有2套图标,一套是测试版图标用于发布OTA的内部测试版,一套是正式版用于发布到AppStore,每次打包,我都会检查图标,结果上次粗心搞错了,把测试版的图标打包发布到AppStore了,发现之后想死的...

2021-09-07
0

hive 底层与数据库交互原理

Hive 的查询功能是由 hdfs 和 mapreduce 结合起来实现的,对于大规模数据查询还是不建议在 hive 中,因为过大数据量会造成查询十分缓慢。 Hive 与 mysql 的关系:只是借用 mysql 来存储 hive 中的表的元数据信息,称为 metas...

2021-09-07
0

HiveQL: 数据定义

注:cmd里显示数据库名,需要 vim /usr/local/hive/bin/.hiverc 添加 set hive.cli.print.current.db=true;

2021-09-06
0

数据仓库 Hive(内含大数据镜像下载)

安装没成功:直接用现成的镜像 大数据Linux实验环境虚拟机镜像文件 http://dblab.xmu.edu.cn/blog/1645-2/ cloudera-quickstart-vm-集成了大数据平台的虚拟机镜像

2021-09-06
0

Hive是如何让MapReduce实现SQL操作的?

Hive 能够直接处理我们输入的 SQL 语句(Hive SQL 语法与 标准SQL 略有差异)

2021-09-06
0

从事大数据岗位,个人常用的Apache顶级项目

年前,个人换了大数据岗位,目前主要从事大数据分析和大数据算法相关工作。在前期数据分析师岗位的基础上,虽然只是增加了一个"大"字作为前缀,但所涉及的技术栈和工作理念其实还是有很大变化的,其中打交道最为频繁的当从一个...

2021-09-02
0

五万字 | Hive知识体系保姆级教程

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

2021-08-27
0

在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

GooseFS 是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存系统,依靠对象存储(Cloud Object Storage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,可加速基于...

2021-08-27
1