最新 最热

​etl 读写 elastic 同步数据

Elasticsearch的部署和使用不在这里介绍,这里主要介绍如何通过etl engine对elastic进行读写访问。

2024-08-12
4

数据开发/数仓工程师上手指南(六)CDM-DWD层搭建规范及流程

前言这次想聊点出工作技术方面外的内容,DWD该层在写CDM层的时候就提及很多次了大差不差,近期让我感悟较多的话那是那句宁愿犯错也不愿意什么都不做,说这句话如果能够做到,那么执行力也远超过其他人,能力和远见也会在历练中...

2024-08-02
2

数据开发/数仓工程师上手指南(四)ODS层搭建规范及流程

此系列的前三篇文章已经将整个数据仓库的所有构建逻辑流程讲的十分清晰,等于是我们已经把框架搭建好了,接下来就是填充框架内各个组件层级的内容了。我们已经将数据仓库分为三层,分别是ODS数据引入层、CDM数据公共层和AD...

2024-07-31
2

数据开发/数仓工程师上手指南(三)数仓构建流程

此系列的上篇文章通过拆解电商业务数仓系统,通过数仓分层概念对整个业务进行拆解分层,那么本章节将沿着上一篇的数仓概念分层切割电商业务,去具体构建电商业务的数据仓库,我们将按照行业认可标准的流程去构建较为完整的数...

2024-07-29
2

唯有超大规模存储系统才能满足人工智能的需求

随着世界各国政府努力应对人工智能的深远影响,关于如何规范人工智能的使用以造福社会并防止其滥用的复杂辩论正在升温。“与此同时,人工智能和机器学习工具已经成为我们日常生活中不可或缺的一部分,并将变得更加普遍。”...

2023-11-02
1

一文读懂温冷数据存储的技术选型

目前,在对象存储领有很多的使用场景。通常来说,支持AWS的S3协议,就可以把它归类于对象存储。对象存储还有一些特征,比如没有目录数的结构,所以理论上可以存储无限量的对象或者是文件,而且性能不会有太大的降低。...

2023-10-27
1

磁带存储技术演进简史

磁带首次用于数据存储是在1951年。从90年代IT技术开始普及,出现了更多的磁带技术。但是到2000年,很多磁带技术逐步地淡出市场,LTO成为磁带存储行业的主流,并占据了99%以上的市场。...

2023-10-19
1

大数据存储与处理技术探索:Hadoop HDFS与Amazon S3的无尽可能性【上进小菜猪大数据】

大数据时代带来了数据规模的爆炸性增长,对于高效存储和处理海量数据的需求也日益迫切。本文将探索两种重要的大数据存储与处理技术:Hadoop HDFS和Amazon S3。我们将深入了解它们的特点、架构以及如何使用它们来构建可扩...

2023-10-16
2

基于AIGC写作尝试:深入理解 Apache Arrow

在当前的数据驱动时代,大量的数据需要在不同系统和应用程序之间进行交换和共享。这些数据可能来自于不同的源头,如传感器、数据库、文件等,具有不同的格式、大小和结构;不同系统和编程语言的运行环境也可能存在差异,如操作...

2023-04-15
2

【ES三周年】ElasticSearch在微信金融领域实践

用户通过微信支付完成交易,商户通过微信支付完成收款后,可能会出于不同目的来查看此前的交易记录,并且查询条件可能会有很大的差异;为了能够满足这里的功能需求,目前选择ElasticSearch作为主要的存储组件以提供诸如搜索等...

2023-02-14
1