最新 最热

2022NAR数据库特刊:单细胞数据库合辑

今年1月2022Nucleic Acids Research生物数据库特刊上线,包含185篇文章:其中87篇论文报告了新数据库;85篇更新了该期先前发表的资源;13篇提供了最近在其他期刊发表的数据库的更新。...

2022-05-17
0

百度爱番番数据分析体系的架构与实践

导读:讲述在业务快速迭代发展过程中,为了让大数据更好地赋能业务,高效的为用户提供有业务价值的数据产品和服务,百度爱番番的数据团队构建实时和离线大数据基础平台的心路历程,包括如何应对业务、技术、组织等方面的挑战和...

2022-05-17
0

InLong 开发者召集令 | 专属大数据开发者的活动开始了

Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,方便业务构建基于流式的数据分析、建模和应用。 InLong 项目原名 TubeMQ ,专注于高性能、低成本的消...

2022-05-16
0

【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼

对于数据仓库,大数据集成类应用,通常会采用ETL工具辅助完成。ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。当前的很多应用也存在大量...

2022-05-13
0

谈谈ETL

ETL绝不是三个单词直译这么简单,三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。

2022-05-05
0

Apache InLong(incubating)全新 1.1.0 版发布,都有哪些新特性?

InLong(应龙): 中国神话故事里的神兽,可以引流入海,借喻 InLong 系统提供数据接入能力。Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流...

2022-04-28
0

1.1.0版本重磅发布 | Apache InLong(incubating)一大波特性来袭

▍InLong(应龙) : 中国神话故事里的神兽,可以引流入海,借喻 InLong 系统提供数据接入能力。 Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构...

2022-04-27
0

产品干货:​医疗大数据平台建设实践

本文作者:jayshi,腾讯CSIG产品 1. 背景和市场现状 在过去的2010-2020的十年里,国内大力投资于医疗系统信息化建设,产生并积累了大量医疗数据,迫切需要通过人工智能及大数据等技术来挖掘和实现数据价值,需要整合更加先进的技...

2022-04-27
0

爱奇艺数据中台建设组合拳:日志投递、统一数仓、大数据平台

说到数据中台的产生,我们不得不从数据工作的痛点来切入。我总结了八个方向,这八个方向可能不足以覆盖数据工作中的所有痛点,但肯定是数据工作中最痛的八个点。...

2022-04-25
0

通过流式数据集成实现数据价值(5)- 流处理

但是,更常见的是,源数据与目标数据结构不匹配。这可能是因为某些源数据需要过滤掉。例如,可能不需要某些事件或事件的字段,因此将其删除。或者某些数据需要混淆,因为其中包含个人身份信息。在交付给目标之前,可能需要添加其...

2022-04-23
0