最新 最热

技术中台建设方法和关键设计

所谓集成就是要做整合,从业务使用视角和实施运维的视角看,相关集成组件一般有页面集成、流程集成、服务集成、数据集成和一些其他公共的集成所需组件,例如统一身份认证、统一应用门户框架、统一任务中心、统一组织机构用...

2020-11-02
0

数据湖 | 一文读懂Data Lake的概念、特征、架构与案例

本文包括七个小节:1、什么是数据湖;2、数据湖的基本特征;3、数据湖基本架构;4、各厂商的数据湖解决方案;5、典型的数据湖应用场景;6、数据湖建设的基本过程;7、总结。受限于个人水平,谬误在所难免,欢迎同学们一起探讨,批评指正,...

2020-08-20
0

重新思考日志:业务系统竟然是一个大数据库?

《I Heart Logs 》出版于 2014 年,是一本很短小的书。作者 Jay Kreps,是前 LinkedIn 的 Principal Staff Engineer,也是 LinkedIn 许多著名开源项目的负责人及联合作者,如 Kafka、Voldemort 等。他是现任 Confluent 的 CE...

2020-08-17
0

最新深度学习框架——OneFlow:新分布式训练(附源代码)

随着深度学习的发展,用户越来越依赖 GPU 或者其他加速器进行大规模运算。人工智能(Artificial Intelligence)需要更优秀的软件来释放硬件的能量已成业界共识。一方面,各种框架需要进一步降低编写深度学习分布式训练程序的...

2020-08-11
0

数据预处理技术研究 | 冰水数据智能专题 | 1st

数据预处理是数据挖掘的重要一环,要使挖掘方案挖掘出丰富的知识,就必须为它提供干净、准确、简洁的数据。然而实际应用系统中收集到的原始数据是“脏”的,不完全的、冗余的和模糊的,很少能直接满足数据挖掘算法的要求。在...

2020-08-04
0

「应用架构」 EA874系列:企业应用集成概述

有预测称,公司在应用程序集成方面的支出将超过目前的支出。云、移动、社交和信息等力量之间的联系将有助于企业推动业务流程创新和改进,但也会使要集成的应用程序、设备、云服务和数据源的数量激增和复杂化。更为复杂的...

2020-07-17
0

数据中台盛行,DataOps兴起,数据架构才是未来

“在数字化转型的浪潮下,数据架构备受关注。作为企业架构中的关键纽带,数据架构解决了业务与数据的映射,规范了应用架构的数据集成关系,指导了技术架构的技术选型。伴随DataOps等场景的出现,数据架构会逐步走向数据消费端,...

2020-06-28
0

Data Vault 简介

Data Vault 2.0 不仅是建模技术,也提供了一整套数据仓库项目的方法论。它能提供一套非常可行的方案来满足数据仓库项目中对于历史轨迹和审核两个方面的需求。...

2020-06-19
0

数据交换过程详解

本文主要介绍数据交换过程中常用的数据交换方法和方式以及数据交换在新技术下所面对的“挑战”,方便大家深入理解数据交换过程。普元实施数据交换项目已有多年成功经验,本文也将分享大数据时代数据交换所遇到的问题和应...

2020-06-17
0

单细胞数据科学的十一个重大挑战

随着单细胞技术的成熟,人们得以在单细胞水平观摩生命现象了,在这波技术浪潮中似乎要把自人类基因组积累的生命科学技术都在单细胞水平上应用一遍,其中最常见的就是测序技术。...

2020-06-16
0