最新 最热

国产数据库:目前最火的五款国产数据介绍

随着互联网的高速发展,目前数据的存储越来越多,传统的数据库逐渐不能满足人们对海量数据、高效查询的需求,国产的数据库如雨后春笋一样,一个个冒了出来来解决我们高速科技发展的数据库瓶颈,今天就给大家聊一聊目前最火的五...

2022-10-31
1

我常用的15个数据源网站

前面介绍过实用的效率小工具,真的帮了我很多忙,这次给小伙伴们再种草一些数据源网站。

2022-10-31
0

大数据扫黄,是怎样发现你的?

简单来说,“AI 鉴黄”就是通过深度神经网络,按照各种描述特征来提取图像中的关键点,比如是否出现皮肤裸露等等,将色情图片与正常图片进行分类。...

2022-10-31
0

TransRec: 基于混合模态反馈的可迁移推荐系统

自然语言处理(NLP)和计算机视觉(CV)领域已经成功开启了预训练与大模型新时代,涌现出了以BERT,GPT-3, ViT等为代表的划时代成果,实现了one4all范式,也就是一个通用大模型服务于几乎所有下游任务。而推荐系统在该方向发展缓慢,期...

2022-10-31
1

个性化广告合规发展研究报告

2022年6月20日,《财经》商业治理研究院与中国社科院大学互联网法治研究中心联合发布了《个性化广告合规发展研究报告--从个人信息保护角度出发》(以下称《报告》)。《报告》介绍了当前互联网广告行业的发展现状及趋势,个...

2022-10-31
1

2022,数据科学与数据治理项目全纪录

2022年已过去一半多的时间了。这半年多,我们重点关注了LinkedIn Datahub、Atlas等元数据管理工具,了解了他们在数据治理领域的作用。

2022-10-31
1

Flink Checkpoint

Flink内置了三种Statebackend,MemoryStateBackend和FsStateBackend运行时都是存放在Java Heap中,只有Checkpoint时FsStateBackedn才会将数据以文件格式持久化到远程存储上,RocksDBStateBackend则是使用RocksDB对State进...

2022-10-31
1

Flin Runtime执行引擎

针对不同的运行环境,Flink提供了一套统一的分布式作业引擎,就是上图的Runtime层。

2022-10-31
1

Flink状态管理

有状态计算指的就是程序在计算过程中,需要将数据(状态)存储在本地存储或者外部存储中,以便下一次进行计算时获取使用,比如统计Nginx某个地址的调用次数,需要在每次计算时 不停的进行累加,并且将结果进行存储以便下次累加获取...

2022-10-31
1

Flink Sink的反压优化(Sink异步化)

在Flink的使用中,我们有一个场景是基于阿里的SLS进行消费,对一些监控指标进行清洗和采集,存入后面的TSDB,在第一次上线以后,系统正常运作无异常,随着指标数量的增加, 有一天收到了SLS消费延迟的告警,于是有了今天关于Sink的异...

2022-10-31
1