大数据和云计算技术周报(第95期)

2019-09-24 16:08:22 浏览数 (1)

导语

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。 本期会给大家奉献上精彩的:LOT、数据仓库、JVM、Hbase、Flink、数据中台、推荐系统、。全是干货,希望大家喜欢!!! #大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识! #大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。 特别提醒,文末有惊喜! 以下是正文,限于众编辑水平有限,不保证大家都喜欢。(如果链接不能点开 请用二维码 谢谢)

1LOT

物联网应用层协议主要有CoAP, MQTT, XMPP, HTTP等,本文主要从XMPP的架构,协议栈、协议的原理等方面介绍了XMPP协议。

https://mp.weixin.qq.com/s/7jRrdWIkPqhJEbuyj7Gdxw

2中国移动

企业718万家,牛逼

https://mp.weixin.qq.com/s/mWoZvMFExUY6jlMzQQOuFg

3JVM

聊聊java底层类加载那些事,首先对类加载的作用,他的妙用进行讲解,然后从什么是类加载器、工作原理、如何加载类、加载过程进行讲解,然后在讲解使用场景。

https://juejin.im/post/5c947c9d6fb9a070ef60a5ac?utm_source=gold_browser_extension

4Hbase

本文记录了对某个业务分组参数优化的探索,优化后,单台regionserver查询延迟更低,磁盘IO降低,系统更稳定。从而提高吞吐能力,进而减少机器,提升资源利用率的能力,节约成本。

https://mp.weixin.qq.com/s/wJBFm7aFZTLNHKjcZ7h-3Q

5HBase

Noah-TSDB是基于HBase为底层存储的基础上自主研发的,其优秀的性能离不开HBase的贡献。该文主要描述在百度智能监控场景下的HBase相关实践经验

https://mp.weixin.qq.com/s/M_teW4hNNaLWbWghA02j9A

6Flink

本文主要介绍唯品会实时计算平台的演进之路,先介绍一下整个平台的现状,接着根据计算分为Storm、Spark、Flink三个主要的计算引擎。

https://mp.weixin.qq.com/s/ZTm6B0NyPQ00CztV1whySg

7文本去重

基于文本局部信息的去重算法,是在短文本场景下simHash等去重算法无法满足去重目的而提出的

https://mp.weixin.qq.com/s/-Ozr1jAaASrRVi2jar-9lw

8数据中台

导读:数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上,关于数据中台的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据中台?数据中台的出现会给现有数据从业者们带来颠覆式的挑战吗?带着上述问题,InfoQ 在技术雷达峰会上采访了 ThoughtWorks 数据和智能总监史凯,谈谈他对于数据中台的看法。

https://mp.weixin.qq.com/s/_KsFeHGUt62A7w3kvNlf2A

9推荐系统

本文从整体上介绍一个完整的推荐系统所需的模块(不深入到细枝末节),核心包括内容源、内容处理、用户挖掘、算法、推荐搜索引擎、ABtest系统。本文将逐一介绍推荐架构的各个模块。

https://mp.weixin.qq.com/s/KIYNxKjK7DaDgnqbEuk7NQ

10数据仓库

人类已经进入数据驱动的时代,数据为先、移动为先、云为先、智能为先的时代!繁杂的数据中隐藏着有用的“智慧”,在企业和每个人心中建立“数据文化”成为建设智慧企业的必然。

https://mp.weixin.qq.com/s/6QzXubPm4DtcmOxg2O463g

11开心一刻

临床医学课上,男老师问:哪个器官在激动时会变大6-7倍?他点了一个女生回答,该女生憋了半天红着脸说:我拒绝回答!老师无奈 又点了一个男生回答,男生回答:瞳孔。老师说:正确!后对那女生说:我有三句话提醒你,一是你没有预习课的内容;二是你又在胡思乱想;三是你婚后会非常失望!……

致谢:

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

0 人点赞