大数据和云计算技术周报(第96期)

2019-09-24 16:07:47 浏览数 (1)

导语

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。 本期会给大家奉献上精彩的:Hadoop、AL、DL、Hbase、推荐系统、埋点方案、datax,MQTT协议。全是干货,希望大家喜欢!!! #大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识! #大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。 特别提醒,文末有惊喜! 以下是正文,限于众编辑水平有限,不保证大家都喜欢。(如果链接不能点开 请用二维码 谢谢)

1hadoop

本文分享了eBay团队如何对这些Hadoop job进行优化,eBay由于每天产生PB量级的CAL日志,如何解决MapReducejob实践中存在的问题对其它行业大有裨益。

https://mp.weixin.qq.com/s/QRlThPJtLjt7HNRKfx0DZA

2DL

图灵机牛逼人,深度学习终于被承认了

https://mp.weixin.qq.com/s/Icn4GqZDCtSiBh21RPcofw

3推荐系统

推荐系统已经深入到每个人生活的方方面面,为了提升推荐系统的精准度,最大程度解决推荐系统存在的问题,来自阿里妈妈的高级技术专家李晗和团队提出了一种新型的推荐算法名曰:深度树匹配。

https://mp.weixin.qq.com/s/pWcFuOecG-dZHZ365clDjg

4Datax

DataX 主要的缺点在于单机运行,而这个可以通过调度系统规避,其他方面的功能均优于 Sqoop

https://mp.weixin.qq.com/s/jHsuDhfFBrw7jr3h83rT9w

5AL

微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务,这样可以降低开发难度、增强扩展性、便于敏捷开发。当前被越来越多的开发者推崇,系统微服务化后,一个看似简单的功能,内部可能需要调用多个服务并操作多个数据库实现,服务调用的分布式事务问题变的非常突出。分布式事务已经成为微服务落地最大的阻碍,也是最具挑战性的一个技术难题。

https://mp.weixin.qq.com/s/6Tg0hUtrZLm3kXKyBsqNkg

6Hbase

本文主要介绍如何通过技术手段,挖掘HBase服务的潜力,将分组的服务器数从17台降低到10台。

https://mp.weixin.qq.com/s/MaXTTp6kdhmz0QDi39AgXQ

7数据运维

断电是数据中心中断的常见原因,但它们不是唯一的罪魁祸首。随着企业计算环境变得越来越复杂,IT系统和网络故障导致大量数据中心宕机。

https://mp.weixin.qq.com/s/PtlNdi4PbxKCdbfHRJ2qug

8埋点方案

随着移动互联网时代的兴起和数据量的大规模爆发,越来越多的互联网企业开始重视数据的质量,用户对数据的需求已经不仅仅局限于简单的 PV、UV,而是更加重视用户使用行为数据的相关分析。在数据分析的道路上,数据采集是重中之重。数据采集的质量直接决定了你的分析是否准确。而随着企业对数据的要求越来越高,埋点技术也被推到了“风口浪尖”。今天就来聊聊在数据采集的道路上经常会遇到各的问题。

https://mp.weixin.qq.com/s/4a4VizrK_IYAzHsEiud2Zw

9Hbase

该文将描述了hbase 自动化运维服务体系的建设过程。步骤思路清晰明了

https://mp.weixin.qq.com/s/9axdQTc3l_ozpSn8roy4Vw

10MQTT

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的“轻量级”通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。

https://mp.weixin.qq.com/s/ZZ1veDPD7iuv1S0EF4fUBw

11开心一刻

大一刚学C语言,第二次上机课,当我发现我照着书抄写的程序在运行之后的黑框里跳出一排烫烫烫烫烫,当时就震惊了。你们能想象一个来自小城,在大学之前没怎么接触过电脑更不懂代码的孩子当时内心的恐惧吗?我真的以为这是电脑过热发出的警告,于是我弯下腰把插头拔了。

致谢:

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

0 人点赞