主要介绍针对平台的spark应用程序,在不修改用户程序的情况下 如何采集其资源和性能指标为后续分析使用,如性能优化,资源使用计价等.

主要针对用户流量数据、风控数据、人物画像等数据进行同步至数仓, 制定数据传输格式为json,将用户数据解析写入Hive中,以T+1形式交付给用户,以便用户后续统计分析....

应用从Kafka中读取数据需要使用KafkaConsumer订阅主题，然后接收这些主题的消息。在我们深入这些API之前，先来看下几个比较重要的概念。

在微服务的落地中，第一步就需要进行微服务的拆分，服务的拆分很困难也很重要，本文就讲讲怎么进行服务的拆分。

下面来学习互联网行业使用最为广泛的关系型数据库 MySQL，它的知识点结构图如下所示。

先来看看相关知识点汇总，如下图。首先为了防止歧义进行说明，本课时中提到的“队列“就是指“消息队列“。

ApacheFlink是一个框架和分布式处理引擎，用于在无限和有界数据流上进行有状态计算。Flink被设计成在所有常见的集群环境中运行，以内存速度和任何规模执行计算。...

Fanotify (Filesystem wide access notification) 是一个 notifier，即一种对文件系统变化产生通知的机制。fanotify是inotify的一个新进版本，主要是用于文件系统扫描的检测和分层存储的管理。最近几年对fanotify的完善...

事情原委：由于业务量暴涨，kafka硬盘不够保存7天的数据，所以希望升级一下硬盘，能保存7天的日志，之后确认某一天进行升级，升级完了之后发现两三天之前的数据也被重新消费提交到数据库。发现有此问题之后，然后只能修复数据了，苦...

剖析producer之前，我们来回顾一下Kafka的producer，producer（生产者）：消息放到队列里面的叫生产者。