最新 最热

Python读取NGINX日志将其存入数

日志数据:#/usr/bin/env python#-*-coding:UTF-8 -*-from  datetime  import  datetimestat_days = []import   pymysql#print(datetime.now().strftime("%Y-%m-%d %H:%M...

2020-01-10
0

jmeter集群下脚本日志和报告处理

apache jmeter是apache软件基金会出品的一款用于接口测试,压力测试的开源软件,由于其免费开源,插件自由扩展,理论上可以支持所有种类的接口测试。jmeter自身也已经提供了许多优秀的插件,极大的增强了jmeter的能力。...

2020-01-03
0

数据采集:如何自动化采集数据?

举个例子,你做量化投资,基于大数据预测未来股票的波动,根据这个预测结果进行买卖。你当前能够拿到以往股票的所有历史数据,是否可以根据这些数据做出一个预测率高的数据分析系统呢?...

2020-01-02
0

BDK | 数据如何进行同步才好呢?

从上次文章我们知道了最上游的数据采集流程,知道日志数据是如何产生并且传输到我们服务器进行存储的。到了我们的服务器中,会存储在不同的数据库中,数据库是分布在不同系统中,所以需要不断地进行数据流转,不同集群之间、不...

2020-01-02
0

干货 | 实践Hadoop MapReduce 任务的性能翻倍之路

摘要:eBay的CAL(Central Application Logging)系统负责收集eBay各种应用程序的日志数据,并且通过Hadoop MapReduce job生成日志报告,应用程序开发人员与运维人员通过报告可获得以下内容:...

2019-12-27
0

惊讶!我定的日志规范被CTO在全公司推广了

日志文件提供精确的系统记录,根据日志最终定位到错误详情和根源。日志的特点是,它描述一些离散的(不连续的)事件。例如:应用通过一个滚动的文件输出 INFO 或 ERROR 信息,并通过日志收集系统,存储到一些存储引擎(Elasticsearch...

2019-12-25
0

开启品牌新征程,爱数如何布局多模态数据智能市场?

从爱数的数据管理、灾备等核心产品的升级,到人工智能战略发布以及融合数据服务解决方案的落地,再到日前在京推出的多模态数据智能架构,频频的动作表明,这家纵横数据管理市场多年的企业,将以“大数据基础设施提供商”的身份...

2019-12-24
0

白话知识图谱及其在CMDB中的应用

CMDB一直是运维建设的重点和难点。前段时间和北大同学一起探讨有无可能利用知识图谱相关的技术和方法重构CMDB?没想到经过短短半年时间,北大同学就在这方面取得了重大进展,现已完成算法验证,并发表国际学术论文《Mining C...

2019-12-19
0

微服务业务监控和行为分析怎么做?试试日志埋点

互联网公司一般都会有专门的数据团队对公司的一些业务指标负责;为了拿到这些基本的业务指标,一般也要工程团队去配合做一些数据采集工作,于是埋点诞生了。...

2019-12-16
0

K8s日志系统建设的6个典型问题

导读:随着 K8s 不断更新迭代,使用 K8s 日志系统建设的开发者,逐渐遇到了各种复杂的问题和挑战。本篇文章中,作者结合自己多年经验,分析 K8s 日志系统建设难点,期待为读者提供有益参考。...

2019-12-05
0