key 分布不均匀 业务数据本身的欠缺性 建表设计方法不对 有些 SQL 难免会有一下数据倾斜不可避免 表现的形式: 任务完成进度卡死在99%,或者进度完成度在100%但是查看任务监控,发现还是有少量(1个或几个)reduce 子任务未完...
我在进行数据处理的时候除了清洗筛选处理外还会涉及到统计计算处理,这里我们就来介绍一些常见的统计计算函数吧。
日常工作中我们经常接触到一些文本类信息,需要从文本中解析出数据信息,然后再进行数据分析操作。
之前使用Shell编程很少使用到数组,最近尝试使用后发现它在某些情况下非常有用。这里简单介绍如何生成和使用数组。
2021年6月29日,深圳市通过了《深圳经济特区数据条例》,自2022年1月1日起施行; 2021年7月10日,国家互联网信息办公室发布关于《网络安全审查办法(修订草案征求意见稿)》的通知,数据安全纳入网络安全审查; 2021年8月12日,工信部...
作者:Greg Femec,Revvel资深软件开发主管(Principle Development Lead)
经常听别人说 Python 数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 。...
经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas 。...
身边有许多正在学习 Python 的 pandas 库做数据处理的小伙伴们都遇到一个问题——分组聚合。 网上很多这方面的资料,几乎都是列出一系列诸如 "xx方法不能用 Python 内置函数" 之类的规则。小伙伴都说记不住啊。 本文尝...
在本系列的上一节已经介绍了如何读写 excel 数据,并快速进行汇总处理。但有些小伙伴看完之后有些疑惑: