最新 最热

猫头虎 分享:Python库 Dask 的简介、安装、用法详解入门教程

今天猫头虎带大家走进 Dask 的世界,作为一个并行计算的强大工具,它在处理大规模数据和优化计算效率时非常有用!最近有粉丝问我:“猫哥,当我在处理大量数据时,Python 的 pandas 性能瓶颈让我头疼,能推荐个好用的并行处理工具...

2024-09-18
3

又见dask! 如何使用dask-geopandas处理大型地理数据

读者的问题涉及到地理信息系统(GIS)操作的一系列步骤,具体包括将栅格数据转换为点数据、为这些点数据添加XY坐标、通过空间连接给这些点添加行政区属性、以及计算指定行政区的质心。读者在使用ArcGIS软件完成前两步时未...

2024-06-20
3

【Python 数据科学】Dask.array:并行计算的利器

Dask是一个用于并行计算的强大工具,它旨在处理大规模数据集,将数据拆分成小块,并使用多核或分布式系统并行计算。Dask提供了两种主要的数据结构:Dask.array和Dask.dataframe。在本文中,我们将重点介绍Dask.array,它是Dask中...

2023-10-12
1

如果要快速的读写表格,Pandas 并不是最好的选择

最近在用 Pandas 读取 csv 进行数据分析,好在数据量不是很大,频率不是很高,使用起来得心用手,不得不说真的很方便。不过当数据量很大,你就要考虑读写的性能了,可以看下这个库,留下印象,以备不时之需。...

2022-10-25
2

satpy系列|卫星视角看3.15北京沙尘暴

3月15日近10年来最强的沙尘暴袭击了北京。关于此次沙尘暴的天气分析已经非常多了,本文不会分析相关的天气背景,主要从技术方面讲一下如何利用satpy处理卫星数据,从卫星视角看一下此次沙尘过程的演变。...

2022-09-23
2

Dask教程:使用dask.delayed并行化代码

在本节中,我们使用 Dask 和 dask.delayed 并行化简单的 for 循环样例代码。通常,这是将函数转换为与 Dask 一起使用所需的唯一函数。

2021-08-26
2