标签：Python，Pandas
是否发现pandas库在处理大量数据时速度较慢，并且希望程序运行得更快？当然，有一些使用pandas的最佳实践（如矢量化等）。本文讨论的内容将代码运行得更快，甚至超过采用最佳实践。
我们需要使用其他数据处理库，以使程序运行得更快。不用担心，这些库都具有与pandas类似的语法，因此学习如何使用也非常容易。
pandas为什么慢
由于底层的numpy数组数据结构和C代码，pandas库已经相当快了。然而，默认情况下，所有Python代码都在单个CPU线程上运行，这使得pandas运行慢。当使用默认设置运行pandas代码时，大多数CPU内核都不做任何事情，只有少数在工作（大体上只有9%的CPU在工作）。
使代码运行更快的一种方法是同时使用多个CPU核，即多处理。
三个比pandas更快的数据分析库
简要介绍以下三个能够快速运行的Python库：
1.polars：一个使用Apache Arrow列格式内存模型在Rust编程语言中实现的快速数据框架库。
2.datatable：与R的data.table库密切相关。
3.modin：使用所有可用的CPU核来运行pandas，基本上是pandas的替代品。
安装库
使用pip命令在终端安装：
pip install polars
pip install datatable
pip install modin[all]
测试情况
使用pandas作为基准性能指标，与三个库进行比较。
在100万行数据集和1000万行数据集中执行的测试中看到了类似的结果。
1.polars库在所有测试中都获胜，但apply函数除外，这里modin更快。
2.modin在apply和concat函数中非常快，但在其他函数中非常慢。值得注意的是，在许多测试（merge、filter、groupby等）中，modin比Panda慢。
3.Datatable在进行简单的列计算时并不差，而且速度非常快。
从对更大数据集的测试中，还可以看到，在大多数测试中，polars的性能始终优于所有其他库。其中一些亮点包括：
1.读取csv文件时比pandas快约17倍。
2.合并两个数据框架时，比pandas快约10倍。
3.在其他测试中，比pandas快2-3倍。
虽然没有测试这四个库的每个方面，但所测试的操作在数据分析工作中非常常见。结果表明，用polars替换pandas可能会将Python程序的速度提高至少2-3倍。
注：本文学习整理自pythoninoffice.com，供有兴趣的朋友学习参考。
