对于 Python 数据分析领域,Pandas 绝对是中坚力量,那么围绕着这个工具,又衍生出了很多辅助工具,今天我们就一起来看看辅助 Pandas 来进行数据探索的几种工具
首先我们先来看看我们的测试数据集
代码语言:javascript复制import pandas
df = pd.read_excel("2018_Sales_Total_v2.xlsx")
df
对于上面的数据,如果使用 Excel,我们可以非常方便的进行简单的过滤、搜索等操作
那么在不借助 Excel 的情况,我们有哪些好用的工具呢
JavaScript tools
最简单的方法是使用 JavaScript 库向数据中的 DataFrame 视图添加一些交互属性
Qgrid
首先我们来看看 Qgrid,这是一个 Jupyter notebook 组件,可以为我们的 DataFrame 添加交互属性
代码语言:javascript复制import qgrid
import pandas
df = pd.read_excel("2018_Sales_Total_v2.xlsx")
widget = qgrid.show_grid(df)
widget
可以看到,Qgrid 的过滤功能还是很不错的,基本上接近于 Excel 了,但是它也有一些缺点,Qgrid 不能进行可视化,也不能使用 Pandas 表达式来过滤和选择数据,所以说,Qgrid 只适用于简单的数据操作和检查
PivottableJs
PivottableJs 工具并不是真正用于查看 DataFrame 数据的,但我们可以把它当做一个非常有用的汇总数据工具来使用
它通过一个 JavaScript 库的数据透视表来进行交互式数据透视和汇总
代码语言:javascript复制from pivottablejs import pivot_ui
pivot_ui(df)
我们通过单击和拖动来汇总每个客户购买的数量
当然,除了基本的求和函数,我们还可以做一些可视化和统计分析
该工具对于过滤原始 DataFrame 没有太大的用处,但对于透视和汇总数据方面是非常强大,我们可以在构建数据透视表后过滤数据,以此来充分发挥这个工具的作用
Data Analysis Applications
接下来我们介绍比较成熟的 GUI 工具,通常使用 Web 后端(如 Flask)或基于 Qt 的单独应用程序。 这些应用程序的复杂性和功能各不相同,从简单的表格视图和绘图功能到强大的统计分析。这些工具的独特之处在于它们与 Pandas 紧密集成,因此我们可以使用 Pandas 代码来过滤数据并与这些应用程序交互
PandasGUI
我们首先来看的第一个应用程序是 PandasGUI,这个应用程序的独特之处在于它是一个用 Qt 构建的独立应用程序,可以直接从 Jupyter notebook 调用
代码语言:javascript复制from pandasgui import show
show(df)
比如上图,使用 Pandas 查询语法过滤数据以显示一位客户且购买数量 > 15 的数据
PandasGUI 与 Plotly 集成使得我们可以方便的构建可视化
PandasGUI 的一项非常棒的功能是过滤器对所有选项卡中的 DataFrame 都有效,我们可以使用此功能在绘制或转换数据时尝试不同的数据视图
PandasGUI 的另一个功能是我们可以通过旋转或融合数据来重塑数据,以下是 SKU 单位销售额的摘要
PandasGUI 真的是一个令人印象深刻的工具!
Tabloo
Tabloo 使用 Flask 作为后端为 DataFrames 数据提供简单的可视化工具以及类似于 PandasGUI 的绘图功能
代码语言:javascript复制import tabloo
tabloo.show(df)
Dtale
Dtale 还是比较复杂的,功能也更加强大。Dtale 的架构类似于 Tabloo,因为它同样使用 Flask 后端,但也包括一个强大的 React 前端
代码语言:javascript复制import dtale
dtale.show(df)
Dtale 不仅仅是一个 DataFrame 查看器,还是一个非常强大的统计工具集
我们还可以导出代码,这是一个非常强大的功能,将 Excel Python 解决方案与普通 Excel 区分开来
下面的例子就可以从上面的可视化图表中导出代码
代码语言:javascript复制import numpy as np
import pandas as pd
if isinstance(df, (pd.DatetimeIndex, pd.MultiIndex)):
df = df.to_frame(index=False)
# remove any pre-existing indices for ease of use in the D-Tale code, but this is not required
df = df.reset_index().drop('index', axis=1, errors='ignore')
df.columns = [str(c) for c in df.columns] # update columns to strings in case they are numbers
s = df[~pd.isnull(df['{col}'])][['{col}']]
chart, labels = np.histogram(s, bins=20)
import scipy.stats as sts
kde = sts.gaussian_kde(s['unit price'])
kde_data = kde.pdf(np.linspace(labels.min(), labels.max()))
# main statistics
stats = df['unit price'].describe().to_frame().T
Dtale 还可以对数据进行格式化,在下面的示例中,我们将货币和日期列格式化为更易于阅读的形式
Excel
最后来介绍一些与 Excel 相结合的工具
PyXLL
PyXLL 是一个付费产品,不过我们可以免费试用 30 天来一睹它的风采
它真正的强大之处在于,我们可以将 Jupyter Notebook 与 Excel 共同使用,并使用 jupyter 魔术命令在 Notebook 和 Excel 之间交换数据
xlwings
xlwings 和 PyXLL 类似,也是有商业公司支持的。但是,有一个社区版是开源的,我们可以使用开源版本
虽然 xlwings 不直接与 Jupyter Notebook 集成,但我们可以使用 DataFrame 实时填充 Excel 电子表格并使用 Excel 进行分析
代码语言:javascript复制import pandas as pd
import xlwings as xw
url =
df = pd.read_excel("2018_Sales_Total_v2.xlsx")
# Create a new workbook and add the DataFrame to Sheet1
xw.view(df)
此代码将打开一个新的 Excel 实例并将 df 放入单元格 A1
好了,今天介绍的 Pandas 数据探索工具就是这么多,喜欢就点个赞吧