前言
第一篇文章和第二篇文章我们对line list 数据集进行清洗，以及对文本内容进行词云分析。
本文中我们将要对主要的数据集covid_19_data.csv进行清洗和分析。这个数据集包含了所有受影响的国家的确诊，死亡，治愈人数的统计信息。有一些国家，比如中国，美国，意大利等受疫情影响比较大的国家还有各个省/州的详细信息。
一如既往，问题优先。今天我们简单回答两个问题：
- 截止到最近的一天，各个国家的情况如何？我们可以关注前30名。
- 前30名国家的战疫历史趋势如何？
导入数据
首先导入一些包，其中有两个不常见的函数模块，后续我们会涉及到。
代码语言：javascript复制from datetime import datetime
import matplotlib.pyplot as plt
import pandas as pd
from labellines import labelLines
from matplotlib.dates import date2num
读取数据，输出主要信息，这点和前几篇文章的思路一致。我们的目的就是养成一些成熟的分析数据的“套路”。
代码语言：javascript复制covid19_data_file = 'data/COVID_19_data.csv'
covid19_data_df = pd.read_csv(covid19_data_file)
# get numeric statistics
print(covid19_data_df.info())
数据集不大，只有1.5M,因为包含的信息不多。只有简单的confirmed，deaths，recovered信息。我们看到有一些Province/State 值缺失。
代码语言：javascript复制RangeIndex: 24451 entries, 0 to 24450
Data columns (total 8 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 SNo 24451 non-null int64
1 ObservationDate 24451 non-null object
2 Province/State 11706 non-null object
3 Country/Region 24451 non-null object
4 Last Update 24451 non-null object
5 Confirmed 24451 non-null float64
6 Deaths 24451 non-null float64
7 Recovered 24451 non-null float64
dtypes: float64(3), int64(1), object(4)
memory usage: 1.5 MB
清理省份/州的信息
输出前10条数据，我们可以看到中国的一些省份的具体信息作为样本出现在数据集中，这对于我们分析数据造成混乱。因为我们要分析的国家的信息，所以需要对数据进行处理。
代码语言：javascript复制print(covid19_data_df.head(10))
SNo ObservationDate Province/State ... Confirmed Deaths Recovered
0 1 01/22/2020 Anhui ... 1.0 0.0 0.0
1 2 01/22/2020 Beijing ... 14.0 0.0 0.0
2 3 01/22/2020 Chongqing ... 6.0 0.0 0.0
3 4 01/22/2020 Fujian ... 1.0 0.0 0.0
4 5 01/22/2020 Gansu ... 0.0 0.0 0.0
5 6 01/22/2020 Guangdong ... 26.0 0.0 0.0
6 7 01/22/2020 Guangxi ... 2.0 0.0 0.0
7 8 01/22/2020 Guizhou ... 1.0 0.0 0.0
8 9 01/22/2020 Hainan ... 4.0 0.0 0.0
9 10 01/22/2020 Hebei ... 1.0 0.0 0.0
[10 rows x 8 columns]
思路很简单，我们需要将各个省份的每天的数据累加作为中国的当天的数据，对于其他国家，如果有具体的省份数据而不是国家的总和树，我们也是如此操作。datframe 提供的groupby函数 就是专门做aggreate的。我们需要对每天同个国家的所有条目进行求和。groupby的结果是一个MultiIndex 的新Dataframe。我们可以直接调用reset_index 将其转换成两列。打印新数据，可以看到Mainland China 的数据为535。
代码语言：javascript复制covid19_country_rows_df = covid19_data_df.groupby(
['ObservationDate', 'Country/Region']).sum()
print(covid19_country_rows_df.index)
covid19_country_rows_df.reset_index(
inplace=True) # split the index to two columns
print(covid19_country_rows_df.head(5))
MultiIndex([('01/22/2020', 'Hong Kong'),
('01/22/2020', 'Japan'),
('01/22/2020', 'Macau'),
('01/22/2020', 'Mainland China'),
('01/22/2020', 'South Korea'),
('01/22/2020', 'Taiwan'),
('01/22/2020', 'Thailand'),
('01/22/2020', 'US'),
('01/23/2020', 'Australia'),
('01/23/2020', 'Brazil'),
...
('05/13/2020', 'United Arab Emirates'),
ObservationDate Country/Region SNo Confirmed Deaths Recovered
0 01/22/2020 Hong Kong 13 0.0 0.0 0.0
1 01/22/2020 Japan 36 2.0 0.0 0.0
2 01/22/2020 Macau 21 1.0 0.0 0.0
3 01/22/2020 Mainland China 535 547.0 17.0 28.0
4 01/22/2020 South Korea 38 1.0 0.0 0.0
重新布局数据
现有的数据布局并不是很理想，因为ObservationDate 是一列，这一列中有很多相同的日期，不方便分析。我们需要想办法重新布局，一个好的布局方式是日期作为一个维度，国家作为另一个维度，交叉处为我们要观测的数据，比如确诊数目（Confirmed）。
解决思路是采用pandas 的pivot_table 函数。这里列出关键的参数，index 是我们最终作为row 的index的数据，columns 是我们想把源数据中哪一列的作为新数据的列（很多列）。value是我们观测的值。为了方便调用，我这里写了一个函数来进行数据转换和分析。我们转换3个透视表，然后对于每个透视表取最后一行，也就是最新的日期。最后我们将3个透视表的最新日期的数据都统一到一个数据中。
代码语言：javascript复制def analyze_latest_day(data, top_k=30, sort_by='Deaths',plot_type=None):
cols = ['Confirmed', 'Deaths', 'Recovered']
latest_day_all_data = pd.DataFrame([])
for col in cols:
all_cols_data = pd.pivot_table(
data,
index='ObservationDate',
columns='Country/Region',
values=col,
fill_value=0)
latest_day_col_data = all_cols_data.iloc[-1, :]
latest_day_all_data[col] = latest_day_col_data
#### 未完
接下来我们直接plot latest_day_all_data的数据，采用柱状图。这里有几个tips：
- 我们只plot 前top_k 个国家的数据，这样图画更有条理
- 我们对'Confirmed', 'Deaths', 'Recovered'分别标识为特定的颜色，比如confirmed 橘色（警告色），deaths 黑色（庄重色），recovered（绿色）
- 颜色代码可以从网站轻易copy
# 包含在analyze_latest_day函数中
latest_day_all_data = latest_day_all_data.sort_values(
by=sort_by, ascending=False)
ax = latest_day_all_data.iloc[0:top_k].plot(kind='bar', stacked=False,title='Latest day data Statistics',color = ['#fcbf49', '#03071e', '#02c39a'])
plt.show()
不得不说，这个图画还不错，但是略显紧凑。每个国家对应三根柱子，x坐标略显拥挤。
改进柱状图
很容易我们就想到使用stack类型的柱状图。但是我们不能轻易的把confirmed，deaths 和recovered 堆叠再一起，这样实际意义没有参考性。所以我们需要对数据进行简单处理，用Unrecovered 来取代Confirmed的信息。
代码语言：javascript复制# 包含在analyze_latest_day函数中
latest_day_all_data['Unrecovered'] = latest_day_all_data['Confirmed'] -
latest_day_all_data['Deaths'] - latest_day_all_data['Recovered']
latest_day_all_data = latest_day_all_data.sort_values(
by=sort_by, ascending=False)
latest_day_all_data.drop('Confirmed', axis=1, inplace=True)
ax = latest_day_all_data.iloc[0:top_k].plot(kind='bar',stacked=True,title='Latest day data Statistics',color = ['#03071e', '#02c39a', '#fcbf49'])
plt.show()
柱子明显粗了，而且多了一个信息量（unrecovered/未痊愈/治疗中)。
这样其实我们第一个问题就有了答案，最近的一天的国家数据一目了然。画面中top_k是按照Confirmed 排序的，我们也可以按照Recovered 排序。
各个国家时间线分析
接下来我们来分析一下各个国家确诊数据的历史信息。前文已经提到我们可以通过pivot_table重新布局数据，这里我们先整理出top_k国家的数据。
代码语言：javascript复制 covid19_country_cols_df = pd.pivot_table(
data,
index='ObservationDate',
columns='Country/Region',
values=col,
fill_value=0)
latest_day_col_data = covid19_country_cols_df.iloc[-1, :]
latest_day_col_data = latest_day_col_data.sort_values(
ascending=False)
top_counties = list(latest_day_col_data.index)[0:top_k]
top_counties.reverse() # reverse to add label
top_k_country_df = covid19_country_cols_df[top_counties]
采用dataframe的plot函数直接预览。
代码语言：javascript复制 ax =top_k_country_df.plot(kind='line')
ax.set_xlabel('date')
ax.set_ylabel('number of cases')
ax.set_title(f'number of {col} cases')
plt.show()
画面看着不错，颜色绚烂。但是无法看到哪个国家对应哪个颜色。而且美国（绿色）的扶摇直上，一骑绝尘，其他国家却挤在画面的底部。
下面我们考虑如何进行改善。
- 国家分类太多，我们可不可以让标签靠近每个曲线
- 可以让y轴分布更弹性化
- x轴前半部分很单调，因为2月初只有中国和几个亚洲国家在苦苦挣扎，我们可以怎么优化？
inline标签
我们想把标签放在曲线上，这里我们提供两种方法，第一个中较为推荐。采用一个有用的包labellines，可以解决这个问题。调用函数labelLines即可，其中参数xvals 用于设置标签放置位置的起止位置。对于x轴为时间轴的数据，需要输入datetime格式。参考以下代码可以少入坑。
对于y轴的压缩我们可以直接用log scale。
代码语言：javascript复制 fig, ax = plt.subplots()
# create x axis label
time_x = pd.Series(
pd.to_datetime(
top_k_country_df.index)).dt.to_pydatetime()
for col in top_counties:
ax.plot(time_x, top_k_country_df[col], label=str(col))
ax.set_yscale('log')
ax.set_xlabel('date')
ax.set_ylabel('number of cases')
ax.set_title(f'number of {col} cases')
labelLines(
plt.gca().get_lines(), xvals=(
date2num(
datetime(
2020, 3, 10)), date2num(
datetime(
2020, 5, 13))))
plt.show()
看起来比刚才的要人性化一点，标签都列在曲线上，并且采用同样的颜色，看起来很像trajectory （弹道）。
压缩X轴
很多国家都是后来才加入到抗病毒的战争中，我们可以考虑将x轴变成“加入战斗”的时间。定义加入战斗可以从确诊数为0开始。我们这里定义为确诊从100 开始，因为最开始大多数国家都是零星的输入型案例。参考一下代码，我们对于每个国家都只保留确诊数据大于100的数据。
代码语言：javascript复制 start_num = 100
new_start_df = pd.DataFrame([])
for col in top_counties:
new_start_col = top_k_country_df[top_k_country_df[col] > start_num][col].reset_index(drop=True)
new_start_df[col] = new_start_col
对于plot，我们不做多的修改，仅仅在线条的末端加上一个箭头，使其更像弹道（rajectory）。
代码语言：javascript复制 # check each country increase after 100 confirmed
start_num = 100
new_start_df = pd.DataFrame([])
for col in top_counties:
new_start_col = top_k_country_df[top_k_country_df[col] > start_num][col].reset_index(drop=True)
new_start_df[col] = new_start_col
fig, ax = plt.subplots()
for col in top_counties:
plt.plot(new_start_df[col], label=str(col),marker = '>',markevery=[-1])
ax.set_yscale('symlog')
ax.set_xlabel('days after first 100 cases')
ax.set_ylabel('number of cases')
ax.set_title(f'number of {col} cases')
labelLines(plt.gca().get_lines(), xvals=(5, 35))
plt.show()
这个图看起来更不错了，这样我们可以清晰的看到各个国家的确诊曲线。
同样的，我们可以画出death 和recovered的曲线。
bonus：尾部标签
其实，我们可以使用matplotlib库，进行曲线尾部标注（或者任意位置）。思路就是对plot特定的位置添加text。代码与效果如下：
代码语言：javascript复制 start_num = 100
new_start_df = pd.DataFrame([])
for c in top_counties:
new_start_col = top_k_country_df[top_k_country_df[c] > start_num][c].reset_index(drop=True)
new_start_df[c] = new_start_col
fig, ax = plt.subplots()
for c in top_counties:
ax.plot(new_start_df[c], label=str(c))
max_value = new_start_df.max()
max_index = new_start_df.idxmax()
for index, value, name in zip(
max_index.values, max_value.values, list(
max_value.index)):
ax.text(
index 0.5,
value,
name,
size=10,
ha='left',
va='center')
# ax.text(
# index 5.5,
# value 3,
# f'{value:,.0f}',
# size=10,
# ha='left',
# va='center')
ax.set_yscale('symlog')
ax.set_xlabel('days after first 100 cases')
ax.set_ylabel('number of cases')
ax.set_title(f'number of {col} cases')
plt.show()
总结
本文接着对COVID19的数据集进行了可视化分析。文中主要介绍了一些数据变形的方法，包括groupy和pivot_table 两大利器的用法。接着我们细致的解决了一些可视化图画中的细节问题，让我们的画面更加友好。比如：
- stack类型的柱状图，颜色，数据选取
- lineplot x轴起始位置的选取
- y轴的缩放
- inline（线内）标签
- 尾端marker 所有的努力就是为了让画面更清晰的反映更多的信息。
当然了，如果需要进行交互式的查看各个国家的数据，Plotly 必然是更好的选择。
作者：琥珀里有波罗的海
https://juejin.im/post/5ec191b1e51d454dca71174f
