为什么是Python？
先来聊聊为什么做数据分析一定要用Python或R语言。编程语言这么多种，Java, PHP都很成熟，但是为什么在最近热火的数据分析领域，很多人选择用Python语言？
数据分析只是一个需求，理论上来讲，任何语言都可以满足任何需求，只是麻烦与简易之别。Python这门语言诞生也相当之早，它的第一个版本是26年前发表的，曾经（或者说当前）也被用于web开发，但是就流行程度来说，远远干不过Java和PHP。东方不亮西方亮，在与Java干仗失败的这20几年时光里，Python练就了一身独门武艺，是Java和PHP远远不及的（当然以后是不是能追得上来，目前还不好说）。你要说做个博客网站，Python的特长不在这里，PHP和Java也是分分钟的事情。你要说做个BBS网站，做个电商网站，PHP手到擒来。Python在这些方面和Java或者PHP竞争，基本就是作死的节奏，虽然也有django这样的框架，但流行程度远远不及其他语言。但在这些年默默的失败背后，有一帮研究人员用Python干出了一些惊天地泣鬼神的神器，使Python在数据研究领域做到了除了R语言以外基本无人能及的地步。
Jupyter
首先，第一神器是Jupyter。如果你是第一次使用，可能搞不清楚它的开发者做这么个鬼东西出来干什么，说它是博客系统也不像，说它是web服务器也不像，但它就是有用。因为我们传统的web开发首先想的就是面向公众，你做一个服务器就是要服务成千上万浏览器的，当然Jupyter也可以服务众多浏览器，但它更多的还是方便研究人员，对研究人员来说简直是太方便了，你把代码像写文章一样直接写在输入框里，然后在本页面直接就看到了这个代码的结果，随时修改，随时展现，文码混排，是Markdown的一个增强版，毕竟Markdown还只能显示文字，最多再加上一些图片，而Jupyter是可以直接运行Python代码的。当然，也有些人试图在Jupyter里运行PHP或Java代码，但显然成不了气候。因为Python这个语言天生就是脚本语言，可能将来唯一有希望往里移植的就是Javascript，这货也是一个脚本语言。脚本语言的好处就是不用编译，一行一个结果。纵观计算机语言发展历史，就是一个从繁到简的过程，C语言需要编译 链接才能运行，Java只要javac一下，把编译和链接合二为一，PHP更简单，直接运行就行了，连编译都省了。但是还不够直接，因为还要编写一个.php文件存盘，然后才能运行，到了Python以及其它脚本语言这里，可以直接在壳里运行，但最大的问题是运行可以运行，无法保存，要保存就又要跟传统方式一样，找个编辑器来，或者vi，存成文件以后才可以运行。Jupyter最大的优点就是：它本身还是一个外壳环境，可以运行脚本，但同时也帮你自动把这些脚本代码保存了下来，不但保存脚本代码，并且你插在脚本代码当中的所有注释不是普通注释，而是各种格式化的Markdown都一并帮你保存下来，并且可以随时修改。所以它兼具了脚本外壳和文件管理系统的优点，从此你开发Python代码再也不用先在IDE里写好代码，然后再到终端里去运行，而直接在一个web页面上就全部搞定了。Java有这样的工具吗？PHP有这样的工具吗？没有，所以我们必须选择Python。
Pandas
第二神器是Pandas。如果我让你读取一个csv文件，然后求每一列数据的平均值，最大值，最小值，方差，用Java或PHP怎么做？你首先要fopen一个文件，然后一行一行读进来，再给它整个数据结构，然后弄个循环计算，最后你可能还要fclose这个文件。总之代码一坨，麻烦死。而Python语言因为有Pandas这个神器，一行代码搞定：
代码语言：javascript复制
df = pd.read_csv('a.csv')
行了，从此以后，df就是这个DataFrame，它本身就是一个强大的数据结构，也可以把它理解成mysql数据库中的一张表吧，各种增删改查，求总和，求平均都是一行代码的事情。所以有这样强大的库，研究人员有什么理由选择Java？
scikit-learn
第三神器scikit-learn，一般缩写为sclearn，各种机器学习算法，基本上只要你能想得到的，线性回归，逻辑回归，SVM，随机森林，最近邻居等等等等，各种算法全部在这里面（http://scikit-learn.org/stable/user_guide.html），简而言之，只有你想不到，没有它做不到，不详述。所以这就是为什么玩机器学习必选Python的原因，你给我找一个Java或者PHP有这样多种算法的库来？
matplotlib
第四神器是matplotlib。如果我让你根据上面csv文件里的信息，画一个图，用Java该怎么做？你当然会去找第三方插件库，然后又是一通折腾，终于把图做出来，然后编译，然后运行。如果我要改配色呢？如果我要求画地图呢？如果要画热力图呢？那个麻烦就不是一星半点，而对于matplotlib来说，简直就是小菜一碟。简单的直方图就不说了，下面重点介绍如何用matplotlib配合Basemap画一个中国地图。
安装Basemap
先安装相应的组件。我假定你已经都安装好了Python以及Jupyter等等。如果没有安装的话，就去尝试一下brew install python3和brew install jupyter吧，网上有很多教程。
然后你需要用pip3 install很多我们下面可能需要用到的库。但是因为我们要用一个叫做Basemap的库，而这个库没有办法用简单的pip3 install安装，所以稍多两个步骤：
代码语言：javascript复制
brew install geos
pip3 install https://github.com/matplotlib/basemap/archive/v1.1.0.tar.gz
1
开始画图
启动Jupyter之后，我们还是本着从最简单的代码开始。先画一个世界地图：
代码语言：javascript复制
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
plt.figure(figsize=(16,8))
m = Basemap()
m.drawcoastlines()
plt.show()
前面两行引入相应的库，真正的代码就4行，够简单吧。第1行甚至可以不写，它定义了图的大小。第2行我们创建一个地图，第3行把海岸线画上，第4行显示这个地图，就是这样：
你用Java的4行代码画一个地图出来？
然后我们开始画上国家，又是1行代码：
代码语言：javascript复制
m.drawcountries(linewidth=1.5)
就变成了这样：
用Java可能吗？用PHP可能吗？
如果我们想显示中国地图，只需要在创建Basemap时指定一下经纬度就行了：
代码语言：javascript复制
m = Basemap(llcrnrlon=73, llcrnrlat=18, urcrnrlon=135, urcrnrlat=53)
然后就得到了中国地图：
看上去有点变形，这是因为我们没有添加任何投影的原因，Basemap提供24种不同的投影方式，你可以自己一个个试一下，比较常用的是兰勃特投影，我们添加一下：
代码语言：javascript复制
m = Basemap(llcrnrlon=77, llcrnrlat=14, urcrnrlon=140, urcrnrlat=51, projection='lcc', lat_1=33, lat_2=45, lon_0=100)
这次终于看上去比较正常了：
我们想加上省的边界怎么办呢？Basemap缺省的包里没有中国的省区，只有美国的州，毕竟是美国人做的嘛。不过好在世界很大，有专门的国际组织干这事，在这里(https://gadm.org/download_country_v3.html) 你可以下载全世界任何一个国家的行政区划Shape文件，然后我们给它加上：
代码语言：javascript复制
m.readshapefile('CHN_adm_shp/CHN_adm1', 'states', drawbounds=True)
然后就得到了下图：
再往后，你还可以往图上改颜色啦，写数字啦，这些就留待你研究吧。总之，我想说的是，用Python画地图真的超容易。
最后再为Java和PHP美言几句：大家分工不同，Java和PHP虽然做这样的数字研究不是很方便，但还是非常适合web开发的，而Python在这方面并不适合。所以通常的做法是：首先用Python验证算法，经过一系列复杂的计算，把算法确定下来之后，当要应用到web上的时候，再用Java或者PHP把最终形成的结论重写一遍，这样就能充分利用各种语言的优势。
2
上色
延续上一次的代码，我们这次还是只增加5行代码：
代码语言：javascript复制
from matplotlib.patches import Polygon
ax = plt.gca()
for nshape, seg in enumerate(m.states):
poly = Polygon(seg, facecolor='r')
ax.add_patch(poly)
在展示结果之前，稍微解释一下。第2行plt.gca，函数名看上去很诡异，是因为Python里大量使用了缩写，这个gca就是Get Current Axes的缩写，实际上就是要获得当前图形的座标轴。然后我们开始一个循环，把图形文件中各个省的多边形取出来，给它一个颜色，在这里我们统一放上红色，也就是Red的缩写r，然后把这个多边形放在我们图形的座标轴上，然后就得到了下图：
糟糕，怎么能少了中国台湾呢？在此郑重声明：中国台湾是中华人民共和国不可分割的领土！加入中国台湾的Shape文件，然后循环一下：
代码语言：javascript复制
m.readshapefile('TWN_adm_shp/TWN_adm0', 'taiwan', drawbounds=True)
for nshape, seg in enumerate(m.taiwan):
poly = Polygon(seg, facecolor='r')
ax.add_patch(poly)
好了，这下祖国山河一片红，看上去正确多了。
接下来，你还可以把各个省的名字打出来看一下，具体代码就不解释了：
代码语言：javascript复制
for shapedict in m.states_info:
statename = shapedict['NL_NAME_1']
p = statename.split('|')
if len(p) > 1:
s = p[1]
else:
s = p[0]
print(s)
for shapedict in m.taiwan_info:
s = shapedict['NAME_CHINE']
print(s)
结果如下：
代码语言：javascript复制
安徽
北京
重庆
福建
福建
福建
...
3
数据
接下来我们去国家统计局搞点数据
(http://www.stats.gov.cn/tjsj/pcsj/rkpc/6rp/indexce.htm)，第六次全国人口普查数据可以直接下载Excel文件，略作修改，导出成csv文件，用我们上一课讲的方法，一句话读取进来：
代码语言：javascript复制
df = pd.read_csv('chnpop.csv')
直接输出，大概是下面这个样子：
4
渲染
好了，数据也有了，我们终于要开始做一些激动人心的事情了。我们希望根据各省人口的多少用深浅不同的颜色为各个省份染色，那么首先第一步，我们需要选择一个调色板，也就是色彩映射表colormap，为此，matplotlib为你准备了数不胜数的选择，我们随便选择一款国旗色红黄色调的吧：
代码语言：javascript复制
cmap = plt.cm.YlOrRd
然后我们把每个省的数据映射到colormap上：
代码语言：javascript复制
colors[s] = cmap(np.sqrt((pop - vmin) / (vmax - vmin)))[:3]
最后，我们把各个省的颜色描在地图上：
代码语言：javascript复制
color = rgb2hex(colors[statenames[nshape]])
poly = Polygon(seg, facecolor=color, edgecolor=color)
哒哒，我们的全国人口数量热力图就完成了！可以看到河南、四川、广东、山东几个省的颜色比较深，说明这几个省的人口总数最多，而西藏颜色最浅，代表这里的人口总数最少。
这里只是简单地举了一个例子，你还可以把各省的人口总数除以面积，得到人口密度数据，你还可以把各省的经济总量画在图上，总之，有了这个入门的方法，一切就都简单了呢。
最后，附上完整的代码供大家参考。
代码语言：javascript复制
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
from matplotlib.patches import Polygon
from matplotlib.colors import rgb2hex
plt.figure(figsize=(16,8))
m = Basemap(
llcrnrlon=77,
llcrnrlat=14,
urcrnrlon=140,
urcrnrlat=51,
projection='lcc',
lat_1=33,
lat_2=45,
lon_0=100
)
m.drawcountries(linewidth=1.5)
m.drawcoastlines()
m.readshapefile('CHN_adm_shp/CHN_adm1', 'states', drawbounds=True)
df = pd.read_csv('chnpop.csv')
df['省名'] = df.地区.str[:2]
df.set_index('省名', inplace=True)
statenames=[]
colors={}
cmap = plt.cm.YlOrRd
vmax = 100000000
vmin = 3000000
for shapedict in m.states_info:
statename = shapedict['NL_NAME_1']
p = statename.split('|')
if len(p) > 1:
s = p[1]
else:
s = p[0]
s = s[:2]
if s == '黑龍':
s = '黑龙'
statenames.append(s)
pop = df['人口数'][s]
colors[s] = cmap(np.sqrt((pop - vmin) / (vmax - vmin)))[:3]
ax = plt.gca()
for nshape, seg in enumerate(m.states):
color = rgb2hex(colors[statenames[nshape]])
poly = Polygon(seg, facecolor=color, edgecolor=color)
ax.add_patch(poly)
plt.show()
文章来源：悟空智能科技
文章编辑：小柳
