参考链接: Pandas的数据Series
一、pandas概述
1、pandas介绍
pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。
Pandas 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。
2、为什么引入pandas?
numpy能够帮助处理数值型数据,但是这还远远满足不了需求。pandas除了处理数值型数据之外(基于numpy),还能帮助处理其他类型的数据(如:字符串类型)
3、pandas的常用数据类型
(1)Series 一维,带标签数组
(2)DataFrame 二维,Series容器
数据结构介绍:
Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。
Time- Series:以时间为索引的Series。
DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。
Panel :三维的数组,可以理解为DataFrame的容器。
Panel4D:是像Panel一样的4维数据容器。
PanelND:拥有factory集合,可以创建像Panel4D一样N维命名容器的模块。
二、pandas之Series
1、Series对象
Series对象本质:由两个数组构成
一个数组构成对象的键(index,索引),一个数组构成对象的值(values),键——>值
2、创建Series
(1)通过列表创建
pd.Series(列表,index=....) ——>index指定元素的索引
import pandas as pd
import numpy as np
t = pd.Series(np.arange(10), index=[i for i in range(10)])
print(t)
print(type(t))
(2)通过字典创建
pd.Series(字典) ——>使用字典中原数据的键值
import pandas as pd
t = pd.Series({"name":"hanmh-", "age":"21", "language":"chinese"})
print(t)
print(type(t))
(3)字典推导式创建字典,并作为Series的参数
import pandas as pd
import string
#字典推导式创建字典
a = {string.ascii_uppercase[i]:i for i in range(10)}
t = pd.Series(a)
print(a)
print(t)
重新给上面字典指定其他索引后,如果能够对上,就取其值,如果不能就直接置为nan
注:如果重新指定索引后,出现没有匹配的项,值被赋为nan,因为numpy中的nan为float,pandas会自动根据数据类型更改Series的dtype类型
t = pd.Series(a, index=list(string.ascii_uppercase[5:15]))
(4)修改Series的dtype值
t.astype(类型)
三、pandas之Series切片和索引
切片:直接传入start end或者步长即可
索引:一个的时候直接传入序号或者index,多个的时候传入序号或者index的列表
1、取出Series的索引或者值
t.index 取出Series的索引
t.values 取出Series中具体的值
import pandas as pd
import string
a = {string.ascii_uppercase[i]:i for i in range(10)}
t = pd.Series(a)
print(t.index)
print(type(t.index))
print("*"*20)
print(t.values)
print(type(t.values))
注:ndarray的很多方法都可以运用到Series类型,比如argmax,clip
2、Series中的where方法
该方法与numpy中的where方法输出结果不一样,pandas中的where是输出匹配项,不匹配的直接赋值为nan
import pandas as pd
import string
a = {string.ascii_uppercase[i]:i for i in range(10)}
t = pd.Series(a)
print(t)
t = t.where(t>5)
print(t)
四、pandas读取外部数据
1、读取csv文件
pd.read_csv(文件路径)
2、读取数据库
(1)MySQL
pd.read_sql(sql_sentence,connection)
(2)读取mongoDB数据
from pymongo import MongoClient
import pandas as pd
client = MongoClient()
collection = client['douban']['tv1']
data = list(collection.find()) #查找数据并转换成list形式