pandas(series和读取外部数据)

2020-12-28 11:12:29 浏览数 (1)

参考链接: Pandas的数据Series

一、pandas概述 

1、pandas介绍 

 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。 

 Pandas 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。 

2、为什么引入pandas? 

 numpy能够帮助处理数值型数据,但是这还远远满足不了需求。pandas除了处理数值型数据之外(基于numpy),还能帮助处理其他类型的数据(如:字符串类型) 

3、pandas的常用数据类型 

 (1)Series 一维,带标签数组 

 (2)DataFrame 二维,Series容器 

数据结构介绍: 

 Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。 

 Time- Series:以时间为索引的Series。 

 DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。 

 Panel :三维的数组,可以理解为DataFrame的容器。 

 Panel4D:是像Panel一样的4维数据容器。 

 PanelND:拥有factory集合,可以创建像Panel4D一样N维命名容器的模块。 

二、pandas之Series 

1、Series对象 

 Series对象本质:由两个数组构成 

 一个数组构成对象的键(index,索引),一个数组构成对象的值(values),键——>值

2、创建Series 

(1)通过列表创建 

 pd.Series(列表,index=....)   ——>index指定元素的索引 

import pandas as pd

import numpy as np

t = pd.Series(np.arange(10), index=[i for i in range(10)])

print(t)

print(type(t)) 

(2)通过字典创建 

 pd.Series(字典)   ——>使用字典中原数据的键值 

import pandas as pd

t = pd.Series({"name":"hanmh-", "age":"21", "language":"chinese"})

print(t)

print(type(t)) 

(3)字典推导式创建字典,并作为Series的参数 

import pandas as pd

import string

#字典推导式创建字典

a = {string.ascii_uppercase[i]:i for i in range(10)}

t = pd.Series(a)

print(a)

print(t) 

重新给上面字典指定其他索引后,如果能够对上,就取其值,如果不能就直接置为nan 

 注:如果重新指定索引后,出现没有匹配的项,值被赋为nan,因为numpy中的nan为float,pandas会自动根据数据类型更改Series的dtype类型 

t = pd.Series(a, index=list(string.ascii_uppercase[5:15])) 

(4)修改Series的dtype值 

 t.astype(类型) 

三、pandas之Series切片和索引 

 切片:直接传入start end或者步长即可 

 索引:一个的时候直接传入序号或者index,多个的时候传入序号或者index的列表 

1、取出Series的索引或者值 

 t.index      取出Series的索引 

 t.values     取出Series中具体的值 

import pandas as pd

import string

a = {string.ascii_uppercase[i]:i for i in range(10)}

t = pd.Series(a)

print(t.index)

print(type(t.index))

print("*"*20)

print(t.values)

print(type(t.values))

注:ndarray的很多方法都可以运用到Series类型,比如argmax,clip 

2、Series中的where方法 

 该方法与numpy中的where方法输出结果不一样,pandas中的where是输出匹配项,不匹配的直接赋值为nan 

import pandas as pd

import string

a = {string.ascii_uppercase[i]:i for i in range(10)}

t = pd.Series(a)

print(t)

t = t.where(t>5)

print(t) 

四、pandas读取外部数据 

1、读取csv文件 

 pd.read_csv(文件路径) 

2、读取数据库 

(1)MySQL 

 pd.read_sql(sql_sentence,connection) 

(2)读取mongoDB数据 

from pymongo import MongoClient

import pandas as pd

client = MongoClient()

collection = client['douban']['tv1']

data = list(collection.find()) #查找数据并转换成list形式

0 人点赞