大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

Pandas 是基于 NumPy 的一个开源 Python 库,它被广泛用于快速分析数据,以及数据清洗和准备等工作。它的名字来源是由“ Panel data”(面板数据,一个计量经济学名词)两个单词拼成的。简单地说,你可以把 Pandas 看作是 Python 版的 Excel。

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

我喜欢 Pandas 的原因之一,是因为它很酷,它能很好地处理来自一大堆各种不同来源的数据,比如 Excel 表格、CSV 文件、SQL 数据库,甚至还能处理存储在网页上的数据。

话不多说,让我们开始吧!

今天小编发放福利,自己整理的一份2018最新的Python资料和0基础入门教程,适用于初学和进阶中的小伙伴。都可以私信我免费领取, 包括代码需要的话也可以和我说,小编在不忙的时间也会给大家解惑的。

安装 Pandas

如果你已经安装了 Anaconda,你可以很方便地在终端或者命令提示符里输入命令安装 Pandas:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如果你还没安装 Anaconda,你也可以用 Python 自带的包管理工具 pip 来安装:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

Pandas 数据结构

Series 是一种一维数组,和 NumPy 里的数组很相似。事实上,Series 基本上就是基于 NumPy 的数组对象来的。和 NumPy 的数组不同,Series 能为数据自定义标签,也就是索引(index),然后通过索引来访问数组中的数据。

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

创建一个 Series 的基本语法如下:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

上面的 data 参数可以是任意数据对象,比如字典、列表甚至是 NumPy 数组,而index 参数则是对 data 的索引值,类似字典的 key。

下面这个例子里,将创建一个 Series 对象,并用字符串对数字列表进行索引:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

注意:请记住, index 参数是可省略的,你可以选择不输入这个参数。如果不带 index参数,Pandas 会自动用默认 index 进行索引,类似数组,索引值是 [0, ..., len(data) - 1] ,如下所示:

从 NumPy 数组对象创建 Series:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

从 Python 字典对象创建 Series:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如上图的 out[24] 中所示,如果你从一个 Python 字典对象创建 Series,Pandas 会自动把字典的键值设置成 Series 的 index,并将对应的 values 放在和索引对应的data 里。

和 NumPy 数组不同,Pandas 的 Series 能存放各种不同类型的对象。

从 Series 里获取数据

访问 Series 里的数据的方式,和 Python 字典基本一样:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

对 Series 进行算术运算操作

对 Series 的算术运算都是基于 index 进行的。我们可以用加减乘除(+ - * /)这样的运算符对两个 Series 进行运算,Pandas 将会根据索引 index,对响应的数据进行计算,结果将会以浮点数的形式存储,以避免丢失精度。

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如上,如果 Pandas 在两个 Series 里找不到相同的 index,对应的位置就返回一个空值 NaN。

DataFrames

Pandas 的 DataFrame(数据表)是一种 2 维数据结构,数据以表格的形式存储,分成若干行和列。通过 DataFrame,你能很方便地处理数据。常见的操作比如选取、替换行或列的数据,还能重组数据表、修改索引、多重筛选等。

构建一个 DataFrame 对象的基本语法如下:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

举个例子,我们可以创建一个 5 行 4 列的 DataFrame,并填上随机数据:

看,上面表中的每一列基本上就是一个 Series ,它们都用了同一个 index。因此,我们基本上可以把 DataFrame 理解成一组采用同样索引的 Series 的集合。

下面这个例子里,我们将用许多 Series 来构建一个DataFrame:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

以及用一个字典来创建 DataFrame:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

获取 DataFrame 中的列

要获取一列的数据,还是用中括号 [] 的方式,跟 Series 类似。比如尝试获取上面这个表中的 name 列数据:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

因为我们只获取一列,所以返回的就是一个 Series。可以用 type() 函数确认返回值的类型:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如果获取多个列,那返回的就是一个 DataFrame 类型:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

向 DataFrame 里增加数据列

创建一个列的时候,你需要先定义这个列的数据和索引。举个栗子,比如这个 DataFrame:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

增加数据列有两种办法:可以从头开始定义一个 pd.Series,再把它放到表中,也可以利用现有的列来产生需要的新列。比如下面两种操作:

定义一个 Series ,并放入 'Year' 列中:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

从现有的列创建新列:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

从 DataFrame 里删除行/列

想要删除某一行或一列,可以用 .drop() 函数。在使用这个函数的时候,你需要先指定具体的删除方向,axis=0 对应的是行 row,而 axis=1 对应的是列 column 。

删除 'Birth_year' 列:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

删除 'd' 行:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

请务必记住,除非用户明确指定,否则在调用 .drop() 的时候,Pandas 并不会真的永久性地删除这行/列。这主要是为了防止用户误操作丢失数据。

你可以通过调用 df 来确认数据的完整性。如果你确定要永久性删除某一行/列,你需要加上 inplace=True 参数,比如:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

获取 DataFrame 中的一行或多行数据

要获取某一行,你需要用 .loc[] 来按索引(标签名)引用这一行,或者用 .iloc[] ,按这行在表中的位置(行数)来引用。

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

同时你可以用 .loc[] 来指定具体的行列范围,并生成一个子数据表,就像在 NumPy里做的一样。比如,提取 'c' 行中 'Name’ 列的内容,可以如下操作:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

此外,你还可以制定多行和/或多列,如上所示。

条件筛选

用中括号 [] 的方式,除了直接指定选中某些列外,还能接收一个条件语句,然后筛选出符合条件的行/列。比如,我们希望在下面这个表格中筛选出 'W'>0 的行:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如果要进一步筛选,只看 'X' 列中 'W'>0 的数据:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

类似的,你还可以试试这样的语句 df[df['W']>0][['X','Y']] ,结果将会是这样:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

上面那行相当于下面这样的几个操作连在一起:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

你可以用逻辑运算符 &(与)和 |(或)来链接多个条件语句,以便一次应用多个筛选条件到当前的 DataFrame 上。举个栗子,你可以用下面的方法筛选出同时满足 'W'>0 和'X'>1 的行:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

重置 DataFrame 的索引

如果你觉得当前 DataFrame 的索引有问题,你可以用 .reset_index() 简单地把整个表的索引都重置掉。这个方法将把目标 DataFrame 的索引保存在一个叫 index 的列中,而把表格的索引变成默认的从零开始的数字,也就是 [0, ..., len(data) - 1]。比如下面这样:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

和删除操作差不多,.reset_index() 并不会永久改变你表格的索引,除非你调用的时候明确传入了 inplace 参数,比如:.reset_index(inplace=True)

设置 DataFrame 的索引值

类似地,我们还可以用 .set_index() 方法,将 DataFrame 里的某一列作为索引来用。比如,我们在这个表里新建一个名为 "ID" 的列:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

然后把它设置成索引:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

注意,不像 .reset_index() 会保留一个备份,然后才用默认的索引值代替原索引,.set_index() 将会完全覆盖原来的索引值。

多级索引(MultiIndex)以及命名索引的不同等级

多级索引其实就是一个由元组(Tuple)组成的数组,每一个元组都是独一无二的。你可以从一个包含许多数组的列表中创建多级索引(调用 MultiIndex.from_arrays ),也可以用一个包含许多元组的数组(调用 MultiIndex.from_tuples )或者是用一对可迭代对象的集合(比如两个列表,互相两两配对)来构建(调用MultiIndex.from_product )。

下面这个例子,我们从元组中创建多级索引:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

最后这个 list(zip()) 的嵌套函数,把上面两个列表合并成了一个每个元素都是元组的列表。这时 my_index 的内容是这样的:[('O Level', 21), ('O Level', 22), ('O Level', 23), ('A Level', 21), ('A Level', 22), ('A Level', 23)]

接下来,我们调用 .MultiIndex.from_tuples(my_index) 生成一个多级索引对象:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

最后,将这个多级索引对象转成一个 DataFrame:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

要获取多级索引中的数据,还是用到 .loc[] 。比如,先获取 'O Level' 下的数据:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

然后再用一次 .loc[],获取下一层 21 里的数据:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如上所示,df 这个 DataFrame 的头两个索引列没有名字,看起来不太易懂。我们可以用 .index.names 给它们加上名字:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

交叉选择行和列中的数据

我们可以用 .xs() 方法轻松获取到多级索引中某些特定级别的数据。比如,我们需要找到所有 Levels 中,Num = 22 的行:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

清洗数据

删除或填充空值

在许多情况下,如果你用 Pandas 来读取大量数据,往往会发现原始数据中会存在不完整的地方。在 DataFrame 中缺少数据的位置, Pandas 会自动填入一个空值,比如 NaN或 Null 。因此,我们可以选择用 .dropna() 来丢弃这些自动填充的值,或是用.fillna() 来自动给这些空值填充数据。

比如这个例子:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

当你使用 .dropna() 方法时,就是告诉 Pandas 删除掉存在一个或多个空值的行(或者列)。删除列用的是 .dropna(axis=0) ,删除行用的是 .dropna(axis=1) 。

请注意,如果你没有指定 axis 参数,默认是删除行。

删除行:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

删除列:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

类似的,如果你使用 .fillna() 方法,Pandas 将对这个 DataFrame 里所有的空值位置填上你指定的默认值。比如,将表中所有 NaN 替换成 20 :

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

当然,这有的时候打击范围太大了。于是我们可以选择只对某些特定的行或者列进行填充。比如只对 'A' 列进行操作,在空值处填入该列的平均值:

大牛精心整理的数据分析Pandas知识点30分钟带你入门,果断收藏!

如上所示,'A' 列的平均值是 2.0,所以第二行的空值被填上了 2.0。

同理,.dropna() 和 .fillna() 并不会永久性改变你的数据,除非你传入了inplace=True 参数。

今天小编发放福利,自己整理的一份2018最新的Python资料和0基础入门教程,适用于初学和进阶中的小伙伴。都可以私信我免费领取, 包括代码需要的话也可以和我说,小编在不忙的时间也会给大家解惑的。

相关推荐