我们在上一篇介绍了 NumPy,本篇介绍 pandas。
pandas入门
Pandas 是基于Numpy构建的,让以Numpy为中心的应用变的更加简单。
pandas的数据结构介绍
Series
由一组数据(各种 NumPy 数据类型)和一组索引组成:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/TD/cR/NQ/QNcDRT0NfOYPHJq1z0l7zItF4xXzuvhJ7Fc2aeIbdQc.jpg)
Values 和 index 属性:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/tt/q8/bV/Vbqt8teOS0c6JZ8ZkYilZItF4xXzuvhJ7Fc2aeIbdQc.jpg)
给所创建的Series带有一个可以对各个数据点进行标记的索引:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/B0/ip/CU/UCi0pBZi9AAVbWuY8grFCItF4xXzuvhJ7Fc2aeIbdQc.jpg)
与普通Numpy数组相比,可以通过索引的方式选取Series中的单个或一组值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Gp/I7/CF/FCIp7GoHwraYbCOGjwQBEItF4xXzuvhJ7Fc2aeIbdQc.jpg)
可将Series看成是一个定长的有序字典,它是索引值到数据值的一个映射(它可以用在许多原本需要字典参数的函数中)。
如果数据被存放在一个 python 字典中,可以直接通过这个字典来创建Series:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/_c/lf/kF/Fklcf_oio-3vwUboOk1zY4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
如果只传入一个字典,则结果Series中的索引就是原字典的键(有序排列),上面的states。
Series最重要的一个功能是在算数运算中自动对齐不同索引的数据:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Rf/Vr/EV/VEVfrR93pUnsi6KP74Y2xotF4xXzuvhJ7Fc2aeIbdQc.jpg)
Series对象本身及其索引都有一个name属性:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/0u/GW/_1/1_GuW0LMfmHInptfyKDBBYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
Series的索引可以通过赋值的方式就地修改:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/xu/RT/fI/IfRuTx2_CBx2hupR8CBUp4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
DataFrame
是一个表格型的数据结构。既有行索引也有列索引。DataFrame中面向行和面向列的操作基本是平衡的。DataFrame中的数据是以一个或多个二维块存放的。用层次化索引,将其表示为更高维度的数据。
构建 DataFrame:直接传入一个由等长列表或 NumPy 数组组成的字典。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/eF/iB/_9/9_iFBeY1PB7vZ_inI201KotF4xXzuvhJ7Fc2aeIbdQc.jpg)
会自动加上索引,但指定列序列,则按指定顺序进行排列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/0k/iG/Lu/uLikG0Mzlsp9WvUYc-V-n4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
和Series一样,如果传入的列在数据中找不到,就会产生NA值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Rv/DJ/pA/ApDvJRxmOuAzXLyjmfnn_4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/19/UY/vO/OvU9Y1wzZNVyrqWayqBXJ4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
通过赋值的方式进行修改:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Wr/jv/O0/0OjrvWpfq4KxCu0l0l14GYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
通过类似字典标记的方式或属性的方式,可以将DataFrame的列获取为一个Series:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Bp/4z/s0/0s4pzBiXvn4fO6iXZRTyqYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
行也可以通过位置或名称的方式进行获取,比如用索引字段ix。
将列表或数组赋值给某个列时,其长度必须跟DataFrame的长度相匹配。如果赋值的是一个Series,就会精确匹配DataFrame的索引,所有的空位都将被填上缺失值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/io/tH/s9/9stoHiL-FsZFrUC6DOXXfYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
给不存在的列赋值会创建出一个新列,关键字del用于删除列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/vt/mr/SN/NSmtrvxkpJb9Pty0HBUyi4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
通过索引方式返回的列是相应数据的视图,并不是副本,对返回的Series做的任何修改都会反映到源DataFrame上,通过Series的copy方法即可显式地复制列。
另一种常见的数据形式是嵌套字典,如果将它传给DataFrame,解释为——外层字典的键作为列,内层键作为行索引。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Yf/10/fk/kf1f0YxG7CkgLvU8sz4CgItF4xXzuvhJ7Fc2aeIbdQc.jpg)
对结果进行转置:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/SR/UZ/4d/d4URZSJWSRP_hizbrZz8CItF4xXzuvhJ7Fc2aeIbdQc.jpg)
指定索引按序列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/zv/h9/Ex/xEhv9z76vr3qTlmKKgHZh4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
由Series组成的字典差不多也是一样的用法:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Yy/Ai/x8/8xAyiYyxt1ugmpfbDu4vYotF4xXzuvhJ7Fc2aeIbdQc.jpg)
设置了DataFrame的index和columns的 name 属性,这些信息也会被显示,values 属性以二维ndarray的形式返回DataFrame中的数据:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/kz/CH/ui/iuCzHkk107XZOEvXtDlPb4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
如果DataFrame各列的数据类型不同,值数组的数据类型就会选用能兼容所有列的数据类型(如 dtype = object)。
索引对象
Pandas的索引对象,管理轴标签和其他元数据(如轴名称等)。
构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个index,且index对象是不可修改的:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/BZ/LI/PY/YPLZIBsmu1aQFXXESs7-N4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
index的功能类似一个固定大小的集合:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/1X/Y_/6g/g6YX_1WPEWhIdiu1S6_kJYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
基本功能
重新索引
方法 reindex:创建一个适应新索引的新对象。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Mz/Ib/-g/g-IzbMgaxgvrUDwivjaR5ItF4xXzuvhJ7Fc2aeIbdQc.jpg)
调用该Series的reindex将会根据新索引进行重排。如果某个索引值当前不存在,就引入缺失值。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/mO/pK/8f/f8pOKm-2b9kYT0qYabneyItF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于时间序列这样的有序数据,重新索引时可能需要做一些差值处理:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/m1/lF/T8/8Tl1FmI_yiDwXXf2ied0uYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于DataFrame ,reindex可以修改行、列索引,或两个都修改。如果仅传入一列,则会重新索引行:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/tJ/Vi/Z5/5ZVJitiywk0es8aJqVYFcItF4xXzuvhJ7Fc2aeIbdQc.jpg)
使用columns关键字可重新索引列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/P5/kx/kx/xkk5xPvzL1SaoRhy4Rqbb4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
同时对行、列进行索引:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/SL/Lz/BA/ABLLzSaAUlTvZFpk8k8vjYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
ix标签索引功能:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/-t/JN/Pk/kPJtN-bUi6XaUmbKwmo7FotF4xXzuvhJ7Fc2aeIbdQc.jpg)
丢弃制定轴上的项
drop方法返回的是一个在指定轴上删除了指定值的新对象:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Sy/-z/7n/n7-yzSZ6ZsFUNtBD7cV_2YtF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于DataFrame,可以删除任意轴上的索引值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/bP/ih/Fo/oFiPhbn1Vmmj94-0o4-OgotF4xXzuvhJ7Fc2aeIbdQc.jpg)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/UP/85/oX/Xo8P5UgcheCzhXrCN2tw-otF4xXzuvhJ7Fc2aeIbdQc.jpg)
索引、选取和过滤
Series索引的工作方式类似于Numpy数组的索引,但Series的索引值不只是整数:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/M_/pS/FD/DFp_SM8ZNYgd5aYU3AGGu4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
利用标签的切片运算,其包含闭区间(与普通 python 切片运算不同):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Zi/gR/eT/TegiRZ8ZrGfoj3wBZdnm94tF4xXzuvhJ7Fc2aeIbdQc.jpg)
对DataFrame进行索引就是获取一个列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/LC/-j/ct/tc-CjLlu1Lm4pYB3E-XI5otF4xXzuvhJ7Fc2aeIbdQc.jpg)
或多个列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/ga/sp/4i/i4sapgdzUccMUlZnH0-g8ItF4xXzuvhJ7Fc2aeIbdQc.jpg)
这种索引方式的特殊情况:通过切片或布尔型数组选取行。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/N4/Qc/pL/LpQ4cN6LF32gF8j2QgsPCItF4xXzuvhJ7Fc2aeIbdQc.jpg)
另一种用法是通过布尔型DataFrame进行索引(在语法上更像 ndarray):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/UB/N_/Xi/iXNB_UTwctb-6tRojeHfVotF4xXzuvhJ7Fc2aeIbdQc.jpg)
专门的索引字段 ix,是一种重新索引的简单手段:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Ca/CK/Gq/qGCaKCMIpokTuypnvIv3kYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
算术运算和数据对齐
Pandas最重要的一个功能是对不同索引的对象进行算术运算。
对不同的索引对,取并集:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/jj/LX/Vn/nVLjXjhaZw8m2rEWsXynkItF4xXzuvhJ7Fc2aeIbdQc.jpg)
自动的数据对齐操作在不重叠的索引出引入了NA值,即一方有的索引,另一方没有,运算后该处索引的值为缺失值。
对DataFrame,对齐操作会同时发生在行和列上。
在算术方法中填充值
对运算后的NA值处填充一个特殊值(比如 0):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/F9/pa/0j/j0p9aFwefq90CqPMCLIKbotF4xXzuvhJ7Fc2aeIbdQc.jpg)
否则 e 列都是NaN值。
类似,在对Series和 DataFrame 重新索引时,也可以指定一个填充值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Az/YD/b_/_bYzDAQet5NE5nNRgSR_WItF4xXzuvhJ7Fc2aeIbdQc.jpg)
用这几个特定字的,叫算术方法:add/ sub/ div/ mul ,即:加/减/除/乘。
DataFrame 和 Series 之间的运算
计算一个二维数组与其某行之间的差:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/ZO/S1/HC/CHSO1ZMPiHnoG4apdidmvotF4xXzuvhJ7Fc2aeIbdQc.jpg)
这个就叫做广播,下面的每行都做这个运算了。
默认情况下,DataFrame和Series之间的算术运算会将Series的索引匹配到DataFrame的列,然后沿着行一直向下广播:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/_j/pB/z0/0zpjB_ZlhUW0qL_JC1uAxItF4xXzuvhJ7Fc2aeIbdQc.jpg)
得到
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Fu/xh/cu/ucxuhFmJJeGPJmkJa524PotF4xXzuvhJ7Fc2aeIbdQc.jpg)
做加法 frame+series2,找不到的值就并集为NaN。
如果你希望匹配行,且在列上广播,则必须使用算术运算方法:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Ay/Fh/Yx/xYFyhASSQYvffdRVrxTxM4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
传入的轴号就是希望匹配的轴。
函数的应用和映射
Numpy的ufuncs可用于操作Pandas对象,以abs为例:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Pk/HB/kS/SkHkBPMDJKk19KLKDc77cotF4xXzuvhJ7Fc2aeIbdQc.jpg)
DataFrame 的 apply 方法:将函数应用到各列或行所形成的一维数组上:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/B8/yb/wd/dwy8bBa-IQs1b0rp_-8DXItF4xXzuvhJ7Fc2aeIbdQc.jpg)
许多最为常见的数据统计功能都被封装为DataFrame的方法,无需使用apply方法。
除标量值外,传递给apply的函数还可以返回由多个值组成的Series:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/OP/m-/ys/symP-OihjGoklq0O5pDNeotF4xXzuvhJ7Fc2aeIbdQc.jpg)
用 applymap 得到frame中各个浮点值的格式化字符串:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/9I/T_/Yq/qYTI_9EFKsWIgVYyk0hnQ4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
Series有一个用于应用元素级函数的 map 方法:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/e3/ZW/vz/zvZ3WecNIcQ_AewY2YXgW4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
排序和排名
sort_index方法:返回一个已排序的新对象
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/9K/-j/Ei/iE-Kj91mOYGUpMxJx6FkMYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于DataFrame,可以根据任意一个轴上的索引进行排序:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/GT/Gb/-a/a-GTbGJjBb0KHNwbeBD5DYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
指定了axis=1,是对列进行排序。
默认按升序,降序用ascending=False:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/fi/r7/ud/duri7fi1T3P9bpzyrP7sV4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
对Series进行排序,可用方法sort_values():
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/_4/nV/Dq/qDn4V_xs2mWHGbdYQ9o0UItF4xXzuvhJ7Fc2aeIbdQc.jpg)
在排序时,任何缺失值默认都会被放到Series末尾。
在DataFrame上,用by根据列的值进行排序:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/X5/LO/-R/R-L5OXRZGeLpZyt0Kd61FotF4xXzuvhJ7Fc2aeIbdQc.jpg)
根据多个列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/jf/9l/JM/MJ9fljlv9NVn7pQz8KydKotF4xXzuvhJ7Fc2aeIbdQc.jpg)
rank方法:默认情况下,rank是通过“为各组分配一个平均排名”的方式破坏平级关系的。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/kV/O_/O2/2OOV_k4KbUtBsQnUQ6jf04tF4xXzuvhJ7Fc2aeIbdQc.jpg)
根据值在原数据中出现的顺序给出排名:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/WB/k6/P6/6PkB6WUk-FFrriaJpgQ6uotF4xXzuvhJ7Fc2aeIbdQc.jpg)
按降序进行排名:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/ob/OH/PF/FPObHolQDVUN4-7tLVLmRotF4xXzuvhJ7Fc2aeIbdQc.jpg)
DataFrame可以在行或列上计算排名:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/tm/zw/Wu/uWzmwtc2CkT3l6Hib1e7YotF4xXzuvhJ7Fc2aeIbdQc.jpg)
带有重复值的轴索引
虽然许多Pandas函数都要求标签唯一(如 reindex),但这不是强制性的。
带有重复索引的Series:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/x_/Vh/__/__V_hxrILTqD8t8MaET5TotF4xXzuvhJ7Fc2aeIbdQc.jpg)
索引的is_unique属性可以判断它的值是否唯一。
带有重复索引的DataFrame:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/_5/P6/NT/TNP56_vZfLqQQi3tHP60cItF4xXzuvhJ7Fc2aeIbdQc.jpg)
在Pandas中,DataFrame.ix[i]和DataFrame.iloc[i]都可以选取DataFrame中第i行的数据,那么这两个命令的区别在哪里呢?
ix可以通过行号和行标签进行索引,而iloc只能通过行号索引,即ix可以看做是loc和iloc的综合。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/T8/OW/kh/hkO8WTJRyMwpypvXJn2ntotF4xXzuvhJ7Fc2aeIbdQc.jpg)
汇总和计算描述统计
Pandas对象拥有一组常用的数学和统计方法:用于从Series中提取单个值,或从DataFrame的行或列中提取一个Series。
跟Numpy数组方法相比,它们都是基于没有缺失数据的假设而构建的。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/wD/CS/jv/vjCDSwjzL1PRrT0hMkIRX4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
传入 axis=1 将会按行进行求和运算:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/zd/k5/m2/2mkd5zB7hNVhjBtqAIKtWotF4xXzuvhJ7Fc2aeIbdQc.jpg)
NA值会自动被排除,如 1.40+NaN=1.40, NaN+NaN=0.00。
通过skipna选项可以禁用该功能:(得到 1.40+NaN=NaN, NaN+NaN=NaN)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/1Q/Gd/ro/orGQd1f1XoJY1oXHPnn-_YtF4xXzuvhJ7Fc2aeIbdQc.jpg)
返回间接统计(输出了值所在的行名):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/-1/kQ/Ut/tUk1Q-Ra9hL0XOupY0Z0uotF4xXzuvhJ7Fc2aeIbdQc.jpg)
累计型的(样本值的累计和):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/IF/Zd/u8/8uZFdInTzo8dpdoVw0VnrYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
一次性产生多个汇总统计:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/z-/PQ/tQ/QtP-Qz3q4Q0Gy_r8If2iOotF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于非数值型数据,describe会产生另外一种汇总统计:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/1H/ry/XG/GXrHy1tkHykes_x5qfkiVYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
相关系数与协方差
Series和DataFrame:
corr方法: 相关系数cov方法:协方差
DataFrame的corrwith方法:计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个DataFrame计算按列名配对的相关系数,传入axis=1即可按行进行计算。
唯一值、值计数以及成员资格
从一维Series的值中抽取信息。
unique函数:得到Series中的唯一值数组
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/E_/6N/KH/HK6_NEu9sY8XNj4b48shc4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
value_counts:用于计算一个Series中各值出现的频率:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/25/KG/7z/z7K5G22CBG8lADHiEhNpAItF4xXzuvhJ7Fc2aeIbdQc.jpg)
Series按降序排列。value_counts是一个顶级Pandas方法,可用于任何数组或序列。
isin:用于判断矢量化集合的成员资格,可用于选取Series或DataFrame列中数据的子集:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/cE/lA/RH/HRlEAcVXK5r1I9QreR7DeotF4xXzuvhJ7Fc2aeIbdQc.jpg)
处理缺失数据
Pandas的设计目标之一就是让缺失数据的处理任务尽量轻松。
Pandas使用浮点值 NaN(Not a Number) 表示浮点和非浮点数组中的缺失数据。它只是一个便于被检测出来的标记而已。
python 内置的None值也会被当做NA处理(如 string_data[0]=None)。
滤掉缺失数据
对于一个Series, dropna返回一个仅含非空数据和索引值的Series:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/e3/6e/Yx/xY63eeZcVnBQFxJ6VMrB9otF4xXzuvhJ7Fc2aeIbdQc.jpg)
通过布尔型索引也可以达到这个目的:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Dk/eE/pm/mpekEDxzDDFR7aAXEuYH54tF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于DataFrame对象,dropna默认丢弃任何含有缺失值的行:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Nu/Sw/uo/ouSuwNUX-3X0G8q54A3xzotF4xXzuvhJ7Fc2aeIbdQc.jpg)
丢弃全为NA的那些行,axis=1则丢弃列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/2Z/vZ/XV/VXvZZ2sMw9wfDZoLbP9RMYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
只想留下一部分参数,用thresh参数:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/o0/w2/7t/t7w02oha-0UvbArSiv8H0ItF4xXzuvhJ7Fc2aeIbdQc.jpg)
thresh=3:保留至少 3 个非空值的行,即一行中有 3 个值是非空的就保留.
填充缺失数据
fillna方法:通过一个常数调用fillna就会将缺失值替换为那个常数值。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Wl/uD/WL/LWulDW_alrb_EnBMYuTyiYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
通过一个字典调用fillna,可以实现对不同的列填充不同的值:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/GZ/Ig/OT/TOIZgGXRrP2ysimcdlvUiYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
fillna默认会返回新对象(副本),但也可以对现有对象进行就地修改:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Ub/vE/S6/6SvbEUA84J5h3JvB6TV2a4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
插值方法(对 reindx 有效的也可用于 fillna):
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/8B/GC/cu/ucGBC8_QZgDwevKD1sc3Y4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Km/8M/5b/b58mMKlH_51t0PXrFBFGQItF4xXzuvhJ7Fc2aeIbdQc.jpg)
你可以用fillna实现许多别的功能,比如传入Series的平均值或中位数:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/qz/RN/ce/ecRzNqFr9uqiMJNdKv8hxYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
层次化索引
在一个轴上用多个(2 个以上)索引级别,即以低维度形式处理高维度数据。
MultiIndex 索引的 Series 的格式化输出形式:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/vf/3o/br/rb3fovNAiTRJEqRUzYM7fItF4xXzuvhJ7Fc2aeIbdQc.jpg)
选取数据子集:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/gM/p8/lh/hlpM8gAA8It9poRl8tkvAYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
在“内层”中进行选取:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/ku/F7/2r/r2Fu7kh1N5XPyX3TSAuXBotF4xXzuvhJ7Fc2aeIbdQc.jpg)
层次化索引在数据重塑和基于分组的操作中很重要。比如说,上面的数据可以通过其 unstack 方法被重新安排到一个DataFrame中,它的逆运算是 stack:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/tG/5C/0F/F05GCt7Rr93nNEjqCAP32otF4xXzuvhJ7Fc2aeIbdQc.jpg)
对于一个DataFrame,每条轴都可以有分层索引:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/s7/Ht/uB/BuH7tsvl5I2lPc2QNj6724tF4xXzuvhJ7Fc2aeIbdQc.jpg)
各层都可以有名字(可以是字符串,也可以是别的 Python 对象)。
注意⚠️不要将索引名称跟轴标签混为一谈。
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/t9/7O/j9/9j79Otc5TMc-t8pLSVfBsotF4xXzuvhJ7Fc2aeIbdQc.jpg)
有了分部的列索引,可以轻松选取列分组。
可以单独创建 MultiIndex 然后复用。上面的DataFrame中的分级列可以这样创建:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/nd/AV/Z0/0ZAdVnI0sdAV4Fiq_yFhrotF4xXzuvhJ7Fc2aeIbdQc.jpg)
重排分级顺序
重新调整某条轴上各级别的顺序,或根据指定级别上的值对数据进行排序。
swaplevel:接受两个级别编号或名称,返回一个互换了级别的新对象,数据不发生改变:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/c9/L8/yi/iyL98c4nni5Dwl61EQ9cg4tF4xXzuvhJ7Fc2aeIbdQc.jpg)
sortlevel:根据单个级别中的值对数据进行排序(得到的最终结果是有序的)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/9z/Mh/Lr/rLMzh9ZhWIre5VNv-qQFyotF4xXzuvhJ7Fc2aeIbdQc.jpg)
根据级别汇总统计
level选项:用于指定在某条轴上求和的级别。
如下所示,分别根据行或列上的级别来对行、对列进行求和:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/eq/km/VO/OVkqmevoiAOExQb8bD6044tF4xXzuvhJ7Fc2aeIbdQc.jpg)
使用DataFrame的列
将DataFrame的一个或多个列当做行索引来用,或将行索引变成DataFrame的列:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/DK/Ap/X9/9XAKpDVenWByAklbP4AEBotF4xXzuvhJ7Fc2aeIbdQc.jpg)
set_index函数:将其一个或多个列转换为行索引,并创建一个新的DataFrame。
默认情况下,那些列会从DataFrame中移除,也可以将其保留下来:
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/zz/N0/wD/DwNz0zGx7oJwfAuR0s5XnItF4xXzuvhJ7Fc2aeIbdQc.jpg)
reset_index:将层次化索引的级别转移到列里面(和 set_index 相反)
![【数据科学系统学习】Python # 数据分析基本操作[二] pandas 【数据科学系统学习】Python # 数据分析基本操作[二] pandas](https://cdn666.ancii.com/article/v1/Iv/lJ/he/ehlvJIqpg4yI0Imo0IDvmYtF4xXzuvhJ7Fc2aeIbdQc.jpg)
不足之处,欢迎指正。