这个部分将会介绍python中处理数据最重要的工具之一---------pandas,主要涉及是其中一些操作。

因为自己之前没有了解到这些功能,导致花了很多时间去自己实现,这里做一个总结,为了提高之后的效率。

一.Series

1.先创建一个Series:

Machine Learning part2---pandas操作  Machine Learning part2---pandas操作

2.通过索引方式去选取值:

Machine Learning part2---pandas操作

3.再利用下numpy就能更方便的处理数据:

Machine Learning part2---pandas操作

4.Series的一个重要作用是:在算数运算中自动对齐不同索引的数据(有点像merge的效果)

Machine Learning part2---pandas操作

这里有相同的它就加上去,没有就不处理,赋空值。

二.DataFrame

1.创建DataFrame的方法就很多,这里举出典型的几种:

Machine Learning part2---pandas操作

2.DataFrame的一些基本操作:

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

三.接下来是一些tricks

1.改变colunmns

Machine Learning part2---pandas操作

2.关于删除

Machine Learning part2---pandas操作

3.排序

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

4.条件选择

Machine Learning part2---pandas操作

5.pandas两种基本类型的迭代

Machine Learning part2---pandas操作

6.对类型进行操作,这里要注意我们可以利用类型转换去节省内存

Machine Learning part2---pandas操作

上面实现的功能是只把数值型的数据找出来。

7.关于axis

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

8.字符串操作(其实pandas也支持字符串的某些函数)

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

9.改变数据类型

Machine Learning part2---pandas操作

那么能不能在读取数据之前就规定数据类型呢,我们要知道这是省内存的一个好方法:

Machine Learning part2---pandas操作

10.groupby(非常有用的操作)

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

最后我们来尝试一波可视化

Machine Learning part2---pandas操作


11.如何处理一个Series

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

12.处理缺失值

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

13.关于index

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

14.关于loc 和 iloc 这两个磨人小妖精(因为我一直没搞清楚这个......)
首先是loc

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

再来看iloc

Machine Learning part2---pandas操作

接下来是重点!!!它们的区别!!!

Machine Learning part2---pandas操作

15.如何省内存

首先看一下数据的信息

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

一个很重要的东西:category可以给数据添加逻辑规律

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

16.对类别型变量进行编码

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

Machine Learning part2---pandas操作

17.读取时的一些操作(面对大数据集的应对措施)

Machine Learning part2---pandas操作

to be continued...

相关文章: