一、安装pandas
pip install pandas
二、数据结构
pandas有两种数据结构，这里篇幅主要讲述DataFrame。
DataFrame相当于一种二维的数据模型，相当于excel表格中的数据，有横竖两种坐标，横轴很Series 一样使用index，竖轴用columns 来确定，在建立DataFrame 对象的时候，需要确定三个元素：数据，横轴，竖轴。
三、DataFrame基本使用
本次案例使用的测试表单：https://pan.baidu.com/s/1xn6gdMlh0pWHa-pnVv2LqA
1 创建DataFrame数据
创建不是我们本次的重点，我们所直接使用下列读取现有表的方法
2 读取excel/csv，读取到的数据在DataFrame具柄中进行处理
# 读取test.xls，并指定sheet df = pd.DataFrame(pd.read_excel(\'test.xls\',sheet_name=\'detail\'))
3 抽取指定列名赋值给need_df
# 指定列名，将这一列赋值到package_num_df 这个具柄,并打印结果 need_df = df[[\'工厂\',\'仓库\',\'捆包号\',\'树种\',\'规格\',\'账面数量\',\'账面米数\']] print(need_df)
4 在need_df的dataframe中筛选[捆包号]=J-0001-04，并打印结果
find_need_df = need_df.loc[need_df[\'捆包号\'] == \'J-0001-04\'] print(find_need_df)
5在df的dataframe中删除label标签=1 的数据并打印结果(dataframe只存在于内存中，并不会改变原来的excle表数据，可以通过将内容中的dataframe重新赋值给新表即可
#删除行号=1的那一整行，axis默认=0，inplace默认=False(不删除原来excel的数据) 标志为True的话就说明将存储在内存中的df 行号为1进行删除 res = df.drop(labels=1, axis=0, inplace=True) print(df)
find_need_df = need_df.loc[need_df[\'捆包号\'] == \'原来df数据
drop后df的数据
6写入excel/csv
#安装本地目录，格式化制定文件名称 wb_path = os.path.join(dir_path,\'work_book\') ctime = datetime.datetime.now().strftime(\'%Y%m%d_%H%M\') df.to_excel(\'%s/%s_detail.xls\'%(wb_path,ctime))
若遇到 # ModuleNotFoundError: No module named \'xlwt\' ,则需要安装xlwt模块
find_need_df.to_csv(\'temp.csv\', mode=\'a\', encoding=\'gbk\')
四、DataFrame增删改查操作
1 创建练习案例dataframe
import pandas as pd import numpy as np data = {\'city\': [\'Beijing\', \'Shanghai\', \'Guangzhou\', \'Shenzhen\', \'Hangzhou\', \'Chongqing\'], \'year\': [2016,2017,2016,2017,2016, 2016], \'population\': [2100, 2300, 1000, 700, 500, 500]} frame = pd.DataFrame(data, columns = [\'year\', \'city\', \'population\', \'debt\']) df1 = pd.DataFrame({\'apts\': [55000, 60000], \'cars\': [200000, 300000], }, index=[\'Shanghai\', \'Beijing\']) df2 = pd.DataFrame({\'apts\': [25000, 20000], \'cars\': [150000, 120000], }, index=[\'Hangzhou\', \'Najing\']) df3 = pd.DataFrame({\'apts\': [30000, 10000], \'cars\': [180000, 100000], }, index=[\'Guangzhou\', \'Chongqing\']) df4 = pd.DataFrame({\'apts\': [55000, 60000, 58000], \'cars\': [200000, 300000, 250000], \'cities\': [\'Shanghai\', \'Beijing\', \'Shenzhen\']}) df5 = pd.DataFrame({\'salaries\': [10000, 30000, 30000, 20000, 15000], \'cities\': [\'Suzhou\', \'Beijing\', \'Shanghai\', \'Guangzhou\', \'Tianjin\']}) # print(df1) # print(df2) # print(df3) # print(df4) # print(df5)
2 增
# frame.ix[0] = np.arange(4) # 在第0行添加新行,分别为0，1，2，3 # frame.insert(0, \'temp\', frame.year) # 在第0列处添加新列，名为temp # frame.ix[:, \'xx\'] = np.arange(6) # 在末尾添加列名=xx的新列 # df1.append(df2) # 往df1末尾添加df2形成一个新数据 # pd.concat([df1, df2, df3]) # 往末尾添加多个dataframe,复用原来的column # pd.concat([df1, df2, df3], axis=1,sort=False) #axis=1时，不复用其他df的colums，各自使用自己的colums横向阶梯式合并 # 按照关键字做并集 # result = pd.merge(df4, df5, on=\'cities\') #按照关键字cities的值相等时，将数据做并集 # result2 = pd.merge(df4, df5, on=\'cities\', how=\'outer\') # 按colums作并集，然后其他数据依次并集填入，不存在的值置为NaN
3 删
# del frame[\'year\'] # 删除year列 # frame = frame.drop([\'city\', \'debt\'], axis=1) # 删除多列,axis=1 表示x轴方向 # frame = frame.drop([0, 1, 2]) # 删除dataframe索引= 0、1、2行 # # frame.dropna() # 删除带有Nan的行 # frame.dropna(axis=1, how=\'all\') # 删除全为Nan的列 # frame.dropna(axis=1, how=\'any\') # 删除带有Nan的列 # frame.dropna(axis=0, how=\'all\') # 删除全为Nan的行 # frame.dropna(axis=0, how=\'any\') # 删除带有Nan的行 默认选项为此
4 改
# 元素赋值 # frame.loc[0, \'city\'] = \'YunCheng\' # 将frame数据中 dataframe索引=0，colums=city 的值改为 YunCheng # frame.iloc[0, 0] = 2011 #将frame数据中，dataframe y轴索引=0，x轴索引=0的值改为2011（索引为主） # frame.at[0, \'city\'] = \'YunCheng\' # frame.iat[0, 0] = 2010 #将frame数据中，dataframe y轴索引=0，x轴索引=0的值改为 2010 # frame.fillna(value=1) # 用1替换NaN # 列赋值 # frame[\'year\'] = 2000 #将year这一列的数值全部更改为2000 # frame.debt = np.arange(6) #将debt这一列的值按0-5 依次填入 # val = pd.Series([200, 300, 500]) #制作series二维数列， # frame[\'debt\'] = val #将val依次填入debt这一列，剩余没有被填充到的默认NaN # 行赋值 # val = pd.Series([\'aa\', 2000, 500], index=[\'city\', \'year\', \'population\']) #制作二维数列 # frame.loc[0] = val #将val按照列 year city population的值分别新增到x轴首行，并将索引位置0，debt则置NaN
5 查
# frame.index # 查询frame数据的所以y轴索引起止、步长 # frame.columns # 查询frame数据的colums具体有哪些列 # frame.values # 查询frame数据的值，按y轴索引，从0开始，每一行作为一个列表，共6行组成一个新的大列表 # 元素查找 # xx = frame.loc[0, \'city\'] # 数据是什么类型，xx就是什么类型 # xx = frame.loc[[0], [\'city\']] # DataFrame类型 # 行查找 # df = frame.loc[0:2] # DataFrame数据 y轴索引切片0～2 顾首顾尾。 # df = frame.iloc[0:2] # DataFrame类型 y轴索引切片0～2 顾首不顾尾。 # df = frame[0:3] # DataFrame数据，y轴索引切片0～3 顾首不顾尾 # df = frame.ix[0] # Series类型 y轴索引为0，的那一行数据 # 列查找 # df = frame.loc[:, \'city\'] # 切片查找，列为city的那一列 # df = frame.loc[:, [\'city\', \'population\']] # 切片查找，列为city、population的那两列形成新的dataframe # df = frame.iloc[:, 0:2] # DataFrames数据x轴切片， 索引为0～2 顾首不顾尾形成新的dataframe # df = frame[\'year\'] # 将year那一列的所有值取出 # df = frame.year # Series类型 同上 # df = frame[[\'population\', \'year\']] # DataFrame类型 筛选population year两列重新组合dataframe # df = frame.filter(regex=\'population|year\') # 结果同上 # frame[frame.year > 2016] # 选择frame.year中>2016的行 # res =frame[frame.year.isin([\'2016\', \'2015\'])] # DataFrame数据，筛选year= 2016 或者2015的数据 # res = frame[[\'city\', \'year\']][0:3] # DataFrame 筛选出city和year两列，并按y轴 0～3 顾首不顾尾进行切片，重组成新的dataframe # 块查找 # df = frame.iloc[0:2, 0:2] # DataFrame数据，按x轴 y轴分别进行索引0～2 顾首不顾尾的切片，并重组新的dataframe # 条件查找 # df = frame.year.notnull() # Series类型 判断year列的值是否不为空 # df = frame[\'year\'].notnull() # Series 同上 # df = frame[frame.year.notnull()] # DataFrame类型 按照year非空筛选之后的结果 # df = frame[frame.year.notnull()].values # ndarray类型,按照year非空筛选之后的结果，形成一个大列表 # df = frame[frame.year == 2016][frame.city == \'Beijing\'] # DataFrame # df = frame.debt[frame.year == 2016][frame.city == \'Beijing\'] # 使用多条件year=2016、city=Beijing查询debt的值
五、数据透视表
话不多说，直接上例子说明下简单的一个用法：
本次案例使用的测试表单：https://pan.baidu.com/s/1HZCN9wZ_6sSNSnbUZPViHQ
import pandas as pd import numpy as np df = pd.read_excel(\'./work_book/pandas_sheet.xlsx\') pd.set_option(\'display.width\', None) #解决pandas模块会出现省略号的问题 # print(df.head()) #读取前五行数据 df[\'Status\'] = df[\'Status\'].astype(\'category\') df[\'Status\'].cat.set_categories([\'won\',\'pending\',\'presented\',\'declined\'], inplace=True) ### 例1: 均值运算数据透视 # 单索引为[Name]字段，account price quantity进行平均值运算 res_ave_1 = pd.pivot_table(df, index=[\'Name\']) # print(res_ave_1) # 多索引为[Name],[Rep],[Manager]字段，account price quantity进行平均值运算 res_ave_2 = pd.pivot_table(df,index=[\'Name\', \'Rep\', \'Manager\']) # print(res_ave_2) # 多索引为[Manager][Rep]字段，account price quantity进行平均值运算 res_ave_3 = pd.pivot_table(df, index=[\'Manager\',\'Rep\']) # print(res_ave_3) # 多索引为[Manager][Rep]字段，value为[Price]进行平均值运算 res_ave_4 = pd.pivot_table(df, index=[\'Manager\',\'Rep\'], values=[\'Price\']) # print(res_ave_4) # 多索引为[Manager][Rep]字段,value为[Price]并使用numpy的mean方法，并计算对应数据量的长度 res_ave_5 = pd.pivot_table(df, index=[\'Manager\',\'Rep\'], values=[\'Price\'], aggfunc=[np.mean, len]) # print(res_ave_5) ### 例2: 求和运算数据透视 # 表格从左往右，以[Manager]为第一索引，[Rep]为第二索引，表格最上面以[Price]为第一索引，二级索引以[Product]的明细分别展开， # 统计数据以数据求和，product 没有的部分填充NaN(fill_value=0是将NaN填充为0),margins=True表示所有表进行所有项目合计求和 res_sum_1 = pd.pivot_table(df, index=[\'Manager\',\'Rep\'], values=[\'Price\'], columns=[\'Product\'], aggfunc=[np.sum], fill_value=0, margins=True) # print(res_sum_1) #表格从左往右，以[Manager]为第一索引，[status]为第二索引，表格上面以\'均值\'、\'合计\'、\'单元格长度个数\'三大项作为大列，大列中分别都以 # CPU Maintenance Monitor Software 作为明细项列分开进行单独计算（NaN项以0填充） res_sum_2 = pd.pivot_table(df, index=[\'Manager\', \'Status\'], columns=[\'Product\'], values=[\'Quantity\', \'Price\'], aggfunc={\'Quantity\':len, \'Price\':[np.sum,np.mean]}, fill_value=0 ) # print(res_sum_2) ### 例3:数据透视表过滤 #上述透视表res_sum_2生成后，他就位于DataFrame中，所以可以进行标准的DataFrame函数对其进行过滤，以Manager为筛选字段，字段值=Debra Henley res_filter_1 = res_sum_2.query(\'Manager == ["Debra Henley"]\') # print(res_filter_1)