python代替excel的常用操作

numpy常用函数

%matplotlib notebook

import matplotlib.pyplot as plt
import numpy as np
x1=np.arange(100)#返回0-99的一组等差数列
x2=np.linspace(0,100,100)#从(0,100)均匀取100个点
data=[6,7.5,8,0,1]
x3=np.array(data)#将输入数据转换为数组
x4=np.random.randn(100)#随机生成一个1行的数组
x5=np.random.randn(2,3)#随机生成一个2行3列的数组
data1=[[1,2,3,4],[5,6,7,8]]
x6=np.array(data1)#将输入数据转换为数组
x4

pandas常用函数

一、导入外部数据

import pandas as pd

import numpy as np

path=r\'...\*.csv\'

df=read_table(path,sep=\',\',header=None)

或df=pd.Dataframe(pd.read_csv(path,header=None))

二、数据表检查

(1)数据维度：df.shape #使用shape函数来查看数据表的维度，也就是行数和列数。

(2)数据表信息：df.info() #使用info函数查看数据表的整体信息，包括数据维度、列名称、数据格式和所占空间等信息。

(3)数据格式：df.dtypes #查看数据表各列格式

　　　　　　 df[\'某列\'].dtype #查看单列的格式

(4)检查空值：df.isnull() #检查表中数据是否为空值

　　　　　　　df[\'某列\'].isnull #检查某列数据是否为空值

（5）查看唯一值：df[\'某列\'].unique() #查看某列的唯一值，需要先选中列

(6)查看数据表的值：df.values

(7)查看列名称：df.columns

(8)查看前3行：df.head(3)

(9)查看后3行：df.tail(3)

三、数据清洗

1、处理空值(删除或填充)

df.dropna(how=\'any\') #删除数据表中含有空值的行

df.fillna(value=0) #使用数字0填充数据表中的空值

df[\'price\'].fillna(df[\'price\'].mean()) #使用price列的均值填充price列的空值

2、清理空格

df[\'city\']=df[\'city\'].map(str.strip) #清除city列中的字符空格

3、大小写转换

df[\'city\']=df[\'city\'].str.lower() #将city列的值转换为小写

4、更改数据格式

df[\'price\'].astype(\'int\') #通过astype函数来修改数据格式

5、修改列名称

df.rename(columns={\'old\':\'new\'}) #将列名old修改为new

6、删除重复项

df[\'city\'].drop_duplicates() #将city列中的重复值删除，默认保留第一个出现的

df[\'city\'].drop_duplicates(keep=\'last\') #将city列中的重复值删除，默认保留最后一个

7、数值修改及替换

df[\'city\'].replace(\'old\',\'new\') #将city列出现的old值替换为new

四、数据预处理

1、数据表合并

在excel中没有直接完成数据表合并的函数，但可以通过vlookup函数分步实现。在python中可以通过merge函数一次性实现。

df_inner=pd.merge(df1,df2,how=\'inner\') #使用merge函数对两个数据表进行合并，合并的方式为inner，将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为 df_inner。

合并的方式还有left,right,outer:

df_inner=pd.merge(df1,df2,how=\'left\',on=df1[\'\'])

df_inner=pd.merge(df1,df2,how=\'right\',on=df2[\'\'])

df_inner=pd.merge(df1,df2,how=\'outer\')

2、设置索引列

索引列可以进行数据提取、筛选、汇总

df_inner.set_index(\'id\') #设置id列为索引

df_inner.reset_index() #恢复索引

df_inner.set_index(\'age\') #设置age列为索引

3、排序(按索引、按数值)

可以用sort_index()或sort_values(by=[\'特定列\'])按索引或特定列的值排序

df_inner.sort_index() #按索引列排序

df_inner.sort_values(by=[\'age\']) #按特定列的值排序

4、数据分组

df_inner[\'group\']=np.where(df_inner[\'price\']>3000,\'high\',\'low\') #增加group列,对价格进行分组

df_inner.loc[(df_inner[\'city\']==\'Beijing\')&(df_inner[\'price\']>=4000),\'sign\')]=1 #还可以对多个字段的值进行判断后，进行分组.对city列为北京并且price>=4000的数据标记为1

5、数据分列

在python中使用split函数实现分列

df_split=pd.DataFrame((x.split(\'-\') for x in df_inner[\'category\']),index=df_inner.index,columns=[\'category\',\'size\']) #将df_inner表中的category列分成category、size两列，分隔符为‘-’。