竞赛地址：http://www.pkbigdata.com/common/cmpt/%E7%94%A8%E6%88%B7%E8%B4%B7%E6%AC%BE%E9%A3%8E%E9%99%A9%E9%A2%84%E6%B5%8B_%E8%B5%9B%E4%BD%93%E4%B8%8E%E6%95%B0%E6%8D%AE.html
数据探索：
比赛一共提供五张表，分别是：
训练数据：用户基本属性，银行流水记录，用户浏览行为，信用卡账单记录，放款时间，是否逾期
测试数据：用户基本属性，银行流水记录，用户浏览行为，信用卡账单记录，放款时间，用户ID 最后预测这些用户ID是否会逾期
一、用户基本属性
数据一共55596条，包括六个字段（ID，性别，职业，教育程度，婚姻状况，户口类型）可以试着探索各个属性与是否逾期的关系
五个属性的数量分布
fig,ax = plt.subplots(2,3)
fig.set_size_inches(20,12)
p = sns.color_palette()
ax[0][0].bar(训练基本属性表.iloc[:,1].value_counts().index,训练基本属性表.iloc[:,1].value_counts(),color = p[0])
ax[0][0].set_xlabel(训练基本属性表.iloc[:,1].value_counts().name)
ax[0][1].bar(训练基本属性表.iloc[:,2].value_counts().index,训练基本属性表.iloc[:,2].value_counts(),color = p[1])
ax[0][1].set_xlabel(训练基本属性表.iloc[:,2].value_counts().name)
ax[0][2].bar(训练基本属性表.iloc[:,3].value_counts().index,训练基本属性表.iloc[:,3].value_counts(),color = p[2])
ax[0][2].set_xlabel(训练基本属性表.iloc[:,3].value_counts().name)
ax[1][0].bar(训练基本属性表.iloc[:,4].value_counts().index,训练基本属性表.iloc[:,4].value_counts(),color = p[3])
ax[0][0].set_xlabel(训练基本属性表.iloc[:,1].value_counts().name)
ax[1][0].set_xlabel(训练基本属性表.iloc[:,4].value_counts().name)
ax[1][1].bar(训练基本属性表.iloc[:,5].value_counts().index,训练基本属性表.iloc[:,5].value_counts(),color = p[4])
ax[1][1].set_xlabel(训练基本属性表.iloc[:,5].value_counts().name
性别中1的数量明显更多，职业中2的职业也更多，受教育程度更多是3,4，婚姻状况更多是1,3，户口类型较为平均
合并属性表和是否逾期表，查看属性与最终是否逾期之间有无明显关系
是否逾期表中的数据数量也是55596条，取值分别是0,1 其中0的标签数量明显多于1
看看用户的属性不同，逾期的比例是不是也不同，这里使用了逾期率
根据前面我们知道：性别中1的数量明显更多，职业中2的职业也更多，受教育程度更多是3,4，婚姻状况更多是1,3，户口类型较为平均
在逾期情况中发现，性别未知的逾期比例最高，2职业最多但是逾期最少，估计是白领。婚姻状况最多是1,3，逾期中最高的是0,5估计是离异等
以上就是全部的属性这个表的分析，接下来看看别的表
二、银行流水记录
银行流水记录表，表中主要是用户支出收入以及工资收入情况，汇总用户的这段时间的总收入总支出合并到前面的统计属性表中去，主要的明细还是支出，数据一共六百多万条
#统计每个用户的支出，收入，工资收入合并到属性表中去 用户支出 = 训练银行流水记录表[训练银行流水记录表[\'交易类型\'] == 1].groupby(\'用户ID\',as_index=False)[\'交易金额\'].agg({\'支出次数\':np.size,\'支出总金额\':np.sum}) 用户收入 = 训练银行流水记录表[训练银行流水记录表[\'交易类型\'] == 0].groupby(\'用户ID\',as_index=False)[\'交易金额\'].agg({\'收入次数\':np.size,\'收入总金额\':np.sum}) 工资收入 = 训练银行流水记录表[训练银行流水记录表[\'工资收入标记\'] == 1].groupby(\'用户ID\',as_index=False)[\'交易金额\'].agg({\'工资收入次数\':np.size,\'工资总金额\':np.sum})
统计属性银行流水表 = pd.merge(统计属性表,用户支出,how=\'left\') 统计属性银行流水表 = pd.merge(统计属性银行流水表,用户收入,how=\'left\') 统计属性银行流水表 = pd.merge(统计属性银行流水表,工资收入,how=\'left\')
并不是每个用户都有这些数据，所以记得连接时候要用left啊，然后缺失值我们用0填充
#看看支出，收入，工资收入与是否逾期的关系 fig,ax = plt.subplots(2,3) fig.set_size_inches(18,12) ax[0][0].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'支出次数\'],color = p[0]) ax[0][0].set_xlabel(\'支出次数\') ax[1][0].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'支出总金额\'],color = p[1]) ax[1][0].set_xlabel(\'支出总金额\') ax[0][1].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'收入次数\'],color = p[2]) ax[0][1].set_xlabel(\'收入次数\') ax[1][1].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'收入总金额\'],color = p[3]) ax[1][1].set_xlabel(\'收入总金额\') ax[0][2].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'工资收入次数\'],color = p[4]) ax[0][2].set_xlabel(\'工资收入次数\') ax[1][2].scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'工资总金额\'],color = p[5]) ax[1][2].set_xlabel(\'工资总金额\')
在逾期1中发现收入次数和收入总金额明显少于0的，而在支出中相比差别不大。在支出相差不多情况下，收入越少自然逾期概率越大
#还可以增加一个收入-支出的指数 统计属性银行流水表[\'净收入\'] = 统计属性银行流水表[\'收入总金额\'] - 统计属性银行流水表[\'支出总金额\'] fig,ax = plt.subplots() fig.set_size_inches(6,6) ax.scatter(统计属性银行流水表[\'样本标签\'],统计属性银行流水表[\'净收入\'])
以上就是银行流水记录表，如果想要研究还可以看看各个性别，职业，教育水平的工资、收入、支出等信息对比，这里由于研究的主要是逾期情况，因此主要跟逾期情况做对比
三、信用卡账单记录表
一共两百多万条数据，十五个字段，