5-python数据分析-综合项目分析

第一部分：数据类型处理

• 数据加载
  • 字段含义：
    • user_id:用户ID
    • order_dt:购买日期
    • order_product:购买产品的数量
    • order_amount:购买金额
• 观察数据
  • 查看数据的数据类型
  • 数据中是否存储在缺失值
  • 将order_dt转换成时间类型
  • 查看数据的统计描述
  • 在源数据中添加一列表示月份:astype(\'datetime64[M]\')

加载数据

# 加载数据 原数据存在多空格分割，这里使用\s作为分割符
df = pd.read_csv(\'./CDNOW_master.txt\', header=None, sep=\'\s+\', names=[\'user_id\', \'order_dt\',\'order_product\',\'order_amount\'])

df.shape
(69659, 4)

查看数据的数据类型

df.info()
<class \'pandas.core.frame.DataFrame\'>
RangeIndex: 69659 entries, 0 to 69658
Data columns (total 4 columns):
user_id          69659 non-null int64
order_dt         69659 non-null int64
order_product    69659 non-null int64
order_amount     69659 non-null float64
dtypes: float64(1), int64(3)
memory usage: 2.1 MB

数据中是否存储在缺失值

# 其实由上边info信息就可以确定没有确实值
df.isnull().any(axis=0)

user_id          False
order_dt         False
order_product    False
order_amount     False
dtype: bool

将order_dt转换成时间类型

df[\'order_dt\'] = pd.to_datetime(df[\'order_dt\'], format=\'%Y%m%d\')

　

查看数据的统计描述

df.describe()

　

在源数据中添加一列表示月份:astype(\'datetime64[M]\')

df[\'month\'] = df[\'order_dt\'].astype(\'datetime64[M]\')

　

第二部分：按月数据分析

• 用户每月花费的总金额
  • 绘制曲线图展示
• 所有用户每月的产品购买量
• 所有用户每月的消费总次数
• 统计每月的消费人数

用户每月花费的总金额

• 绘制曲线图展示

month_user_amount = df.groupby(by=\'month\')[\'order_amount\'].sum()

month_user_amount.plot()  # 绘图方式一

　

plt.plot(month_user_amount)   # 绘图方式二   俩种都可以
plt.xticks(rotation=30)

　

所有用户每月的产品购买量

df.groupby(by=\'month\')[\'order_product\'].sum()
month
1997-01-01    19416
1997-02-01    24921
1997-03-01    26159
1997-04-01     9729
1997-05-01     7275
1997-06-01     7301
1997-07-01     8131
1997-08-01     5851
1997-09-01     5729
1997-10-01     6203
1997-11-01     7812
1997-12-01     6418
1998-01-01     5278
1998-02-01     5340
1998-03-01     7431
1998-04-01     4697
1998-05-01     4903
1998-06-01     5287
Name: order_product, dtype: int64

所有用户每月的消费总次数

df.groupby(by=\'month\')[\'user_id\'].count()

month
1997-01-01     8928
1997-02-01    11272
1997-03-01    11598
1997-04-01     3781
1997-05-01     2895
1997-06-01     3054
1997-07-01     2942
1997-08-01     2320
1997-09-01     2296
1997-10-01     2562
1997-11-01     2750
1997-12-01     2504
1998-01-01     2032
1998-02-01     2026
1998-03-01     2793
1998-04-01     1878
1998-05-01     1985
1998-06-01     2043
Name: user_id, dtype: int64

统计每月的消费人数

# 这里需要对用户去重求和
df.groupby(by=\'month\')[\'user_id\'].nunique()

month
1997-01-01    7846
1997-02-01    9633
1997-03-01    9524
1997-04-01    2822
1997-05-01    2214
1997-06-01    2339
1997-07-01    2180
1997-08-01    1772
1997-09-01    1739
1997-10-01    1839
1997-11-01    2028
1997-12-01    1864
1998-01-01    1537
1998-02-01    1551
1998-03-01    2060
1998-04-01    1437
1998-05-01    1488
1998-06-01    1506
Name: user_id, dtype: int64

第三部分：用户个体消费数据分析

• 所有用户消费总金额和消费总购买量的统计描述
• 各个用户消费金额和消费产品数量的散点图
• 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
• 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

所有用户消费总金额和消费总购买量的统计描述

# 总金额
df[\'order_amount\'].sum()  # 2500315.6300000004

# 总购买量
df[\'order_product\'].sum()  # 167881

各个用户消费金额和消费产品数量的散点图

# 各个用户消费金额
user_amount = df.groupby(\'user_id\')[\'order_amount\'].sum()
# 各个用户消费数量
user_product = df.groupby(\'user_id\')[\'order_product\'].sum() 

plt.scatter(user_amount,user_product)

各个用户消费总金额的直方分布图(消费金额在1000之内的分布)

user_amount_1000 = df.query(\'order_amount<=1000\').groupby(\'user_id\')[\'order_amount\'].sum()

plt.hist(user_amount_1000,bins=20)

　

各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

user_product_100 = df.query(\'order_product<=100\').groupby(\'user_id\')[\'order_product\'].sum()

plt.hist(user_product_100, bins=20)

　

df有两个常用方法

• apply:可以作为df的运算工具，运算df的行或者列
• applymap:针对df中每一个元素进行指定形式的运算

第四部分：用户消费行为分析

• 用户第一次消费的月份分布，和人数统计
  • 绘制线形图
• 用户最后一次消费的时间分布，和人数统计
  • 绘制线形图
• 新老客户的占比
  • 消费一次为新用户
  • 消费多次为老用户
    • 分析出每一个用户的第一个消费和最后一次消费的时间
      • agg([\'func1\',\'func2\']):对分组后的结果进行指定多种形式的聚合
    • 分析出新老客户的消费比例
• 用户分层
  • 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
  • RFM模型设计
    • R表示客户最近一次交易时间的间隔。
      • /np.timedelta64(1,\'D\')：去除days
    • F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
    • M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
    • 将R，F，M作用到rfm表中
  • 根据价值分层，将用户分为：
    • 重要价值客户
    • 重要保持客户
    • 重要挽留客户
    • 重要发展客户
    • 一般价值客户
    • 一般保持客户
    • 一般挽留客户
    • 一般发展客户
      • 使用已有的分层模型即可rfm_func

用户第一次消费的月份分布，和人数统计

• 绘制线形图

min_month_amount = df.groupby(by=\'user_id\')[\'month\'].min().value_counts()

1997-02-01    8476
1997-01-01    7846
1997-03-01    7248
Name: month, dtype: int64

min_month_amount.plot()

用户最后一次消费的时间分布，和人数统计

• 绘制线形图

last_user_amount = df.groupby(by=\'user_id\')[\'month\'].max().value_counts()

1997-02-01    4912
1997-03-01    4478
1997-01-01    4192
1998-06-01    1506
1998-05-01    1042
1998-03-01     993
1998-04-01     769
1997-04-01     677
1997-12-01     620
1997-11-01     609
1998-02-01     550
1998-01-01     514
1997-06-01     499
1997-07-01     493
1997-05-01     480
1997-10-01     455
1997-09-01     397
1997-08-01     384
Name: month, dtype: int64

last_user_amount.plot()

新老客户的占比

new_old = df.groupby(by=\'user_id\')[\'order_dt\'].agg([\'min\',\'max\'])

(new_old[\'min\'] == new_old[\'max\']).value_counts()
True     12054
False    11516
dtype: int64

新老用户占比：12054:11516近似1:1

用户分层

• 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
• RFM模型设计
  • R表示客户最近一次交易时间的间隔。
    • /np.timedelta64(1,\'D\')：去除days
  • F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
  • M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
  • 将R，F，M作用到rfm表中
• 根据价值分层，将用户分为：
  • 重要价值客户
  • 重要保持客户
  • 重要挽留客户
  • 重要发展客户
  • 一般价值客户
  • 一般保持客户
  • 一般挽留客户
  • 一般发展客户
    • 使用已有的分层模型即可rfm_func

分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm

# 根据user_id,取出每个用户的总消费金额，数量，最后一次消费时间透视表
rfm = df.pivot_table(index=\'user_id\', aggfunc={\'order_product\':\'sum\',\'order_amount\':\'sum\',\'order_dt\':\'max\'})

# 消费时间间隔相减后会后带有days，需要除以np.timedelta64(1,\'D\')去掉days
rfm[\'R\'] = (df[\'order_dt\'].max()-rfm[\'order_dt\'])/np.timedelta64(1,\'D\')

rfm = rfm[[\'R\',\'order_amount\',\'order_product\']]
rfm.columns = [\'R\',\'F\',\'M\']

　

rfm分层算法

def rfm_func(x):
    #存储存储的是三个字符串形式的0或者1
    level = x.map(lambda x :\'1\' if x >= 0 else \'0\')
#     M \'0\'
#     F \'0\'
#     R \'1\'
    label = level[\'R\'] + level.F + level.M
    d = {
        \'111\':\'重要价值客户\',
        \'011\':\'重要保持客户\',
        \'101\':\'重要挽留客户\',
        \'001\':\'重要发展客户\',
        \'110\':\'一般价值客户\',
        \'010\':\'一般保持客户\',
        \'100\':\'一般挽留客户\',
        \'000\':\'一般发展客户\'
    }
    result = d[label]
    return result
#df.apply(func):可以对df中的行或者列进行某种（func）形式的运算
rfm[\'label\'] = rfm.apply(lambda x : x - x.mean(),axis=0).apply(rfm_func,axis=1)
rfm.head()

第五部分：用户的生命周期

• 将用户划分为活跃用户和其他用户
  • 统计每个用户每个月的消费次数
  • 统计每个用户每个月是否消费，消费记录为1否则记录为0
    • 知识点：DataFrame的apply和applymap的区别
      • applymap:返回df
      • 将函数做用于DataFrame中的所有元素(elements)
      • apply:返回Series
      • apply()将一个函数作用于DataFrame中的每个行或者列
  • 将用户按照每一个月份分成：
    • unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
    • unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
    • new:当前月就进行首次购买的用户在当前月为新用户
    • active:连续月份购买的用户在这些月中为活跃用户
    • return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

统计每个用户每个月的消费次数

# values可以指定除user_id和month的任意一个，用来计数
df_purchase = df.pivot_table(index=\'user_id\',values=\'order_amount\',aggfunc=\'count\',columns=\'month\',fill_value=0)
df_purchase.head()

统计每个用户每个月是否消费，消费记录为1否则记录为0

df_purchase = df_purchase.applymap(lambda x:1 if x>0 else 0)

　

将用户按照每一个月份分成

#将df_purchase中的原始数据0和1修改为new，unactive......,返回新的df叫做df_purchase_new
#固定算法
def active_status(data):
    status = []#某个用户每一个月的活跃度
    for i in range(18):
        
        #若本月没有消费
        if data[i] == 0:
            if len(status) > 0:
                if status[i-1] == \'unreg\':
                    status.append(\'unreg\')
                else:
                    status.append(\'unactive\')
            else:
                status.append(\'unreg\')
                    
        #若本月消费
        else:
            if len(status) == 0:
                status.append(\'new\')
            else:
                if status[i-1] == \'unactive\':
                    status.append(\'return\')
                elif status[i-1] == \'unreg\':
                    status.append(\'new\')
                else:
                    status.append(\'active\')
    return status

pivoted_status = df_purchase.apply(active_status,axis = 1) 
pivoted_status.head()

user_id
1    [new, unactive, unactive, unactive, unactive, ...
2    [new, unactive, unactive, unactive, unactive, ...
3    [new, unactive, return, active, unactive, unac...
4    [new, unactive, unactive, unactive, unactive, ...
5    [new, active, unactive, return, active, active...
dtype: object

# 将上边得到的1维数据,转化为二维数据制成新的用户活跃表
df_purchase_new = DataFrame(data=pivoted_status.tolist(),index=df_purchase.index,columns=df_purchase.columns)

　

每月【不同活跃】用户的计数

• purchase_status_ct = df_purchase_new.apply(lambda x : pd.value_counts(x)).fillna(0)
• 转置进行最终结果的查看

df_purchase_new.apply(lambda x:pd.value_counts(x),axis=0).fillna(0)

df_purchase_new.apply(lambda x:pd.value_counts(x),axis=0).fillna(0).T