数据分析08 /数据分析综合项目-用户消费行为分析

liubing8

数据分析08 /数据分析综合项目-用户消费行为分析

目录

第一部分：数据类型处理

  • 数据加载

    • 字段含义：
      • user_id:用户ID
      • order_dt:购买日期
      • order_product:购买产品的数量
      • order_amount:购买金额

  • 观察数据

    • 查看数据的数据类型

    • 数据中是否存储在缺失值

    • 将order_dt转换成时间类型

    • 查看数据的统计描述

      • 计算所有用户购买商品的平均数量
      • 计算所有用户购买商品的平均花费

    • 在源数据中添加一列表示月份:astype(\'datetime64[M]\')

  • 代码实现：

    import pandas as pd
import matplotlib.pyplot as plt

    加载数据

    df = pd.read_csv(\'./data/CDNOW_master.txt\',header=None,sep=\'\s+\',names=[\'user_id\',\'order_dt\',\'order_product\',\'order_amount\'])

# \s+表示任意多个空串值
# names指定原数据的列索引

    查看数据的数据类型

    df.info()

# 1.原数据中没有空值
# 2.order_dt不是时间类型

"""
<class \'pandas.core.frame.DataFrame\'>
RangeIndex: 69659 entries, 0 to 69658
Data columns (total 4 columns):
user_id          69659 non-null int64
order_dt         69659 non-null int64
order_product    69659 non-null int64
order_amount     69659 non-null float64
dtypes: float64(1), int64(3)
memory usage: 2.1 MB
"""

    将order_dt转成时间序列类型

    df[\'order_dt\'] = pd.to_datetime(df[\'order_dt\'],format=\'%Y%m%d\')
df.info()

    查看原始数据的统计描述

    df.describe()

    在源数据中添加一列表示月份

    df[\'month\'] = df[\'order_dt\'].values.astype(\'datetime64[M]\')
df.head()

# datetime64[M]表示的月份类型

第二部分：按月数据分析

  • 用户每月花费的总金额

    • 绘制曲线图展示

  • 所有用户每月的产品购买量

  • 所有用户每月的消费总次数

  • 统计每月的消费人数

  • 代码实现：

    用户每月花费的总金额

    df.groupby(by=\'month\')[\'order_amount\'].sum()

# 绘制线形图
df.groupby(by=\'month\')[\'order_amount\'].sum().plot()

# 可以直接.plot生成线性图

    用户每月花费的总金额

    所有用户每月的产品购买量

    df.groupby(by=\'month\')[\'order_product\'].sum()

# 绘制线性图
df.groupby(by=\'month\')[\'order_product\'].sum().plot()

    所有用户每月的消费总次数(用户在原数据中出现一次表示消费一次)

    df.groupby(by=\'month\')[\'user_id\'].count()

    统计每月的消费人数

    # 方式一：通过nunique
df.groupby(by=\'month\')[\'user_id\'].nunique()
# nunique()统计去重之后的数量

# 方式2：分组的高级聚合
df.groupby(by=\'month\')[\'user_id\'].apply(lambda x:len(x.drop_duplicates()))

第三部分：用户个体消费数据分析

  • 用户消费总金额和消费总次数的统计描述

  • 用户消费金额和消费次数的散点图

  • 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)

  • 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

  • 代码实现：

    用户消费总金额和购买总数数量的统计描述

    user_datas = df.groupby(by=\'user_id\').sum()
df.groupby(by=\'user_id\').sum().describe()

    用户消费金额和消费次数的散点图

    plt.scatter(user_datas[\'order_product\'],user_datas[\'order_amount\'])
plt.xlabel(\'order_product\')
plt.ylabel(\'order_amount\')

    各个用户消费总金额的直方分布图(消费金额在1000之内的分布)

    # 筛选各个用户消费总金额
df.groupby(by=\'user_id\')[\'order_amount\'].sum()

# 筛选各个用户消费总金额在1000之内的
user_amount = df.groupby(by=\'user_id\').sum().query(\'order_amount < 1000\')[\'order_amount\']

# 绘制直方分布图
plt.hist(user_amount,bins=20)

    各个用户消费总购买商品的数量的直方分布图(消费商品的数量在100次之内的分布)

    user_product = df.groupby(by=\'user_id\').sum().query(\'order_product < 100\')[\'order_product\']
plt.hist(user_product,bins=20)

第四部分：用户消费行为分析

  • 用户第一次消费的月份分布和人数统计

    • 绘制线形图

  • 用户最后一次消费的时间分布和人数统计

    • 绘制线形图

  • 新老客户的占比

    • 消费一次为新用户
    • 消费多次为老用户
      • 分析出每一个用户的第一个消费和最后一次消费的时间
        • agg([\'func1\',\'func2\']):对分组后的结果进行指定聚合
      • 分析出新老客户的消费比例

  • 用户分层

    • 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
    • RFM模型设计
      • R表示客户最近一次交易时间的间隔。
        • /np.timedelta64(1,\'D\')：去除days
      • F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
      • M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
      • 将R，F，M作用到rfm表中
    • 根据价值分层，将用户分为：
      • 重要价值客户
      • 重要保持客户
      • 重要挽留客户
      • 重要发展客户
      • 一般价值客户
      • 一般保持客户
      • 一般挽留客户
      • 一般发展客户
        • 使用已有的分层模型即可rfm_func

  • 分析

    • 首购时间：将用户消费时间的最小值求出，这个值就是该用户第一次消费的时间
    • 最后一次消费时间：将用户消费时间的最大值求出，这个值就是该用户最后一次消费的时间

  • 代码实现：

    用户第一次消费的月份分布和人数统计

    df.groupby(by=\'user_id\')[\'month\'].min()   # 用户第一次消费的月份分布
df.groupby(by=\'user_id\')[\'month\'].min().value_counts()   # 统计每个月第一次消费用的人数

# 将首购对应的月份分布绘图
df.groupby(by=\'user_id\')[\'month\'].min().value_counts().plot()

    用户最后一次消费的时间分布和人数统计

    df.groupby(by=\'user_id\')[\'month\'].max()
df.groupby(by=\'user_id\')[\'month\'].max().value_counts()

# 绘图
df.groupby(by=\'user_id\')[\'month\'].max().value_counts().plot()

    求出新老用户的占比

    # 求出新老用户的占比
# 新用户：一次消费的用户
# 老用户：多次消费的用户
# 核心思路：将每一个用户的首购时间和最后一次消费时间求出，判断这两个时间是否一致
    # 一致：新用户
    # 不一致：老用户
    
# agg分组后进行多种不同形式的聚合操作
user_left = df.groupby(by=\'user_id\')[\'order_dt\'].agg([\'min\',\'max\'])
user_left[\'min\'] == user_left[\'max\']   # true：新用户，False：老用户
user = (user_left[\'min\'] == user_left[\'max\']).value_counts()   # 求出true和false的个数
old = user[0]
new = user[1]
new/old

    分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm

    rfm = df.pivot_table(index=\'user_id\',aggfunc={\'order_product\':\'sum\',\'order_amount\':\'sum\',\'order_dt\':\'max\'})
rfm.head()

    RFM模型设计

    import numpy as np

# R表示客户最近一次交易时间的间隔
rfm[\'R\'] = -(rfm[\'order_dt\'] - rfm[\'order_dt\'].max())/np.timedelta64(1,\'D\')
rfm.head()
# /np.timedelta64(1,\'D\')为了去除days

# 修改order_amount、order_product的列索引
rfm.rename(columns={\'order_amount\':"M",\'order_product\':\'F\'},inplace=True)

    根据价值分层

    def rfm_func(x):
    # 存储的是三个字符串形式的0或者1
    level = x.map(lambda x :\'1\' if x >= 0 else \'0\')
    label = level.R + level.F + level.M
    d = {
        \'111\':\'重要价值客户\',
        \'011\':\'重要保持客户\',
        \'101\':\'重要挽留客户\',
        \'001\':\'重要发展客户\',
        \'110\':\'一般价值客户\',
        \'010\':\'一般保持客户\',
        \'100\':\'一般挽留客户\',
        \'000\':\'一般发展客户\'
    }
    result = d[label]
    return result
# df.apply(func):可以对df中的行或者列进行某种（func）形式的运算
rfm[\'label\'] = rfm[[\'R\',\'F\',\'M\']].apply(lambda x : x - x.mean()).apply(rfm_func,axis = 1)
rfm.head()

    统计不同层次用户的个数

    rfm.groupby(by=\'label\').count()

第五部分：用户的生命周期

  • 将用户划分为活跃用户和其他用户

    • 统计每个用户每个月的消费次数
    • 统计每个用户每个月是否消费，消费记录为1否则记录为0
      • 知识点：DataFrame的apply和applymap的区别
        • applymap:返回df
        • 将函数做用于DataFrame中的所有元素(elements)
        • apply:返回Series
        • apply()将一个函数作用于DataFrame中的每个行或者列
    • 将用户按照每一个月份分成：
      • unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户）
      • unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户
      • new:当前月就进行首次购买的用户在当前月为新用户
      • active:连续月份购买的用户在这些月中为活跃用户
      • return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

  • 代码实现：

    统计每个用户每个月的消费次数

    user_order_count_df = df.pivot_table(index=\'user_id\',values=\'order_dt\',aggfunc=\'count\',columns=\'month\').fillna(0)

    统计每个用户每个月是否消费，消费记录为1否则记录为0

    # 将上个需求返回的df中每一个元素（用户的消费次数）进行运算（如果元素值>=1说明消费记为1，否则记为0）
df_purchase = user_order_count_df.applymap(lambda x:1 if x >= 1 else 0)
df_purchase   # 存储的就是用户每个月的是否消费的情况展示

    将df_purchase中的原始数据0和1修改为new，unactive......,返回新的df叫做df_purchase_new

    # 固定算法
def active_status(data):
    status = []   # 某个用户每一个月的活跃度
    for i in range(18):
        
        # 若本月没有消费
        if data[i] == 0:
            if len(status) > 0:
                if status[i-1] == \'unreg\':
                    status.append(\'unreg\')
                else:
                    status.append(\'unactive\')
            else:
                status.append(\'unreg\')
                    
        # 若本月消费
        else:
            if len(status) == 0:
                status.append(\'new\')
            else:
                if status[i-1] == \'unactive\':
                    status.append(\'return\')
                elif status[i-1] == \'unreg\':
                    status.append(\'new\')
                else:
                    status.append(\'active\')
    return status

pivoted_status = df_purchase.apply(active_status,axis = 1) 
pivoted_status.head()

    每月【不同活跃】用户的计数

    pivoted_status.apply(lambda x:pd.value_counts(x),axis=0).fillna(0)

    转置进行最终结果的查看

    pivoted_status.apply(lambda x:pd.value_counts(x),axis=0).fillna(0).T

分类：

技术点：

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode