项目背景：
客户是一个电影制作的新公司，他们将制作一部新电影。客户想确保电影能够成功，从而使新公司立足市场。
提出问题：
- 电影类型是如何随着时间的推移发生变化的？
- Universal Pictures 和 Paramount Pictures
之间的对比情况如何？ - 改编电影和原创电影的对比情况如何？
- 电影页面查看次数与评分次数的相关关系？
理解数据：
数据来源
数据来源于Kaggle项目数据
TMDB 5000 Movie Dataset
导入数据
import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
moviesDf = pd.read_csv("../input/tmdb_5000_movies.csv")
creditsDf = pd.read_csv("../input/tmdb_5000_credits.csv")
moviesDf.head(2)
creditsDf.head()
观察得知，movies中的id列和credits中的movie_id列呈对应关系，因此链接合并两个数据集。
fullDf = pd.merge(moviesDf,creditsDf,right_on=\'movie_id\',left_on=\'id\',how=\'left\')
fullDf.head(2)
查看数据集的行列数，描述统计信息，缺失情况，各列数据类型
# fullDf.shape //查看数据集行列数
# fullDf.describe() //描述统计情况，查看最小值，异常值
fullDf.info() //查看缺失值情况，以及各列的数据类型
经观察，budget、vote_count、
vote_average、revenue最小值为0，列中可能有异常值；homepage、overview、release_date、runtime、tagline列均有数据缺失
数据清洗
数据预处理
- 选择子集
选择需要进行分析的数据列作为数据子集 - 列名重命名
fullDf = fullDf[[\'id\',\'popularity\',\'budget\',\'revenue\',\'original_language\',\'spoken_languages\',\'cast\',\'crew\',\'title_x\',\'status\',\'keywords\',\'runtime\',\'genres\',\'production_companies\',\'release_date\',\'vote_count\',\'vote_average\']]
titleDict={\'title_x\':\'title\'}
fullDf.rename(columns=titleDict,inplace=True)
- 缺失数据处理
fullDf.loc[fullDf["release_date"].isnull(),\'title\']
fullDf[\'release_date\'] = fullDf[\'release_date\'].fillna(\'2014-06-01\') #查询到空白数据的实际上映时间
fullDf[\'runtime\'] = fullDf[\'runtime\'].fillna(fullDf[\'runtime\'].mean()) #均值填充
- 数据类型转换
将json格式的字符串转换为python格式的字符串
在这里遇到了很多问题，如json.load()和json.loads()的区别
json.loads()
将json格式的字符串解码转换成Python对象
json.dumps()
实现python类型转换为json字符串，返回一个str对象
json.dump()
将python内置类型序列化为json对象后写入文件
json.load()
读取json形式的字符串元素，转换为python类型
import json
json_col = [\'genres\',\'keywords\',\'crew\',\'production_companies\',\'production_countries\',\'spoken_languages\',\'cast\']
for i in json_col:
fullDf[i]=fullDf[i].apply(json.loads)
for index,i in zip(fullDf.index,fullDf[\'genres\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'genres\']=str(list1)
for index,i in zip(fullDf.index,fullDf[\'keywords\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'keywords\']=str(list1)
for index,i in zip(fullDf.index,fullDf[\'crew\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
for index,i in zip(fullDf.index,fullDf[\'production_companies\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'production_companies\']=str(list1)
for index,i in zip(fullDf.index,fullDf[\'production_countries\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'production_countries\']=str(list1)
for index,i in zip(fullDf.index,fullDf[\'spoken_languages\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'spoken_languages\']=str(list1)
for index,i in zip(fullDf.index,fullDf[\'cast\']):
list1=[]
for j in range(len(i)):
list1.append((i[j][\'name\']))
fullDf.loc[index,\'cast\']=str(list1)
将日期的datetime数据类型转换为日期，并提取出年份月份
fullDf[\'release_year\']=pd.to_datetime(fullDf[\'release_date\'],format=\'%Y-%m-%d\').dt.year
fullDf[\'release_month\']=pd.to_datetime(fullDf[\'release_date\'],format=\'%Y-%m-%d\').dt.month
fullDf.drop(columns=[\'release_date\'])
- 数据排序
按照发行年月进行升序排列
fullDf=fullDf.sort_values(by=[\'release_year\',\'release_month\'],ascending=\'True\')
fullDf=fullDf.reset_index(drop=\'True\')
fullDf.drop(columns=[\'release_date\'])
- 异常值处理
将最小值0用平均值填充
fullDf[\'budget\']=fullDf[\'budget\'].replace(0,fullDf[\'budget\'].mean())
fullDf[\'vote_count\']=fullDf[\'vote_count\'].replace(0,fullDf[\'vote_count\'].mean())
fullDf[\'revenue\']=fullDf[\'revenue\'].replace(0,fullDf[\'revenue\'].mean())
fullDf[\'vote_average\']=fullDf[\'vote_average\'].replace(0,fullDf[\'vote_average\'].mean())
fullDf.drop(columns=[\'release_date\'])
提取特征——数据分类
- 数值类型的数据：
id、popularity、budget、revenue、runtime、vote_count、vote_average - 时间序列数据：
release_date，已转换为单独的年份release_year、月份列release_month - 分类数据：
有直接类别的数据：
status，original_language
字符串类型：
spoken_languages、cast、crew、genres、 production_companies、production_countries
构建模型
- 电影类型随着时间的推移发生的变化
#电影类型是如何随着时间的推移发生变化的？
#选取年份及某种类型电影的数量分别作为X及Y轴
#提取年份范围
min_year=fullDf[\'release_year\'].min()
max_year=fullDf[\'release_year\'].max()
#提取电影类型
fullDf[\'genres\']=fullDf[\'genres\'].str.strip(\'[]\').str.replace(\' \',\'\').str.replace("\'",\'\')
fullDf[\'genres\']=fullDf[\'genres\'].str.split(\',\')
liste_genres=set()
for s in fullDf[\'genres\']:
liste_genres=set().union(s,liste_genres)
liste_genres=list(liste_genres)
#构建模型
genre_df=pd.DataFrame(index=liste_genres,columns=range(min_year,max_year+1))
genre_df=genre_df.fillna(value=0)
year=np.array(fullDf[\'release_year\'])
z=0
for i in fullDf[\'genres\']:
split_genre=list(i)
for j in split_genre:
genre_df.loc[j,year[z]]=genre_df.loc[j,year[z]]+1
z+=1
genre_df
选取数量排在前11名的电影类型，选取1970年以后的数据
genre_df=genre_df.sort_values(by=2005,ascending=False)
genre_df=genre_df.iloc[0:10,-48:-1]
genre_df
import matplotlib.pyplot as plt
plt.figure(figsize=(18,10))
plt.plot(genre_df.T)
plt.title(\'Genres change over Time\',fontsize=18)
plt.xticks(range(1970,2020,5))
plt.legend(genre_df.T)
plt.show
- 比较Universal Pictures和Paramount Pictures两家公司发行的电影类型
# Universal Pictures和Paramount Pictures之间的对比情况如何？
# 以两家公司名标记制作公司栏
for i in fullDf[\'production_companies\']:
if \'Paramount Pictures\' in i:
i = \'Paramount Pictures\'
elif \'Universal Pictures\' in i:
i = \'Universal Pictures\'
else:
i = \'\'
fullDf[\'production_companies\'] = fullDf[\'production_companies\'].str.strip(\'[]\').str.replace("\'",\'\')
parDf = fullDf.loc[fullDf[\'production_companies\']==\'Paramount Pictures\']
uniDf = fullDf.loc[fullDf[\'production_companies\']==\'Universal Pictures\']
com_gen_df=pd.DataFrame(index=liste_genres,columns=[\'Paramount\',\'Universal\'])
com_gen_df=com_gen_df.fillna(value=0)
for i in parDf[\'genres\']:
split_genre = list(i)
for j in split_genre:
com_gen_df.loc[j,\'Paramount\']=com_gen_df.loc[j,\'Paramount\']+1
for i in uniDf[\'genres\']:
split_genre = list(i)
for j in split_genre:
com_gen_df.loc[j,\'Universal\']=com_gen_df.loc[j,\'Universal\']+1
com_gen_df.head()
# 选取排名前10的电影类型
com_gen_df=com_gen_df.sort_values(by=\'Paramount\',ascending=False)
Par_gen_df=com_gen_df.iloc[0:9,]
com_gen_df=com_gen_df.sort_values(by=\'Universal\',ascending=False)
Uni_gen_df=com_gen_df.iloc[0:9,]
# 绘图
fig=plt.figure(\'Paramount VS Universal\',figsize=(13,6))
ax=fig.add_subplot(121)
ax.set_title(\'Paramount Top 10 Genres\')
ax.pie(x=Par_gen_df[\'Paramount\'],labels=Par_gen_df.index,shadow=True,autopct="%1.1f%%",labeldistance=1.1,startangle=90,pctdistance=0.6)
ax=fig.add_subplot(122)
ax.set_title(\'Universal Top 10 Genres\')
ax.pie(x=Uni_gen_df[\'Universal\'],labels=Uni_gen_df.index,shadow=True,autopct="%1.1f%%",labeldistance=1.1,startangle=90,pctdistance=0.6)
plt.show()
- 原创电影和改编电影之间的对比情况如何？
# 改编电影adaption和原创电影original对比情况如何
a=\'based on novel\'
fullDf[\'if_original\']=fullDf[\'keywords\'].str.contains(a).apply(lambda x:\'no_original\' if x else \'original\')
key_count=fullDf[\'if_original\'].value_counts()
plt.figure(figsize=(6,6))
plt.title(\'The proportion of Adaption & Original Film\')
plt.pie(x=key_count,labels=key_count.index,labeldistance=1.1,autopct=\'%1.1f%%\')
plt.show()
- 评分次数和电影页面查看次数的相关关系如何？
# 建立模型vote_count与popularity相关系数为0.77
x = fullDf[\'vote_count\']
y = fullDf[\'popularity\']
# 拆分训练数据和测试数据
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.8)
plt.scatter(x_train,y_train,color=\'blue\',label=\'train\')
plt.scatter(x_test,y_test,color=\'red\',label=\'test\')
plt.xlabel(\'vote_count\',fontsize=12)
plt.ylabel(\'popularity\',fontsize=12)
plt.legend(loc=2)
plt.show()
# 导入模型
from sklearn.linear_model import LinearRegression
x_train=x_train.values.reshape(-1,1)
x_test=x_test.values.reshape(-1,1)
trainmodel=LinearRegression()
trainmodel.fit(x_train,y_train)
# 最佳拟合线 a=截距 b=回归系数
a=trainmodel.intercept_
b=trainmodel.coef_
print(a,b)
7.769665509560758 [0.01948283]
plt.scatter(x_train,y_train,color=\'blue\',label=\'train\')
y_train_pred=trainmodel.predict(x_train)
plt.plot(x_train,y_train_pred,color=\'black\',label=\'best lines\')
plt.xlabel(\'vote_count\',fontsize=12)
plt.ylabel(\'popularity\',fontsize=12)
plt.legend(loc=1)
plt.show()
# 评估模型
trainmodel.score(x_test,y_test)
0.6055473056494662