题目
王S聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。
解决的终极问题是：电影票房的影响因素有哪些？
接下来我们就分不同的维度分析：
• 观众喜欢什么电影类型？有什么主题关键词？
• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？
本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评分等信息。原始数据集包含 2 个文件：
• tmdb_5000_movies：电影基本信息，包含 20 个变量
• tmdb_5000_credits：演职员信息，包含 4 个变量
请使用 Python 编程，完成下列问题：
（1）使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有哪些？从不同的维度分析电影，讨论并分析你的结果。
（2）附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。
数据清洗
导入数据
credits = pd.read_csv("tmdb_5000_credits.csv")
movies = pd.read_csv(\'tmdb_5000_movies.csv\')
缺失值处理
通过观察可以发现，两个表中存在相同字段。那我们将两张表合并，并找出需要的字段，删去不需要的字段。
# 删除所有不必要的列
del credits[\'title\']
del credits[\'movie_id\']
del movies[\'homepage\']
del movies[\'spoken_languages\']
del movies[\'original_title\']
del movies[\'overview\']
del movies[\'tagline\']
del movies[\'status\']
# 合并两张表
fullDf = pd.concat([movies, credits], axis=1)
查看大表信息
fullDf.info()
缺失记录仅3条，采取网上搜索，补全信息
补全release_data
# 找出release_data列缺失值
nanX2 = fullDf[\'release_date\'].isnull()
fullDf.loc[nanX2, :]
fullDf.loc[4553, \'release_date\'] = \'2014/06/01\'
缺失记录的电影标题为《America Is Still the Place》，日期为2014/06/01。
补全runtime
nanX1 = fullDf[\'runtime\'].isnull()
fullDf.loc[nanX1, :]
# 将查询到的信息填写上去
fullDf.loc[2656, \'runtime\'] = \'98\'
fullDf.loc[4140, \'runtime\'] = \'81\'
缺失记录的电影 runtime 分别为98min 和 81min。
重复值处理
sum(fullDf.duplicated())
# 处理重复值
fullDf.drop_duplicates(subset=[\'id\'], keep=\'first\')
fullDf.info()
运行结果：有4803个不重复的 id，可以认为没有重复数据。
日期值处理
# 将release_date的数据类型改为日期类型
fullDf.loc[:, \'release_date\'] = pd.to_datetime(fullDf.loc[:, \'release_date\'], format=\'%Y-%m-%d\', errors=\'coerce\')
fullDf.info()
筛选数据
使用数据分析师最喜欢的一个语法：
df.describe()
票房、预算、受欢迎程度、评分为0的数据应该去除；
评分人数过低的电影，评分不具有统计意义，筛选评分人数大于50的数据。
df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = \'True\')
json数据转换
json_cols = [\'genres\', \'keywords\', \'production_companies\', \'production_countries\', \'cast\', \'crew\']
for i in json_cols:
fullDf[i] = fullDf[i].apply(json.loads)
def get_names(x):
return ",".join(i[\'name\'] for i in x)
def get_director(x):
for i in x:
if i[\'job\'] == \'Director\':
return i[\'name\']
fullDf[\'genres\'] = fullDf[\'genres\'].apply(get_names)
fullDf[\'keywords\'] = fullDf[\'keywords\'].apply(get_names)
fullDf[\'production_companies\'] = fullDf[\'production_companies\'].apply(get_names)
fullDf[\'production_countries\'] = fullDf[\'production_countries\'].apply(get_names)
fullDf[\'cast\'] = fullDf[\'cast\'].apply(get_names)
fullDf[\'crew\'] = fullDf[\'crew\'].apply(get_director)
数据备份
# 数据备份
fullDf.to_csv("./fullDf.csv", encoding=\'utf-8\', index=False)