关系网络数据可视化：2. Python数据预处理

 

将数据中导演与演员的关系整理出来，得到导演与演员的关系数据，并统计合作次数

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
% matplotlib inline

import warnings
warnings.filterwarnings(\'ignore\') 
# 不发出警告

# 读取数据

import os
# os.chdir(\'C:/Users/Hjx/Desktop/\')
os.chdir(r\'C:\Users\Administrator\Desktop\ch0304_data\')
df = pd.read_excel(\'豆瓣电影数据.xlsx\',sheetname=0,header=0)
print(\'数据总共%i条\' % len(df))
print(\'数据字段为：\n\',df.columns.tolist())
df.head(2)
# 查看数据

#数据清洗
data = df[[\'name\', \'导演\', \'主演\']]
data.dropna(inplace = True)
data.head()

data_yy = data[\'主演\'].str.split(\'/ \', expand=True)  
col_len1 = len(data_yy.columns)
data_yy.columns = [\'yy\'+str(i) for i in range(col_len1)]
data_yy.head()

data_dy = data[\'导演\'].str.split(\'/ \', expand=True)  
col_len2 = len(data_dy.columns)
data_dy.columns = [\'dy\'+str(i) for i in range(col_len2)]
data_dy.head()

data2 = data_dy.join(data_yy).join(data[\'name\'])
data2.head()

#拆分+合并

data_re = pd.DataFrame(columns=[\'name\',\'导演\',\'演员\'])  
# 创建一个空的Dataframe

col_yy = data_yy.columns
col_dy = data_dy.columns

for dy in col_dy:
    for yy in col_yy:
        data_i = data2[[\'name\', dy, yy]].dropna() # 提取数据
        data_i.columns = [\'name\', \'导演\', \'演员\'] ## 列名重命名
#         print(data_i)
        data_re = pd.concat([data_re, data_i]) # 添加数据
print(data_re.head())

# 遍历数据后，得到一个导演与演员的关系数据，并做去重处理
# 这里index是有重复的，但作为过程数据可忽略

# 汇总统计导演和演员的合作次数

result = data_re.groupby([\'导演\',\'演员\']).count()
result.reset_index(inplace=True)
result.columns = [\'导演\',\'演员\',\'合作次数\']
print(result.head())
# 按照导演-演员进行计数统计，得到结果数据
# reset_index() → 将所有索引级别转换为列

writer = pd.ExcelWriter(\'output.xlsx\')
result.to_excel(writer,\'sheet1\')
writer.save()
# 存为excel
# 注意：output.xlsx文件不能是打开状态

print(\'finished！\')