python 舆情分析 nlp主题分析 （1） 待续

cycxtz

参考资料： https://blog.csdn.net/Eastmount/article/details/50891162  # 该博主有很多篇幅，解释算法原理，算法应用。

需求：一直想试试大数据+舆情分析，虽然数据量不是很大，大概应用一下，看看是否能从海量数据中，提取出主题思想，以看看当前的舆论导向。

具体应用案例：

微博热门话题：#中印双方达成五点共识# 阅读量2.4亿，讨论7430条。

1、数据采集，使用python+selenium,采集该话题下的博文及作者信息，以及每个博文下的评论及作者信息；

2、数据预处理，采用Jieba库，构建用户词典，以达到更好的分词；情感分析，采用snownlp库，寻找政治类积极和负面词向量做一个训练，再进行评论分类；

3、对博文及评论作者信息进行分析，查看调查主体的用户类别概况；

4、lda主题分析，对博文做主题分析，依据top3主题关键字，对博文群主类看法进行分析；对正、负向评论做一次主题分析，并分别分析观点；

 

本编主要先完成第一步，后续再继续更新。

1、打开浏览器，手工登录微博，这里因为微博登录太严格（需要短信验证才能登录），所以直接人工登录。

%%time
# 配置浏览器
options = webdriver.ChromeOptions()
# 此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium
options.add_experimental_option(\'excludeSwitches\', [\'enable-automation\']) 
# 进入网页
browser = webdriver.Chrome(options=options)
wait = WebDriverWait(browser,2)
browser.get(\'https://s.weibo.com/weibo?q=%23%E4%B8%AD%E5%8D%B0%E5%8F%8C%E6%96%B9%E8%BE%BE%E6%88%90%E4%BA%94%E7%82%B9%E5%85%B1%E8%AF%86%23\')

2.1、分析微博页面，在博文页可以发现，是分页展示，下一页需要通过点击下一页进入。博文内容在\'//div[@class="card"]\'中。此处需要获取作者名称、作者主页链接、博文内容、博文url（为下一步获取评论准备）、发表日期、收藏、转发、评论、点赞数目。

%%time
list_ct = []    # 存储文章内容

while True:
    # 扫描文章内容,扫描一页，判断是否还有下一页
    wait.until(EC.presence_of_element_located((By.XPATH,\'//div[@class="card"]/div[@class="card-feed"]/div[@class="content"]\')))
    # 获取博文列表
    list_el = browser.find_elements_by_xpath(\'//div[@class="card"]\')
    try:
        for l in list_el:
            actor_url = actor_name = content = content_url =content_date = sg = zf = pl = dz = \'\'
            try:
                # 获取作者
                t = l.find_element_by_xpath(\'./div[@class="card-feed"]/div[@class="content"]/div[@class="info"]/div[2]/a\')
                actor_url = t.get_attribute(\'href\')
                actor_name = t.text
                
                # 博文内容
                t = l.find_elements_by_xpath(\'./div[@class="card-feed"]/div[@class="content"]/p[@class="txt"]\')
                if len(t) > 1:
                    content = t[1].get_attribute(\'innerText\')
                else:
                    content = t[0].get_attribute(\'innerText\')
                    
                # 博文链接
                t = l.find_element_by_xpath(\'./div[@class="card-feed"]/div[@class="content"]/p[@class="from"]/a\')
                content_url = t.get_attribute(\'href\')
                content_date = t.text
                
                # 收藏、转发、评论、点赞
                t = l.find_elements_by_xpath(\'./div[@class="card-act"]/ul/li\')
                sg = t[0].get_attribute(\'innerText\')
                zf = t[1].get_attribute(\'innerText\')
                pl = t[2].get_attribute(\'innerText\')
                dz = t[3].get_attribute(\'innerText\')
            except Exception as e:
                pass
            # 追加
            list_ct.append([actor_url , actor_name , content , content_url,content_date,sg , zf , pl , dz ])
            
        # 输出当前页码
        try:
            t = browser.find_element_by_xpath(\'//a[@class="pagenum"]\')
            print(\'扫描进行到\',str(t.text))
        except :
            pass
        # 判断是否还有下一页
        #break
        try:
            t = browser.find_element_by_xpath(\'//div[@class="m-page"]/div/a[@class="next"]\')
            # 点击下一页
            t.click()
        except:
            print(\'文章扫描结束\')
            break
    except Exception as e:
        print(\'非正常结束:\',str(e))

2.2将数据暂存到excel

%%time
# 保存发表的文章，到excel
df = pd.DataFrame(list_ct, columns=[\'actor_url\' , \'actor_name\' , \'content\' , \'content_url\',\'content_date\',\'sg\' , \'zf\',\'pl\',\'dz\']) 
# 去重
df.drop_duplicates(subset=[\'actor_url\' , \'actor_name\' , \'content\' , \'content_url\',\'content_date\',\'sg\' , \'zf\',\'pl\',\'dz\'],inplace = True)
with pd.ExcelWriter(r\'../data/npl_asan/wenzhangs.xlsx\') as writer:
    df.to_excel(writer,index=False,sheet_name = \'Sheet1\')

3、通过博文链接，进入到博文主页，分析页面信息，内容需要ajax异步更新，1、需要不断下拉进度条到底部刷新，并点击“查看更多”；2、某些评论回复的会折叠，需要不断点击查看更多评论。综上所述，先下拉到最底部，再逐个点击评论显示，最后读取所有评论。

#
#  处理评论的内容
#
def deal_comment_content(content):
    rel = content = content.replace(":","：")
    if content.find(\'：回复\') != -1:
        lt = content.split(\'：\',2)
        rel = lt[len(lt)-1]
    else:
        lt = content.split(\'：\',1)
        rel = lt[len(lt)-1]
    return rel

# 获取WB_text内容
def get_comment_data(l):
    actor = actor_url = render = render_url = content = date =  \'\'
    # 获取发表者
    t = l.find_element_by_xpath(\'./div[@class="WB_text"]/a[1]\')
    actor_url = t.get_attribute(\'href\')
    actor = t.text

    # 判断是否回复的评论
    try:
        t = l.find_element_by_xpath(\'./div[@class="WB_text"]/a[@render="ext"]\')
        render_url = t.get_attribute(\'href\')
        render = t.text
    except NoSuchElementException:
        pass

    # 读取评论内容
    t = l.find_element_by_xpath(\'./div[@class="WB_text"]\')
    content = t.text
    content = deal_comment_content(content)
    
    # 读取评论日期
    t = l.find_element_by_xpath(\'./div[@class="WB_func clearfix"]/div[@class="WB_from S_txt2"]\')
    date = t.text
    
    return [actor , actor_url , render , render_url , content,date]

# 滚动到最底部
def scroll_down():
    while True:
        sh1 = browser.execute_script("return document.body.scrollHeight;")
        browser.execute_script(\'window.scrollTo(0,document.body.scrollHeight)\')
        time.sleep(0.5)
        sh2 = browser.execute_script("return document.body.scrollHeight;")
        
        if sh1 == sh2: 
            break

# 加载更多评论
def loading_all_comment():
    # 执行到最下，等待查看更多
    while True:
        scroll_down()
        try:
            morr_btn = wait.until(EC.presence_of_element_located((By.XPATH,\'//span[@class="more_txt"]\')))
            # 如果超时
            morr_btn.click()
        except:
            #print(\'执行到最底部\')
            break

# 载入所有子评论
def loading_all_child_comment():
    while True:
        btns = browser.find_elements_by_xpath(\'//a[@action-type="click_more_child_comment_big"]\')
        if len(btns) == 0:
            break
        for btn in btns:
            try:
                #browser.execute_script("arguments[0].click();", btn)
                ActionChains(browser).move_to_element(btn).click(btn).perform()  # 需要移动到该控件，点击才有效
                #btn.click()
                time.sleep(0.5)
            except:
                # 存在点了以后还没加载完的，直接忽略错误
                pass
%%time
# 完整版执行
err_url = []
list_comment = []
for index, r in df.iterrows():
    url = r.content_url
    #url = df.loc[2,\'content_url\']
    print(\'序号:\',str(index),\'开始执行：\',url)
    browser.get(url)
    try:
        loading_all_comment()  # 载入所有评论
        loading_all_child_comment()  # 载入所有子评论
        print(\'打开所有评论\')
        #等待内容
        wait.until(EC.presence_of_element_located((By.XPATH,\'//div[@node-type="root_comment"]/div[@class="list_con"]\')))
        list_el = browser.find_elements_by_xpath(\'//div[@node-type="root_comment"]/div[@class="list_con"]\')
        # 遍历
        for l in list_el:
            # 获取博文信息
            c = get_comment_data(l)
            list_comment.append(c)
            # 获取博文评论信息
            list_child = l.find_elements_by_xpath(\'.//div[@node-type="child_comment"]//div[@class="list_con"]\')
            for lc in list_child:
                c = get_comment_data(lc)
                list_comment.append(c)
    except TimeoutException:
        print(\'TimeoutException:\',url)
    except NoSuchElementException:
        print(\'NoSuchElementException:\',url)
    except:
        print(\'something wring:\',url)
        err_url.append(url)
    #break

最后输出到文件：

%%time
# 保存评论到excel
df = pd.DataFrame(list_comment, columns=[\'actor\' , \'actor_url\' , \'render\' , \'render_url\' , \'content\' , \'date\']) 
# 去重
df.drop_duplicates(subset=[\'actor\' , \'actor_url\' , \'render\' , \'render_url\' , \'content\' , \'date\'],inplace = True)
with pd.ExcelWriter(r\'../data/npl_asan/comments.xlsx\') as writer:
    df.to_excel(writer,index=False,sheet_name = \'Sheet1\')

本篇到此结束，下篇再做数据处理。

不足：没有使用代理，也没有使用cookies池，需要注意sleep，不知道达到什么情况会被封号；

           

Wall time: 1h 34min 57s，最终534条博文+6626条子评论，耗时也不少。有多机子可以考虑使用分布式爬虫。

分类：

技术点：

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode