Scraper - 如何保存和存储表情符号

【问题标题】：Scraper - How to save and store emojiScraper - 如何保存和存储表情符号
【发布时间】：2018-09-08 10:42:58
【问题描述】：

我目前在 python 3.x 和 ubuntu 环境下使用来自https://scrapy.org/ 的 Scraper，不知何故，我想在论坛中获得用户评论，其中包含文字和表情符号。

想知道我们如何将这些表情符号保存到一个数组中，以便我可以在 cvs 或 json 中看到它？

谢谢

【问题讨论】：

【解决方案1】：

如果你至少能提供页面的 HTML 就好了。

如果 emoji 和文本包含在父元素中，假设 div 带有如下注释类。

<div class="comment">
    <div class="description">This is a comment.</div>
    <span>:-)</span>
</div>

那么您可以使用以下 XPath 或 CSS 选择器。

response.css('.comment ::text').extract()

或

response.xpath('.//div[@class="comment"]//text()').extract()

【讨论】：

【解决方案2】：

可能是 HTML 结构造成的。如果子元素中提供了表情符号，您可以在 xpath 表达式中使用 string() 函数。

response.xpath('string(.//xpath/to/comment)')

【讨论】：