Beautifulsoup to csv：将一段文本放在一行中

Question

我有一堆网络文本，我想抓取并导出到 csv 文件。问题是文本在网站上被分成多行，beautifulsoup 就是这样读取它的。当我导出到 csv 时，所有文本都进入一个单元格，但该单元格有多行文本。当我尝试将 csv 读入另一个程序时，它会以一种产生无意义数据集的方式解释多行。问题是，在我用beautifulsoup 拉出文本之后但在导出到csv 之前，如何将所有文本放在一行中？

这是一个简单的工作示例，演示了多行的问题（实际上，生成的 csv 中的前几行是空白的，所以乍一看它可能看起来是空的）：

import csv
import requests
from bs4 import BeautifulSoup

def main():
    r = requests.get("https://www.econometricsociety.org/publications/econometrica/2017/03/01/search-yield")
    soup = BeautifulSoup(r.text,"html.parser")
    with open('Temp.csv', 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f,delimiter=",")
        abstract=soup.find("article").text
        writer.writerow([abstract])

if __name__ == '__main__':
    main()

更新：有一些很好的建议，但它仍然不起作用。以下代码仍会在单元格中生成一个带有换行符的 csv 文件：

import csv    
import requests
from bs4 import BeautifulSoup

with open('Temp.csv', 'w', encoding='utf8', newline='') as f:
    writer = csv.writer(f,delimiter=',')
    r = requests.get("https://www.econometricsociety.org/publications/econometrica/2017/03/01/search-yield")
    soup = BeautifulSoup(r.text,'lxml') 
    find_article = soup.find('article')
    find_2para = find_article.p.find_next_sibling("p")
    find_largetxt = find_article.p.find_next_sibling("p").nextSibling
    writer.writerow([find_2para,find_largetxt])

这是基于不同建议的另一种尝试。这最终也会在 csv 文件中产生换行符：

import csv
import requests
from bs4 import BeautifulSoup

def main():
    r = requests.get("https://www.econometricsociety.org/publications/econometrica/2017/03/01/search-yield")
    soup = BeautifulSoup(r.text,"html.parser")
    with open('Temp.csv', 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f,delimiter=",")
        abstract=soup.find("article").get_text(separator=" ", strip=True)
        writer.writerow([abstract])

if __name__ == '__main__':
    main()

Answer 1

将您的 abstract = ... 行更改为：

abstract = soup.find("article").get_text(separator=" ", strip=True)

它将使用 separator 参数分隔每一行（在这种情况下，它将用空格分隔字符串。

Answer 2

r = requests.get("https://www.econometricsociety.org/publications/econometrica/2017/03/01/search-yield")
soup = BeautifulSoup(r.text,'lxml') # I prefer using xml parser
find_article = soup.find('article')
# Next line how to find The title in this case: Econometrica: Mar 2017, Volume 85, Issue 2
find_title = find_article.h3
# find search yeild 
find_yeild = find_article.h1
#first_paragraph example : DOI: 10.3982/ECTA14057       p. 351-378
find_1para =  find_article.p
#second p example : David Martinez‐Miera, Rafael Repullo  
find_2para = find_article.p.find_next_sibling("p")
#find the large text area using e.g. 'We present a model of the relationship bet...'
find_largetxt = find_article.p.find_next_sibling("p").nextSibling

出于教育目的，我使用了多种方法来获取您想要的文本区域（您可以在每个区域上使用 .text 来获取不带标签的文本，或者您可以使用 Zroq 的方法。 但是您可以通过例如将这些中的每一个写入文件中

writer.writerow(find_title.text)

Answer 3

最终对我有用的解决方案非常简单：

abstract=soup.find("article").text.replace("\t", "").replace("\r", "").replace("\n", "")

这消除了所有换行符。