在scrapy python中使用带有URL的csv文件时出错

Question

我有多个要抓取的 URL 存储在一个 csv 文件中，其中每一行都是一个单独的 URL，我正在使用此代码来运行它

     def start\\_requests(self): 

             with open('csvfile', 'rb') as f: 

                      list=[] 

                      for line in f.readlines(): 

                             array = line.split(',')

                             url = array[9] 

                             list.append(url) 

                    list.pop(0)
             for url in list:
                    if url != "": 

                          yield scrapy.Request(url=url, callback=self.parse) 

它给了我以下错误IndexError: list index out of range，任何人都可以帮我纠正这个错误或建议另一种使用该 csv 文件的方法吗？

编辑： csv 文件如下所示：

http://example.org/page1
http://example.org/page2

有 9 行这样的行

Answer 1

您应该能够通过将 csv 文件读入列表变量来完成此操作，而无需执行上述某些代码。因此不需要split、pop 和append

工作示例

import csv
import scrapy
from scrapy.crawler import CrawlerProcess


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        with open('websites.csv') as csv_file:
            data = csv.reader(csv_file)
            for row in data:
                # Supposing that the data is in the first column
                url = row[0]
                if url != "":
                    # We need to check this has the http prefix or we get a Missing scheme error
                    if not url.startswith('http://') and not url.startswith('https://'):
                        url = 'https://' + url
                    yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # Do my data extraction
        print("test")


if __name__ == "__main__":
    c = CrawlerProcess({
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
    })
    c.crawl(QuotesSpider)
    c.start()