【发布时间】:2013-11-19 18:26:06
【问题描述】:
我从网页中抓取数据。我遇到的一个问题是它会拉出很多空格,并且我选择使用 .strip() 作为其他人的建议。不过我遇到了问题
if a.strip():
print a
if b.strip():
print b
返回:
a1
b1
.
.
.
但是这个:
if a.strip():
aList.append(a)
if b.strip():
bList.append(b)
print aList, bList
返回这个:
a1
b1
我试图模拟我在这里用 .strip() 删除的空白,但你明白了。无论出于何种原因,即使我告诉它不要,它也会将空格添加到列表中。我什至可以在 if 语句中打印列表,它也可以正确显示,但无论出于何种原因,当我决定在 if 语句之外打印时,它就无法按我的预期工作。
这是我的全部代码:
# coding: utf-8
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.exporter import CsvItemExporter
import re
import csv
import urlparse
from stockscrape.items import EPSItem
from itertools import izip
class epsScrape(BaseSpider):
name = "eps"
allowed_domains = ["investors.com"]
ifile = open('test.txt', "r")
reader = csv.reader(ifile)
start_urls = []
for row in ifile:
url = row.replace("\n","")
if url == "symbol":
continue
else:
start_urls.append("http://research.investors.com/quotes/nyse-" + url + ".htm")
ifile.close()
def parse(self, response):
f = open("eps.txt", "a+")
sel = HtmlXPathSelector(response)
sites = sel.select("//div")
# items = []
for site in sites:
symbolList = []
epsList = []
item = EPSItem()
item['symbol'] = site.select("h2/span[contains(@id, 'qteSymb')]/text()").extract()
item['eps'] = site.select("table/tbody/tr/td[contains(@class, 'rating')]/span/text()").extract()
strSymb = str(item['symbol'])
newSymb = strSymb.replace("[]","").replace("[u'","").replace("']","")
strEps = str(item['eps'])
newEps = strEps.replace("[]","").replace(" ","").replace("[u'\\r\\n","").replace("']","")
if newSymb.strip():
symbolList.append(newSymb)
# print symbolList
if newEps.strip():
epsList.append(newEps)
# print epsList
print symbolList, epsList
for symb, eps in izip(symbolList, epsList):
f.write("%s\t%s\n", (symb, eps))
f.close()
【问题讨论】:
-
你应该这样做
bList.append(b.strip()) -
文档说
strip做了什么? -
字符串是不可变的;
.strip()不能改变值,所以它返回一个 new 剥离的字符串对象。 -
@Matjin 看到这是我读到的,所以我想尝试将它分配给另一个变量,但这并没有改变任何东西。