修改scrapy 时间统计，优化时间，增加总耗时统计！
修改文件：corestats.py 位置： D:\python\Lib\site-packages\scrapy\extensions
修改下面两个函数：
注释的都是源码
def spider_opened(self, spider):
# 源码
# self.stats.set_value('start_time', datetime.datetime.utcnow(), spider=spider)
self.start = time.time()
start_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.start)) # 转化格式
self.stats.set_value('start_time', '开始时间 -- {}'.format(start_time), spider=spider)
def spider_closed(self, spider, reason):
# 源码
# self.stats.set_value('finish_time', datetime.datetime.utcnow(), spider=spider)
# self.stats.set_value('finish_reason', reason, spider=spider)
self.end = time.time()
finish_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.end)) # 转化格式
self.stats.set_value('finish_time', '结束时间 -- {}'.format(finish_time), spider=spider)
self.stats.set_value('finish_reason', reason, spider=spider)
# 运行总耗时，时:分:秒
Total_time = self.end - self.start
m, s = divmod(Total_time, 60)
h, m = divmod(m, 60)
self.stats.set_value('Total_time', "总耗时 -- %d时:%02d分:%02d秒" % (h, m, s), spider=spider)