python scrapy mongodb的安装和使用

1 首先在网上搜索mongodb进行安装：安装64位的

2 安装mongodb的可视化操作工具：Robo 3T 1.1.1

3 安装完之后要进行配置：

先在monodb里面添加一个文件：路径（C:\Program Files\MongoDB），添加

mongo.cfg  

在这个文件下面加入下面几个字段：

logpath= C:\data\log\mongod.log

dbpath=C:\data\db

在根目录下添加data

在data里建两个文件：

log下面再建一个文件：

4 在终端开启服务，（具体操作和redis类似）

开启服务（进入bin目录文件先）

（shift+右键）在此打开命令窗口，输入如下命令：开启服务

mongod  --dbpath  C:\data\db

settings的配置：

在pipelines中的代码：

from scrapy.conf import settings

import pymongo

class JobMongoPipeline(object):

# def process_item(self, item, spider):

# return item

def __init__(self):

port = settings['MONGODB_PORT']

host = settings['MONGODB_HOST']

dbName = settings['MONGODB_DBNAME']

client = pymongo.MongoClient(host=host, port=port)

tdb = client[dbName]

self.post = tdb[settings['MONGODB_DOCNAME']]

def process_item(self, item, spider):

work = dict(item)

self.post.insert(work)

return item