将 Scrapy DjangoItem 与 Django 一起使用的最佳方式答案

【问题标题】：Using Scrapy DjangoItem with Django best way将 Scrapy DjangoItem 与 Django 一起使用的最佳方式
【发布时间】：2013-05-22 20:28:30
【问题描述】：

我是 Django / Scrapy 的新手，并且对一般编程很熟悉。我正在尝试制作一个 Django 网站来帮助我学习。

我想要做的是从不同站点抓取产品信息，并使用来自 Scrapy 的 DjangoItem 将它们存储在我的 postgres 数据库中。

我已经阅读了 Scrapy 和 Django 的所有文档。我已经在这里和其他网站搜索了几天，只是找不到我正在寻找的导致灯泡熄灭的确切内容。

无论如何，我的问题是，将 Scrapy 和 Django 一起部署的标准是什么。理想情况下，我想抓取 5-10 个不同的网站并将它们的信息存储在我的数据库中。

Scrapy 的文档中关于实现 DjangoItem 的最佳方式的信息有点少。
1) Scrapy 项目应该在我的 Django 应用程序内部，在我的 Django 项目的根级别，还是一起在外部。 2) 除了将 DjangoItem 设置为我的 Django 模型之外，我还需要更改任何其他设置吗？

谢谢布赖恩

【问题讨论】：

【解决方案1】：

我通常将我的 scrapy 项目放在我的 Django 项目根文件夹中的某个位置。请记住，您需要确保两个项目都在 python 路径中。如果您正确使用 virtualenv，这很容易做到。

除此之外，只要您可以从 Scrapy 导入 Django 模型，我认为 Scrapy 文档中的其他所有内容都非常清楚。当你导入你的 Django 模型时，Django 设置已经设置好了，这意味着你的数据库连接等应该都可以正常工作，只要它们已经在 Django 中工作。

唯一真正的技巧是正确设置 python 路径（这可能是另一个问题的主题）。

【讨论】：