如何从 django 管理操作启动蜘蛛

Question

我正在用 Django 开发一个简单的 Web 应用程序，我想从一个管理员操作中启动一个 Scrapy 蜘蛛。

Answer 1

我将从将正常的任务管理流程与您的 django 项目集成开始，请参阅 celery 包：

Celery 是一个简单、灵活、可靠的分布式系统 处理大量消息，同时为操作提供 维护这样一个系统所需的工具。

另外，请参阅how to use celery with django。

然后，我将创建一个调用 Scrapy 的 celery 任务，请参阅：

• Running Scrapy spiders in a Celery task
• Run Scrapy from a script
• How to run Scrapy from within a Python script
• Scrapy run from Python

另见：

• django-dynamic-scraper

希望对您有所帮助。