【问题标题】:Custom JSON Response from Scrapy Spider Deployed via Scrapyd通过 Scrapyd 部署的来自 Scrapy Spider 的自定义 JSON 响应
【发布时间】:2015-02-04 06:39:05
【问题描述】:

我需要找到一种方法让我的 Scrapy 蜘蛛返回自定义 JSON 响应。它是通过 scrapyd 使用schedule.json 部署的。 Schedule.json 以 JobIDStatus 响应,但我想在该响应中添加更多数据。

如果有办法我可以通过创建一个单独的响应然后发出一个单独的请求来做到这一点。

非常感谢!

【问题讨论】:

    标签: python json web-scraping scrapy scrapyd


    【解决方案1】:

    (取自Learn to Read the Source, Luke)。

    这是可行的。

    scrapyd.webservice.WsResource的基础上实现自己的resource,写一个render_POST()方法。然后,告诉scrapyd 使用您的schedule.json 资源实现:

    [services]
    schedule.json = project.module.MySchedule
    

    【讨论】:

    • 对不起图片,只是喜欢引用它:)
    • 谢谢!什么文档?我已经阅读了 Scrapyd 文档,但没有遇到...
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多