javascript里面的scrapy答案

【问题标题】：Scrapy inside javascriptjavascript里面的scrapy
【发布时间】：2015-04-11 23:18:57
【问题描述】：

看起来他们正在尝试从 JSON 中提取数据，所以我使用了类似于 Scrapy, scrapping data inside a javascript 中推荐的代码。

我当前的代码（使用 Python 3）是

jsonresponse = json.loads(response.body_as_unicode())
print(jsonresponse["val.restname"])

我想知道这是技术上的错误，还是我应该完全做其他事情？

【问题讨论】：

在apps.cu-citizenaccess.org/restaurants/api/restaurants/… 向 JSON 文件发出 Web 请求不是要简单得多吗？
我会调查的。抱歉，我对抓取还是很陌生。
非常感谢。你让我免于在黑暗中摸索。
我很高兴我能提供帮助，一般来说，将来最好不要发布指向实际站点的链接，而是创建一个最小的代码示例。考虑发布您自己问题的答案，说明您是如何解决问题的。欢迎来到本站。
是的，我会发布一个全面的总结。你介意告诉我你是如何找到你发布的链接的吗？

【解决方案1】：

这可以通过使用谷歌浏览器开发者工具中的网络标签找到。

最初页面可能只显示 20 个条目。所以你可以添加一个参数：“limit = 1000”。此后，您可以添加“offset=1000”以显示剩余条目。

如果需要，然后使用 JSON 到 CSV 转换器将两个页面都转换为 CSV 格式。两个 CSV 文件都可以轻松地与 Excel 等程序合并。

【讨论】：