【问题标题】:Only Getting Partial Sitemap via Get Request with Axios仅通过使用 Axios 获取请求来获取部分站点地图
【发布时间】:2019-08-24 01:29:46
【问题描述】:

这可能是我今年遇到的最奇怪的问题。我正在使用 Axios 从站点地图中获取 XML。这对于已经工作了数周的 Node 进程来说工作得很好——通常会拉动大约 1500 个对象。但是现在,不知从何而来,我只有 54 岁。

棘手的是它在我的本地机器上正常工作。我将它部署到 Digital Ocean 的那一刻,我只得到 54。没有错误。没有警告。只有 54 个站点地图对象。再次,它在本地工作,当我抓取它时,我已经验证站点地图中有超过 54 个项目。

这是我的代码 sn-p——我是如何抓取这些项目的:

let result = await axios.get('https://some-site.com/sitemap.xml');

有人知道会发生什么吗?我完全不知所措。

【问题讨论】:

  • 奇怪——即使我curl DO 液滴内的 URL,我也只得到 54 个项目。到底是什么!
  • 但是当我在本地curl 时,一切都很好。 1700 项。呃。
  • 是时候打开 Wireshark 看看到底发生了什么。 DO 的服务器日志中有任何异常吗?
  • 感谢您的建议——从未听说过 Wireshark。事实证明,这可能是一个缓存问题。我今天检查了一下,现在我在本地和从 DO 获得的商品数量始终相同。

标签: xml axios fetch sitemap


【解决方案1】:

事实证明,这可能一直是一个缓存问题。一天后我试了一下,我在本地和从我的 DO 液滴中得到了相同数量的项目。似乎我的本地机器从前一段时间就遇到了缓存版本。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-31
    • 1970-01-01
    • 1970-01-01
    • 2018-12-26
    • 2019-11-11
    相关资源
    最近更新 更多