如何使用 php 抓取亚马逊搜索？答案

【问题标题】：How to scrape amazon search with php?如何使用 php 抓取亚马逊搜索？
【发布时间】：2014-05-08 17:36:13
【问题描述】：

有什么想法吗？我是 php 新手，在使用 curl 和 domdocuments 时遇到了很多麻烦，所以请写下或给我看一个例子。我正在考虑使用 dom 文档，但我不知道如何让亚马逊搜索用户从我的网站输入的内容并显示结果的某些部分，例如价格、类别 ex.....

【问题讨论】：

Amazon provide an API 时为什么要刮？
这个问题似乎是题外话，因为它是关于要求为他们写一个刮板！
@Johnsyweb - 有充分的理由使用 API，但也有充分的理由不使用。并非所有内容都可以从 API 中获得，而且很难获得密钥。
@pguardiario：当然。这也是我问这个问题的部分原因。
API 不再起作用，除非您有定期确认的销售（这在您设置网站时很难做到）

标签： php dom curl web-scraping

【解决方案1】：

有几种方法可以使用 file_get_contents、“保存 html”插件 (https://simplehtmldom.sourceforge.io/) 和 CURL，我的运气各不相同，但最终它开始使用机器人检查标记我的请求。我最初使用 API，但 Amazon 将其锁定为最小流量规则，我无法满足我的萌芽 Web 服务渲染无用。

尽管我正在玩随机化用户代理和使用代理，但目前没有简单/有效的方法来持续提取亚马逊数据。

【讨论】：

【解决方案2】：

使用产品广告 API 而不是抓取。 http://docs.aws.amazon.com/AWSECommerceService/latest/DG/ItemSearch.html

【讨论】：

这不再有效。 API 仅限于已确认每月最低“展示次数”（销售额）的人（当您无法使用 API 时很难做到这一点，所以......不确定他们在想什么。

【解决方案3】：

产品 API 实际上是最好的资源，尽管它给您的结果有限，并且在 180 天后如果没有发生关联交易，我相信他们可能会撤销您的访问权限，因此它确实会根据您的用途在一定程度上限制您。不确定，但我认为您可能需要一个专业的卖家账户或附属会员资格，不是 100% 的，但这是我的理解。

【讨论】：

这是正确的，尽管它还不到 180 天，而且很难达到最低限度，所以 API 基本上是无用的，除非你已经在运行一个对亚马逊有大量流量的网站。