如何使用 PHP 提取/获取数据并将数据（来自其他电子商务网站）显示到我的网站答案

【问题标题】：How to extract/fetch and show data ( from other ecommerce site ) to my website using PHP如何使用 PHP 提取/获取数据并将数据（来自其他电子商务网站）显示到我的网站
【发布时间】：2013-06-28 05:43:10
【问题描述】：

我看到许多电子商务门户网站显示来自世界各地的另一个更大的电子商务网站的产品列表。

我认为通过在 php 中使用 file_get_contents 或 CURL，获取不是一个大问题，但问题是，

他们是否提供一些 api 以允许其他人获取他们的数据/产品信息？

我们是否需要获得他们的权限才能从他们的网站获取数据。

是否有一些优雅而具体的方法/方式来获取数据以显示在我们的网站上（而不是 CURL 和 file_get_contents）？

【问题讨论】：

标签： php web e-commerce fetch

【解决方案1】：

一些网站提供其 API 来访问数据。有些是花钱的，有些可能是免费的。无论如何，是的，您需要许可。

但您始终可以在未经许可的情况下抓取他们的网站。

【讨论】：

【解决方案2】：

以下是有关该主题的一些一般准则。

您应该检查他们是否有一个 robots.txt 文件拒绝抓取网站某些区域的权限。
尽管复制内容存在版权问题，但搜索引擎始终会发布网站内容的摘录。因此在某种程度上，复制内容是legally permissible。
API 有时可用，但搜索引擎总是在没有任何许可的情况下抓取网站（可能除了 robots.text 文件）。
尊重网站所有者对其带宽的意愿。写得不好的机器人代码会浪费地占用服务器资源。
如果您能获得许可，那就更好了。

我使用 cURL 和 DomDocument class。在优雅方面，我不知道您还想要什么。

【讨论】：

【解决方案3】：

编写一个爬虫，从这些网站获取您想要的所有数据。
使用提供的 API。但通常成本很高。
使用第三方软件创建您自己的 API。

【讨论】：