如何从任何网站提取数据并在 Windows 应用商店应用程序中使用它答案

【问题标题】：How to pull data from any website and use it in Windows Store apps如何从任何网站提取数据并在 Windows 应用商店应用程序中使用它
【发布时间】：2014-05-17 02:38:59
【问题描述】：

我想知道如何从网站中提取数据并将其解析成我们自己的代码呈现给用户。例如：考虑一个应用程序，其中用户输入电影名称并从各种网站（如 IMDb 等）获取所有海报。或者用户输入电影名称并从 IMDb 获取所有数据。我知道某些用于从 IMDb 获取数据的第三方 API 服务，例如 omdbapi 和 imdbapi，但我想知道从任何类型的网站（不仅仅是 IMDb）这样做的方法。在这种情况下，我是一个完全的新手，所以请从一开始就指导我完成这个。我想在 Visual Studio 中使用 C# 和 XAML 在 Windows 8 应用商店应用程序中执行此操作。

【问题讨论】：

谷歌“网络抓取”，一旦你对实现你的抓取工具有具体问题，然后再回到 SO。另请注意，他们的服务条款不允许从某些网站上抓取数据。
@TroyCarlson - 我知道网络抓取。我只想知道如何在 C# 中做到这一点。我对这个概念并不陌生。当然，我已经在 Google 上搜索了很多。
我已经彻底阅读了this thread。请参考本指南。

标签： c# visual-studio xaml windows-store-apps

【解决方案1】：

简单的方法是使用网站的 RSS 提要。您可以找到任何网站的 rss 提要。您所要做的就是使用 Web 请求对象将参数作为查询字符串传递。响应流将包含您想要的所有细节，这些细节可以在 c# 中解析并处理。

【讨论】：

并非所有网站都提供 RSS 源。

【解决方案2】：

对于任何网站都没有标准的方法您必须为要从中获取内容的每个网站编写算法

HttpClient 你是在你的应用中获取网页内容的工具吗

【讨论】：

【解决方案3】：

查看YQL： Yahoo Query Language 是一种富有表现力的类似 SQL 的语言，可让您在 Web 上查询、过滤和连接数据。

【讨论】：

【解决方案4】：

你应该使用Html Agility Pack。

为了获得更好的性能，请将您的抓取服务托管在 Azure 上。

【讨论】：