【问题标题】:Retrieve data from a website从网站检索数据
【发布时间】:2011-11-07 13:45:16
【问题描述】:

我想将一组数据从一个站点抓取到我的 C# 应用程序中。我提到了一些使用 WebClient 类的网站和文章。

但问题是我想要的数据是在使用 Flash 制作的新闻栏中。是否可以从中获取数据?里面的数据也不断更新。

【问题讨论】:

  • 您是否拥有使用您试图抓取的数据的合法权利?
  • 我想得到的是公司的股票市场更新
  • 我几乎 100% 确定,如果您应该在应用程序中使用数据,那么有可用的 API。

标签: c# web screen-scraping


【解决方案1】:

您尝试过雅虎的方法吗?下面的项目就是这样做的。

从 Yahoo! 下载股票数据很容易。例如,复制和 将此 URL 粘贴到您的浏览器地址中: http://download.finance.yahoo.com/d/quotes.csv?s=YHOO+GOOG+MSFT&f=sl1d1t1c1hgvbap2.

根据您的 Internet 浏览器设置,可能会要求您保存 将结果转换为名为“quotes.csv”的文件名或以下内容 出现在您的浏览器中:

http://www.codeproject.com/KB/aspnet/StockQuote.aspx?display=Normal

【讨论】:

    【解决方案2】:

    无法从 Flash 中抓取数据。

    一种可能的解决方案是,如果您在 Flash 对象中挖掘嵌入标签,或者找到一些看起来被 Flash 使用的 url 或 rss,您可以通过 WebClient 或(希望)XmlReader 读取它。

    【讨论】:

    • 是的 - 并且可以安装 Fiddler 并在浏览器中运行该站点以找出 Flash 应用程序使用的数据来自何处。
    • 感谢各位的帮助。我正在研究它,我发现它是我想从中获取数据的新闻行情。但仍然因为它是一个 Flash 对象,我认为最好的方法是为代码找到信息源。
    猜你喜欢
    • 2014-12-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-11-08
    • 2020-11-16
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多