【问题标题】:Python Web Scraper in AzureAzure 中的 Python Web Scraper
【发布时间】:2021-10-29 09:37:20
【问题描述】:

我几乎没有用 python 编写的网络爬虫来从电子商务网站上爬取数据。 我想在 Azure 上运行这些脚本。 最好的出路是什么?我正在研究 Azure 函数和 Azure Webjobs,因为我希望有一个自动计划来触发我的脚本。 考虑到要抓取的数据量很大,Azure 函数会是一件昂贵的事情吗? 完成这项工作的网络作业的可扩展性如何? 是否有任何其他具有成本效益的方法来完成任务? (我是 Azure 新手)。

【问题讨论】:

  • 请编辑问题以将其限制为具有足够详细信息的特定问题,以确定适当的答案。

标签: python azure web-scraping azure-functions azure-webjobs


【解决方案1】:

您可以尝试使用 Selenium 和 HTTP 触发器进行网页抓取

Consumption 计划和 Premium 计划的 Azure 功能成本,可以参考Azure Functions pricingReddit/AzureAzure hosted Web Scraper, good or bad idea?

您可以参考Run Selenium on azure functionsHow to create a Selenium web scraper in Azure FunctionsRunning webscraping Python file with HTML trigger on AzureCreate a Website Scraper for Azure Functions

【讨论】:

  • 您好,感谢您的指导,但我想知道除了使用 azure 函数之外,还有其他方法可以托管刮板,这样我就可以从读取调度程序表的 webjob 触发脚本以确定计划时间和相应的触发器(要报废的网站数量将继续增加)。考虑到每月有大量数据要废弃,所以我想避免使用 azure 函数,所以它不会那么划算。
猜你喜欢
  • 2021-10-19
  • 2019-04-05
  • 1970-01-01
  • 1970-01-01
  • 2023-03-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多