在 Azure 云上部署 Python Web Scraping 文件（函数应用程序）答案

【问题标题】：Deploy Python Web Scraping files on Azure cloud(function apps)在 Azure 云上部署 Python Web Scraping 文件（函数应用程序）
【发布时间】：2020-12-18 06:28:45
【问题描述】：

我有 2 个 python 文件，它们使用 Selenium 和 Beautifulsoup 进行 Web 抓取，并将结果存储在单独的 CSV 文件中，例如 file1.csv 和 file2.csv。现在，我想将这些文件部署在 Azure 云上，我知道 Azure 函数应用程序将是理想的选择。但是，我不知道 Functions 应用程序如何支持 Selenium 驱动程序。

基本上，我想定时触发我的 2 个网络抓取文件并将结果存储在两个单独的文件 file1.csv 和 file2.csv 中，这两个文件将存储在 Azure 云上的 blob 存储中。有人可以帮我完成这项任务吗？

如何在 Azure 函数应用上使用 selenium 驱动程序？

【问题讨论】：

这能回答你的问题吗：stackoverflow.com/questions/46778220/…
不，它没有回答我的问题。我已经阅读了网络上的所有文章。但是，似乎没有人能解决这个问题。我想也许有人可能已经做到了。但似乎在 VM 上部署是这项任务的唯一选择。非常感谢。

标签： python azure selenium-webdriver web-scraping beautifulsoup

【解决方案1】：

在虚拟机或 EC2 上部署是完成此任务的唯一选择。

此外，借助 Heroku，我们将能够通过添加构建包在云上运行 selenium。但是在存储文件时，我们将无法在 heroku 上存储文件，因为 heroku 不会持久保存文件。因此，虚拟机或 EC2 实例是此任务的唯一选择。

【讨论】：