如何将文件从网站复制到 Azure Blob 存储答案

【问题标题】：how to copy files from a web site to azure blob storage如何将文件从网站复制到 Azure Blob 存储
【发布时间】：2019-10-30 03:36:55
【问题描述】：

我正在尝试将文件从该站点 http://nemweb.com.au/Reports/Current/Daily_Reports/ 复制到我的 azure blob 存储帐户

我的第一个选择是尝试 Azure 数据工厂，但它最终复制了 html，这显然不是我要找的，而是里面的 zip 文件

我的问题是 ADF 是正确的工具，或者我应该看看其他东西，任何方向都会非常感激。

目前我正在使用 Powerquery 读取数据，这很好，不幸的是，PowerBI 服务需要一个网关来刷新，这对我来说不是很实用，因此，我正在寻找 Microsoft 数据堆栈中的其他选项

编辑：我将使用 python 路线，但很高兴听到任何替代方案

【问题讨论】：

标签： etl azure-blob-storage powerquery azure-data-factory

【解决方案1】：

我想我找到了解决方案，Python，它与 azure blob 有很好的集成，下载文件的代码很容易，现在我需要弄清楚哪个是在上面运行 python 脚本的最佳服务云

import re
import urllib.request
from urllib.request import urlopen

url = "http://nemweb.com.au/Reports/Current/Daily_Reports/"
result = urlopen(url).read().decode('utf-8')

pattern = re.compile(r'[\w.]*.zip')
filelist = pattern.findall(result )
for x in filelist:
      urllib.request.urlretrieve(url+x, x)

【讨论】：