Azure 数据工厂 Rest API - 带有帐户 ID、API 密钥或令牌

Question

我有一个用例，其中我需要连接到 API 以请求数据。

• API 需要有效的令牌来处理请求。
• 为了生成令牌，我有一个帐户代码和密钥

假设 BaseURL 为BaseURL - http://api.xxxxx.com/{accountCode}/data（需要传递账号的值）

**需要运行以下 Python/Java 脚本来获取 dateToken 和令牌

• 如果我们使用 Python 3.6 或更高版本。下面是代码-**

- 开始 - {

import time

import requests

from hashlib import md5

account_code = "<account_name>"
key = "<api_key>"
actual_unix_time = int(time.time_ns() / 1000) # in milliseconds
TTL = 31536000000 # for 1 year
expiration_time = actual_unix_time + TTL
base_url = "https://api.xxxxx.com"
url = f"/{account_code}/data?fromDate=last6Hours&granularity=minute&type=ALL%2CVOD%2CLIVE&operation=reduceJoin&metrics=bufferratio"
pre_url = f"{url}&dateToken={expiration_time}"
token_generated = md5(f"{pre_url}{key}".encode('utf-8'))
token_value = token_generated.hexdigest()
request_url = f"{base_url}{pre_url}&token={token_value}"
response = requests.get(request_url)

print(response)
print(response.text)

} - 结尾 -

- 如果我们使用 Java。下面是代码 -

- 开始 - {

var key = pm.environment.get("NPAW-API-KEY"); 
var base_url = "https://api.xxxxx.com";

var url = pm.request.url.toString(); 
var path = url.replace(base_url, ''); 
var pre_url = pm.variables.replaceIn(path);

var moment = require('moment'); 
var actual_unix_time = moment().unix()*1000;

var TTL = 31536000000

var expiration_time = (actual_unix_time + TTL); 
var pre_url = pre_url+"&dateToken="+expiration_time;

var token_generated = CryptoJS.MD5(pre_url + key).toString();

var token_value = token_generated;

var request_url = (base_url+pre_url+'&token='+token_value).toString();

} - 结尾 -

最终 URL 的示例 - https://api.xxxxx.com/kb-vivek/data?fromDate=today&granularity=hour&type=ALL,VOD,LIVE&operation=reduceJoin&metrics=views,playtime&dateToken=1699016056000&token=7a9c97a4d4f108d1d32be2f7f8d00731

我尝试使用 Postman，其中，我可以在 Pre-Request 脚本中传递上述脚本，并为 accountCode 和 Secret Key 设置环境变量，我能够达到预期的结果。

问题：如何在 Azure 数据工厂中实现这一目标？

Answer 1

• 为了达到要求，我们需要结合使用设置变量和数据流（以生成 md5 十六进制字符串并将最终 url 存储在文件中）。
• 首先，我创建了 4 个参数，其值如下所示：

base_url: https://api.xxxxx.com
account_code: <account_name>
key: <api_key>
TTL: 31536000000

• 首先，我创建了一个变量来构建url。我使用了以下动态内容：

/@{pipeline().parameters.account_code}/data?fromDate=last6Hours&granularity=minute&type=ALL%2CVOD%2CLIVE&operation=reduceJoin&metrics=bufferratio

• 接下来，我用以下动态内容构建了pre_url：

@{variables('url')}&dateToken=@{add(div(sub(ticks(utcNow()), ticks('1970-01-01')),10),31536000000)}

• 现在，为了对字符串进行编码并将其转换为 md5 十六进制字符串，我使用了数据流。我已将 base_url, pre_url and key 从管道传递到数据流。

• 我从 blob 存储中获取了一个只有一行的示例 csv 文件（此文件中的数据无关紧要，但要确保它只有 1 行）。

• 我创建了一个派生列，通过连接 base_url, pre_url and encoded md5 hex string 来创建最终 URL。使用以下内容：

$base_url+$pre_url+'&token='+md5(encode(concat($pre_url,$key)))

• 现在我正在使用接收器设置中的output to single file 选项将此数据写入文件。

• 当我调试管道时，文件将写入我的存储帐户。该文件的内容如下所示：

笔记：

• 现在由于您想要生成一次日期令牌并使用它一年，我已将数据写入文件。
• 您运行此管道一次并生成一个具有所需 URL 的文件（如上所述）。任何时候你想访问这个 URL，你可以使用 look up activity 来访问任何需要的 URL。
• 我已经使用utcNow()生成了dateToken。但是如果您有任何特定的日期，您可以简单地以正确的格式使用它（代替 utcNow()）。