使用 bash、curl 访问 Azure blob 存储

Question

我正在尝试使用 REST API 从 bash 脚本中使用 Azure blob 存储服务。我知道可以使用各种其他工具或语言来完成此操作，但我想将其作为 bash 脚本来完成。

以下脚本尝试列出 Azure 存储容器中的 blob。

此脚本会导致身份验证错误。根据 REST API (reference) 文档，签名字符串和标头看起来是正确的。我怀疑问题可能在于处理签名过程的各个部分。

是否有人成功使用 bash 和 curl 访问 Azure 或其他提供商等云存储资源？

#!/bin/bash

# List the blobs in an Azure storage container.

echo "usage: ${0##*/} <storage-account-name> <container-name> <access-key>"

storage_account="$1"
container_name="$2"
access_key="$3"

blob_store_url="blob.core.windows.net"
authorization="SharedKey"

request_method="GET"
request_date=$(TZ=GMT date "+%a, %d %h %Y %H:%M:%S %Z")
storage_service_version="2011-08-18"

# HTTP Request headers
x_ms_date_h="x-ms-date:$request_date"
x_ms_version_h="x-ms-version:$storage_service_version"

# Build the signature string
canonicalized_headers="${x_ms_date_h}\n${x_ms_version_h}"
canonicalized_resource="/${storage_account}/${container_name}"

string_to_sign="${request_method}\n\n\n\n\n\n\n\n\n\n\n\n${canonicalized_headers}\n${canonicalized_resource}\ncomp:list\nrestype:container"

# Decode the Base64 encoded access key, convert to Hex.
decoded_hex_key="$(echo -n $access_key | base64 -d -w0 | xxd -p -c256)"

# Create the HMAC signature for the Authorization header
signature=$(echo -n "$string_to_sign" | openssl dgst -sha256 -mac HMAC -macopt "hexkey:$decoded_hex_key" | sed 's/^.*= //' | base64 -w0)

authorization_header="Authorization: $authorization $storage_account:$signature"

curl \
  -H "$x_ms_date_h" \
  -H "$x_ms_version_h" \
  -H "$authorization_header" \
  "https://${storage_account}.${blob_store_url}/${container_name}?restype=container&comp=list"

更新 - 存储服务错误和脚本生成的相应签名字符串。

以下是存储服务针对 AuthenticationFailed 错误返回的内容。

<?xml version="1.0" encoding="utf-8"?>
<Error>
  <Code>AuthenticationFailed</Code>
  <Message>Server failed to authenticate the request. Make sure the value of Authorization header is formed correctly including the signature.
RequestId:27e6337e-52f3-4e85-98c7-2fabaacd9ebc
Time:2013-11-21T22:10:11.7029042Z</Message>
  <AuthenticationErrorDetail>The MAC signature found in the HTTP request
'OGYxYjk1MTFkYmNkMCgzN2YzODQwNzcyNiIyYTQxZDg0OWFjNGJiZDlmNWY5YzM1ZWQzMWViMGFjYTAyZDY4NAo='
is not the same as any computed signature. Server used following string to sign:
'GET

x-ms-date:Thu, 21 Nov 2013 22:10:11 GMT
x-ms-version:2011-08-18
/storage_account_name/storage_container
comp:list
restype:container'
  </AuthenticationErrorDetail>
</Error>

接下来是脚本生成的string_to_sign。

GET\n\n\n\n\n\n\n\n\n\n\n\nx-ms-date:Thu, 21 Nov 2013 22:10:11 GMT\nx-ms-version:2011-08-18\n/storage_account_name/storage_container\ncomp:list\nrestype:container

Answer 1

使用Fiddler（或您平台上的等效项）拦截对 Windows Azure 存储的调用。失败时，这将向您显示存储服务用于验证调用的字符串，您可以将其与您使用的字符串进行比较。

Answer 2

查看 REST API 文档和您上面的代码，我认为您构建 canonicalized_resource 字符串的方式存在问题。您缺少该字符串中的查询参数。你的canonicalized_resource 字符串应该是：

canonicalized_resource="/${storage_account}/${container_name}\ncomp:list\nrestype:container"

Answer 3

看起来 openssl dgst 没有为您生成正确的 HMAC。 我用 C 编写了一个简单的程序，它执行以下操作：

1. 从命令行获取 base64 编码的密钥并将其解码为二进制。
2. 从标准输入读取字符串以进行签名。
3. 使用 libcrypto HMAC() 例程生成签名。
4. base64 编码签名并将结果打印到标准输出。

然后，我将脚本中的 openssl dgst 管道替换为对我的程序的调用，它成功了。

请注意，您从 Azure 获得的输出是 XML 包装和 base-64 编码的，因此您需要为其提供某种解析/转换代码。

Answer 4

使用 printf 代替 echo（它适用于我）

例如：

签名=printf "$string_to_sign" | openssl dgst -sha256 -mac HMAC -macopt hexkey:$HEXKEY -binary | base64 -w0

Answer 5

我能够让它工作。 这段代码有两个问题，第一，正如 Patrick Park 所指出的，将echo -n 替换为printf。第二个是用 openssl 上的 -binary 选项替换 sed 魔法。

对比原文：

signature=$(echo -n "$string_to_sign" | openssl dgst -sha256 -mac HMAC -macopt "hexkey:$decoded_hex_key" -binary | sed 's/^.*= //' | base64 -w0)

与固定：

signature=$(printf "$string_to_sign" | openssl dgst -sha256 -mac HMAC -macopt "hexkey:$decoded_hex_key" -binary |  base64 -w0)

需要回显更改，因为echo -n 不会将\n 转换为实际的换行符。

-binary 更改是必要的，因为即使您剥离了坏部分，openssl 仍然以 ascii-encoded-hex 格式输出签名，而不是二进制格式。所以在传递给base64 之后，结果是十六进制表示的 b64 编码版本，而不是原始值。