有标准的方法吗？
谷歌搜索 -- "approximate entropy" bits -- 发现了多篇学术论文，但我只想找到一段伪代码，定义任意长度的给定位串的近似熵。
（如果说起来容易做起来难，并且取决于应用程序，我的应用程序涉及 16,320 位加密数据（密文）。但加密为一个谜题，并不意味着不可能破解。我想我会首先检查熵，但不容易找到一个好的定义。所以这似乎是一个应该在 StackOverflow 上的问题！也欢迎从哪里开始解密 16k 随机看似位的想法......）
另请参阅此相关问题：
What is the computer science definition of entropy?
【问题讨论】：
标签： encryption entropy information-theory data-compression
熵不是你得到的字符串的属性，而是你可以得到的字符串的属性。换句话说，它限定了生成字符串的进程。
在简单的情况下，您从一组 N 个可能的字符串中得到一个字符串，其中每个字符串的被选中概率都相同，即 1/N时间>。在这种情况下，字符串的熵被称为 N。熵通常以位表示，这是一个对数标度：“n 位”的熵是等于 2n 的熵。
例如：我喜欢将密码生成为两个小写字母，然后是两个数字，然后是两个小写字母，最后是两个数字（例如 va85mw24）。字母和数字是随机、统一且彼此独立选择的。这个过程可能会产生 26*26*10*10*26*26*10*10 = 4569760000 个不同的密码，并且所有这些密码都有相同的机会被选中。那么这样一个密码的熵就是 4569760000，也就是大约 32.1 位。
【讨论】：
Shannon's entropy equation 是标准的计算方法。这是一个简单的 Python 实现，无耻地从Revelation 代码库复制而来，因此获得了 GPL 许可：
import math
def entropy(string):
"Calculates the Shannon entropy of a string"
# get probability of chars in string
prob = [ float(string.count(c)) / len(string) for c in dict.fromkeys(list(string)) ]
# calculate the entropy
entropy = - sum([ p * math.log(p) / math.log(2.0) for p in prob ])
return entropy
def entropy_ideal(length):
"Calculates the ideal Shannon entropy of a string with given length"
prob = 1.0 / length
return -1.0 * length * prob * math.log(prob) / math.log(2.0)
请注意，此实现假定您的输入比特流最好以字节表示。您的问题域可能会或可能不会出现这种情况。你真正想要的是你的比特流转换成一串数字。您如何决定这些数字是特定领域的。如果您的数字真的只是一和零，那么将您的比特流转换为一和零的数组。但是，您选择的转换方法会影响您获得的结果。
【讨论】：
我相信答案是字符串的Kolmogorov Complexity。 这不仅不能用一大块伪代码来回答，Kolmogorov 的复杂性也不是computable function！
您可以在实践中做的一件事是使用可用的最佳data compression 算法压缩位串。 压缩得越多，熵就越低。
【讨论】：
没有单一的答案。熵总是相对于某个模型。当有人谈论熵有限的密码时，他们的意思是“相对于智能攻击者的预测能力”，它始终是一个上限。
您的问题是，您试图测量熵以帮助您找到模型，这是不可能的；熵测量可以告诉您模型有多好。
话虽如此，您可以尝试一些相当通用的模型；它们被称为压缩算法。如果 gzip 可以很好地压缩您的数据，那么您至少已经找到了一种可以很好地预测它的模型。例如，gzip 对简单替换大多不敏感。它可以像处理“the”一样容易地处理文本中的“wkh”。
【讨论】：
NIST 随机数生成器评估工具包有一种计算“近似熵”的方法。以下是简短说明：
近似熵测试说明：本次测试的重点是 每个重叠的 m 位模式的频率。的目的 测试是比较两个重叠块的频率 针对预期结果的连续/相邻长度（m 和 m+1） 随机序列。
更详尽的解释可从本页的PDF 获得：
http://csrc.nist.gov/groups/ST/toolkit/rng/documentation_software.html
【讨论】：
这是 Python 中的一个实现（我也将它添加到了 Wiki 页面）：
import numpy as np
def ApEn(U, m, r):
def _maxdist(x_i, x_j):
return max([abs(ua - va) for ua, va in zip(x_i, x_j)])
def _phi(m):
x = [[U[j] for j in range(i, i + m - 1 + 1)] for i in range(N - m + 1)]
C = [len([1 for x_j in x if _maxdist(x_i, x_j) <= r]) / (N - m + 1.0) for x_i in x]
return -(N - m + 1.0)**(-1) * sum(np.log(C))
N = len(U)
return _phi(m) - _phi(m + 1)
示例：
>>> U = np.array([85, 80, 89] * 17)
>>> ApEn(U, 2, 3)
-1.0996541105257052e-05
以上例子与the example given on Wikipedia一致。
【讨论】：
通过这个公式使用单词的香农熵：http://imgur.com/a/DpcIH
这是一个计算它的 O(n) 算法：
import math
from collections import Counter
def entropy(s):
l = float(len(s))
return -sum(map(lambda a: (a/l)*math.log2(a/l), Counter(s).values()))
【讨论】：