在PostgreSQL中将bytea转换为双精度答案

【问题标题】：Convert bytea to double precision in PostgreSQL在PostgreSQL中将bytea转换为双精度
【发布时间】：2018-03-02 05:57:26
【问题描述】：

我有一个数据库，其中一个表存储从另一个系统收集的各种通用数据的 blob (bytea)。 bytea 字段可以包含任何内容。为了知道如何解释数据，表格还有一个格式字段。我编写了一个 Java 应用程序以将数据库中的 bytea 字段作为 byte[] 读取，然后我可以使用 ByteBuffer 和各种视图轻松地将其转换为 double[] 或 int[] 或格式字段所说的任何内容（DoubleBuffer、IntBuffer 等）。

现在我需要在触发器函数中对数据库本身的数据进行一些操作，以保持与另一个表的完整性。我几乎可以找到任何可以想象的数据类型的转换，但我找不到从bytea（甚至bit）到double precision 并返回的任何东西。 bytea 可以分解，转换为位，然后转换为int 或bigint，但不能转换为double precision。例如，x'deadbeefdeadbeef'::bit(64)::bigint 将毫无问题地转换为-2401053088876216593，但x'deadbeefdeadbeef'::bit(64)::double precision 失败并显示“错误：无法将类型位转换为双精度”，而不是给出-1.1885959257070704E148 的IEEE 754 答案。

我找到了这个答案https://stackoverflow.com/a/11661849/5274457，基本上实现了IEEE标准将位转换为double，但是PostgreSQL中真的没有基本的转换功能可以做到这一点吗？另外，当我完成数据操作并需要更新表格时，我还需要从double precision 倒退到bytea，而这个答案没有提供。

有什么想法吗？

【问题讨论】：

您可能需要一个简单的 C 扩展来添加所需的演员表。 Pg 真的可以使用更多的转换函数来/从原始二进制形式。
我会研究扩展的想法。据我所知，这不仅仅是 PostgreSQL 的问题。据我所知，HSQL 和 SQLServer 有同样的问题。我使用的每种编程语言都有将原始字节转换为双精度的方法，但 SQL 数据库似乎没有。
它们通常在更高的抽象级别上运行。对于 PostgreSQL，一个实用的选择可能是使用简单的 plperlu 或 plpythonu 程序来完成，这样您就不必编写 C 扩展。
我实际上刚刚发现了 PL/Python 过程语言。它看起来很有希望。我安装了扩展程序，现在我正在玩它。我可以使用 struct 模块轻松读取字节并将它们转换为十六进制。我认为这将是要走的路。
请将你完成的函数贴在这里供其他人使用:)

标签： sql postgresql type-conversion double bytea

【解决方案1】：

好的，我找到了答案。在 PostgreSQL 中，您可以使用 Python 编写函数。为了启用 Python 的使用，您必须安装 PostgreSQL 安装所需的特定 Python 版本，并使其在 PATH 环境变量中可用。您可以通过查看安装说明找到安装 PostgreSQL 所需的 Python 版本。我目前在 Windows 上使用 PostgreSQL 9.6.5，它需要 Python 3.3。我最初尝试了最新的 Python 3.6，但它不起作用。我选择了最新的适用于 Windows 的 Python 3.3，即 3.3.5。

安装 Python 后，您可以通过在您的数据库上执行 CREATE EXTENSION plpython3u; 在 PostgreSQL 中启用它，如 https://www.postgresql.org/docs/current/static/plpython.html 中所述。从那里，您可以使用 Python 主体编写任何函数。

对于我从bytea 转换为double precision[] 并返回的具体情况，我编写了以下函数：

CREATE FUNCTION bytea_to_double_array(b bytea)
    RETURNS double precision[]
    LANGUAGE 'plpython3u'
AS $BODY$
  if 'struct' in GD:
    struct = GD['struct']
  else:
    import struct
    GD['struct'] = struct

  return struct.unpack('<' + str(int(len(b) / 8)) + 'd', b)
$BODY$;

CREATE FUNCTION double_array_to_bytea(dblarray double precision[])
    RETURNS bytea
    LANGUAGE 'plpython3u'
AS $BODY$
  if 'struct' in GD:
    struct = GD['struct']
  else:
    import struct
    GD['struct'] = struct

  # dblarray here is really a list.
  # PostgreSQL passes SQL arrays as Python lists
  return struct.pack('<' + str(int(len(dblarray))) + 'd', *dblarray)
$BODY$;

在我的例子中，所有的双精度都存储在小端，所以我使用<。我还将struct 模块的导入缓存在全局字典中，如https://stackoverflow.com/a/15025425/5274457 中所述。我使用 GD 而不是 SD，因为我希望可以在我可能编写的其他函数中使用导入。有关 GD 和 SD 的信息，请参阅https://www.postgresql.org/docs/current/static/plpython-sharing.html。

要知道我的数据库中的 blob 存储为小端序，以便查看它的实际效果，

SELECT bytea_to_double_array(decode('efbeaddeefbeadde', 'hex')), encode(double_array_to_bytea(array[-1.1885959257070704E148]), 'hex');

我得到的答案是

bytea_to_double_array    | encode
double precision[]       | text
-------------------------+------------------
{-1.18859592570707e+148} | efbeaddeefbeadde

其中'efbeaddeefbeadde' 是小端序中的'deadbeefdeadbeef'。

【讨论】：