如何将 H5 表查询结果转换为 Astropy 表？答案

【问题标题】：How can I turn an H5 table query result into a Astropy Table?如何将 H5 表查询结果转换为 Astropy 表？
【发布时间】：2020-10-31 13:27:41
【问题描述】：

通常我用 SQL 查询一个在线数据库，但数据库已关闭。我有一个 H5 文件，其中包含我需要查询的表。我使用Table.read_where('condition') 查询了该表，并且对于符合我的标准的每一行都有一个numpy.void 元素列表。有什么方法可以将该行列表放入 Astropy 表中？这就是我以前使用的所有代码，我宁愿不必更改它。这是我一直用来尝试将其转换为 Astropy 表的代码：

import tables
from astropy.table import Table
import numpy as np

Data = tables.open_file('file_path','r') #opens our .h5 file
DataTable = Data.root.TableName #Points to the table

#Queries the table for rows that meet my 'Condition', and outputs a list of numpy.void's 
#containing integers and floats. Each numpy.void represents a row in my table. 
result = [row for row in DataTable.read_where('Condition')]

#I try to turn the list of rows into a Astropy table to use in the rest of my code.
resultTable = Table(rows=result,names=('Column1','Column2','Column3'))

我得到的错误是：

Traceback (most recent call last):

  File "<ipython-input-2-aa9501cdbf2a>", line 1, in <module>
    runfile('FilePath', wdir='FilePath')

  File "Spyder File", line 827, in runfile
    execfile(filename, namespace)

  File "Spyder File", line 110, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "File Path", line 27, in <module>
    resultTable = Table(rows=result,names=('Column1','Column2','Column3'))

  File "FilePath/python3.7/site-packages/astropy/table/table.py", line 420, in __init__
    rec_data = recarray_fromrecords(rows)

  File "FilePath/lib/python3.7/site-packages/astropy/table/np_utils.py", line 196, in recarray_fromrecords
    return np.rec.fromarrays(array_list, formats=formats)

  File "FilePath/lib/python3.7/site-packages/numpy/core/records.py", line 645, in fromarrays
    _array[_names[i]] = arrayList[i]

ValueError: Can't cast from structure to non-structure, except if the structure only has a single field.

我尝试通过np.rec.fromrecords 传递result 以检查这是否有效，因为[Astropy 文档] (https://docs.astropy.org/en/stable/table/construct_table.html#construct-table) 说它必须能够通过该函数。它可以正常工作，没有任何错误。我不知道从这里去哪里。

我的替代计划是创建一个由result 中的行组成的 PyTables 表，并从中提取列作为 numpy 数组。我宁愿坚持只使用 Astropy，因为我使用的代码是围绕 Astropy 构建的，坚持使用它会更容易，而不是通过将其更改为 PyTables。

【问题讨论】：

首先，没有 scipy 表之类的东西。你导入了我几乎没有经验的两件事，astropy.table 和tables（是Pytables？）它看起来有点像一个或两个使用numpy 结构化数组（又名recarray）。您指的是什么scipy 文档？此外，当询问错误时，显示整个错误，包括回溯。
PyTables（表）函数DataTable.read_where('Condition') 返回一个匹配表描述的 NumPy 记录数组。这就是您在创建 astropy.table 时想要的（如果我了解 astropy 文档。不确定它是否可以使用记录数组）。你不需要row for row in——只需使用result = DataTable.read_where('Condition')。 astropy.table 可能需要您将记录数组转换为 ndarray。我会让你弄清楚。
结构化数组（和 recarray）记录在 numpy.org/doc/1.19/user/basics.rec.html 中。 numpy.lib.recfunctions 子模块现在有一个 structured_to_unstructured 函数，可以很好地将结构化数组转换为传统的多维数组。
谢谢大家的建议。我错误地混淆了 AstroPy 和 SciPy。这是我的意思的文档：docs.astropy.org/en/stable/table/… 我需要做的就是用实际的 read_where 命令切换迭代的row for row in。谢谢！我是 Pytables 的新手，一直在复制他们的基本示例。
这是否意味着您的问题已解决？ “我需要做的就是用实际的 read_where 命令切换迭代 row for row in。”

标签： python numpy pytables astropy

【解决方案1】：

基于documentation for AstroPy Table，第一个参数可以是 NumPy 结构化数组或一维齐次数组（相同类型）。

PyTables（表）函数DataTable.read_where('Condition') 返回一个匹配该表描述（在 NumPy 术语中称为 dtype）的 NumPy 记录数组。因此，您想使用返回的数组来创建您的 AstroPy 表。 Pytables 调用中不需要row for row in；只需使用result = DataTable.read_where('Condition')。

注意：默认情况下，astropy.table 将使用 NumPy 数组中的字段名称。您可以使用 (print (result.dtype) 查看它们。添加 names= 参数会使用您提供的名称覆盖默认名称。

更新的代码显示以下更改：

Data = tables.open_file('file_path','r') #opens our .h5 file
DataTable = Data.root.TableName #Points to the PyTable table

#Queries the table for rows that meet my 'Condition', and 
# returns a NumPy record array with dtype matching the table description
result = DataTable.read_where('Condition')

#reference the Numpy Array to create a AstroPy table for use in the rest of my code.
resultTable = Table(rows=result,names=('Column1','Column2','Column3'))

【讨论】：