【问题标题】:what's the easiest way to load array data from a file in Python?从 Python 文件中加载数组数据的最简单方法是什么?
【发布时间】:2016-06-30 18:36:51
【问题描述】:

我知道 Matlab 有一些很好的语法,您可以在其中将数组定义放入文件中,例如 A = [[1,2,3],...,然后您可以导入该文件并自动读取所有这些定义。我想在 Python 中做类似的事情。基本上我正在寻找从文件中读取表格数据的最简单方法,并将结果对象作为 numpy 数组实例。实现这一目标的最简单方法是什么? (或者最 Pythonic 的方式?)

说文件中的数据如下:

Array1
1 0 0 0
2 1 0 0
3 0.3333333333325028 0 0
4 0.6666666666657888 0 0

Array2
1 1 1 1
2 3 1 1
3 2 2 2
4 3 2 2
5 1 1 3
6 1 3 4
7 1 4 2

【问题讨论】:

  • csv 格式在所有行的列数相同并且您想要一个数组(或表)时很方便。但是对于像这样的多个数组,csv 格式很尴尬。

标签: python file numpy io


【解决方案1】:

文件test1.py

#!/usr/bin/python
a=[1,2,3,4,5,6]

文件test.py

#!/usr/bin/python

import test1

print test1.a

现在如果你运行 test.py:

$ ./test.py
[1, 2, 3, 4, 5, 6]

【讨论】:

  • 感谢您的回答。我一直在看这种方式,但我不喜欢数据在模块文件中的事实。还有其他方法吗?另外,如果数据格式不正确,我希望能够在不破坏它的情况下读取它。
  • 这是 AFAIK 最简单的方法,如果您需要其他功能,例如具有自定义格式的自定义文本文件和/或允许松散类型的数据,那么它不再是最简单的了
  • 这可能是最简单的,但也很危险不是吗?任何人都可以在那里编写将被执行的错误代码。
  • 是的,这很危险,除非您完全控制数据,否则不应使用它
  • 不幸的是我没有,所以我不能使用你的方法。你知道我能不能用 pandas 来做这个?
【解决方案2】:

如果您想将数据放入 Python 模块中,那么 Jahid 在下面所说的内容很有效。

另一方面,如果您希望将数据放在单独的文件中,例如一个文本文件,然后在脚本中读取它,您可能想要使用numpy.loadtxt(它旨在自动将类似矩阵的文件读取到numpy数组中)。

http://docs.scipy.org/doc/numpy/reference/generated/numpy.loadtxt.html

【讨论】:

  • 我发现this article 不建议使用此功能。熊猫呢?
  • 一旦数据进入您的工作区,您将如何使用这些数据?如果 Pandas 数据框和系列对您有意义,请使用 Pandas 加载器。但是,如果您使用的只是numpy,那么请坚持使用loadtxt(或genfromtxt)。这篇文章给出使用 Pandas 的唯一原因是速度。
  • 读取数据后我基本上需要numpy数组,尽管数组有不同的类型。我会再次尝试使用这些功能。
  • @aaragon:pandas 可以更好地处理复杂数据、错误数据、cmets 数据、日期数据、较大文件等。loadtxt 适用于少量非常简单的数据,但如果你有任何复杂的东西或者你有非常大量的数据,pandas 会更好。
【解决方案3】:

您可能想要的是将数据放入yaml 文件格式。它是一种文本数据格式,其结构基于 Python 等高级脚本语言。您可以在其中放置多个任意类型的二维数组。但是,由于它只是数据,而不是代码,因此它不像将数据直接放入 Python 脚本那样危险。它可以很容易地制作2D arrays,或更严格的嵌套列表(具体参见该链接中的示例 2.5),以及普通列表、字典、嵌套字典、字符串及其任何组合的等价物。由于您可以将一种数据类型嵌套在另一种数据类型中,因此您可以拥有一个二维数组字典,例如,它可以让您将多个数组放在一个文件中。

这是您在 yaml 中的示例:

Array1:
- [1, 0, 0, 0]
- [2, 1, 0, 0]
- [3, 0.3333333333325028, 0, 0]
- [4, 0.6666666666657888, 0, 0]

Array2:
- [1, 1, 1, 1]
- [2, 3, 1, 1]
- [3, 2, 2, 2]
- [4, 3, 2, 2]
- [5, 1, 1, 3]
- [6, 1, 3, 4]
- [7, 1, 4, 2]

下面是如何使用 PyYaml 包将其读入 numpy 数组(在我的示例中,该文件称为“temp.yaml”):

>>> import yaml
>>>
>>> with open('temp.yaml') as ym:
....    res = yaml.load(ym)
>>> res
{'Array1': [[1, 0, 0, 0],
  [2, 1, 0, 0],
  [3, 0.3333333333325028, 0, 0],
  [4, 0.6666666666657888, 0, 0]],
'Array2': [[1, 1, 1, 1],
  [2, 3, 1, 1],
  [3, 2, 2, 2],
  [4, 3, 2, 2],
  [5, 1, 1, 3],
  [6, 1, 3, 4],
  [7, 1, 4, 2]]}
>>> array1 = np.array(res['Array1'])
>>> array2 = np.array(res['Array2'])
>>> print(array1)
[[ 1.          0.          0.          0.        ]
 [ 2.          1.          0.          0.        ]
 [ 3.          0.33333333  0.          0.        ]
 [ 4.          0.66666667  0.          0.        ]]
>>> print(array2)
[[1 1 1 1]
 [2 3 1 1]
 [3 2 2 2]
 [4 3 2 2]
 [5 1 1 3]
 [6 1 3 4]
 [7 1 4 2]]

【讨论】:

    猜你喜欢
    • 2015-11-26
    • 2017-02-11
    • 1970-01-01
    • 1970-01-01
    • 2010-09-07
    • 1970-01-01
    • 2010-09-25
    • 2011-03-28
    • 1970-01-01
    相关资源
    最近更新 更多