【发布时间】:2020-02-18 10:29:36
【问题描述】:
我们的团队使用的软件严重依赖将 NumPy 数据转储到文件中,这大大降低了我们的代码速度。如果我们可以将 NumPy 数组直接存储在 PostgreSQL 中,我们将获得显着的性能提升。
欢迎在任何数据库或类似数据库的可搜索结构中存储 NumPy 数组的其他高性能方法,但首选 PostgresSQL。
My question is very similar to one asked previously. 但是,我正在寻找一个更健壮和高性能的答案,我希望存储任意 NumPy 数组。
【问题讨论】:
-
看看这个扩展是否对你有用。 pgxn.org/dist/pandapost
-
任何任意 NumPy 数组 ... 关系数据库,甚至是像 Postgres 这样免费的开源企业级数据库,都应该规划和设计具有所有模式、表、字段、用户和其他理想情况下已知并提前准备好的组件。动态转储 any 数据是不可取的,并且可能最终导致系统混乱。询问任何 DBA!或许可以考虑.npy binary format、pickle 或其他非文本格式?
-
你能详细说明一个凌乱的系统吗?这可能是对帖子的一个很好的回答
标签: python sql postgresql numpy