【问题标题】:Query (SQL like joins) remote CSV for data analysis查询(类似 SQL 的连接)远程 CSV 以进行数据分析
【发布时间】:2021-10-07 00:11:13
【问题描述】:

我想查询(带有连接的 SQL)位于网络文件夹中的 CSV 文件以执行数据分析工作。由于监管原因,我不允许将文件移出网络文件夹。显然,我也无法将 CSV 导入数据库表。

我开始为此探索 Presto,但我不确定它是否可以处理这种情况。 Presto 专家有什么建议吗?

【问题讨论】:

    标签: csv data-analysis presto


    【解决方案1】:

    您可以使用 SQLite https://www.sqlite.org/index.html

    SQLite 不是一个“常规”客户端-服务器数据库,它是一个存储所有数据的本地文件数据库(或者甚至在 RAM 内存中) .使用它,您的数据永远不会离开您的网络文件夹。

    您可以轻松地将 CSV 文件导入该本地数据库(导入真实表或virtual table

    【讨论】:

    • 我不允许将数据(CSV 文件)从网络文件夹移到任何数据库中。我需要一些可以直接查询远程 CSV 文件而无需在其他地方加载的东西。
    • @museshad 这正是 SQLite 所做的 - 所有文件和查询都在该远程文件夹上完成..
    猜你喜欢
    • 1970-01-01
    • 2021-09-23
    • 1970-01-01
    • 2015-08-30
    • 2016-09-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-01-07
    相关资源
    最近更新 更多