【问题标题】:Csv file maximum size that can be imported in h2o可以在 h2o 中导入的 csv 文件最大大小
【发布时间】:2020-06-27 00:43:03
【问题描述】:

可以在 h2o Flow 中导入的外部 CSV 文件最大大小是多少?有文件大小限制吗?

谢谢 萨文德拉

【问题讨论】:

    标签: machine-learning data-science h2o h2o4gpu


    【解决方案1】:

    H2O-3 没有任何特定的文件大小限制。

    由于数据存储在内存中,实际限制与您拥有的内存量直接相关。您可以向现有节点添加更多节点或更多内存,以处理更大的数据集。

    例如,10 亿行的总数据量为 TB,如果您有硬件来处理它就可以了。

    【讨论】:

    • 我们有大约 7000 万条记录(大约 90 GB 数据),我们需要在 h2o 中摄取,然后我们需要在 h2o 中进行建模。请建议我们需要创建的近似 h2o 分布式环境..如堆大小、节点实例数、节点配置以及多个实例将如何通信..因为我们需要对我们的客户端进行估计..所以请建议这些配置。
    • 我建议接受这个问题的答案并创建一个新问题。
    猜你喜欢
    • 1970-01-01
    • 2017-10-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-10-31
    • 2017-06-26
    • 2011-05-09
    • 2017-04-28
    相关资源
    最近更新 更多