【问题标题】:Prevent H2O from writing to tmp file防止 H2O 写入 tmp 文件
【发布时间】:2020-06-11 19:11:51
【问题描述】:

我正在通过命令行在服务器上启动 H2O 集群。文档说 H2O 需要 /tmp 目录中的空间来写入。有没有办法让 h2o 写入 /tmp 以外的其他目录?这里的参考是文档和我用来通过命令行通过 os.system() 调用启动 h2o 的 python 代码:

https://h2o-release.s3.amazonaws.com/h2o/rel-wolpert/8/docs-website/h2o-docs/starting-h2o.html

# Define string to be passed to command line to spin up cluster
h2o_init_command = (
    "nohup java " 
    "-Xmx{cluster_mem_size} "
    "-jar {jar_file} "
    "-nthreads {cluster_threads} "
    "-name {cluster_port} " 
    "-port {cluster_port} " 
    "-ice_root {ice_root_file} " 
    "-hash_login "
    "-login_conf {authentication_file} " 
    "> {nohup_file} &"
    ).format(cluster_mem_size=cluster_mem_size, 
           jar_file=p.JAR_FILE, 
           cluster_threads=cluster_threads,
           cluster_port=cluster_port,
           ice_root_file=p.ICE_ROOT_FILE, 
           authentication_file=p.AUTHENTICATION_FILE, 
           nohup_file=nohup_file
            )

# Start an H2O cluster
return_cde = os.system(h2o_init_command)

【问题讨论】:

    标签: storage h2o tmp


    【解决方案1】:

    已经有一段时间了,但如果我记得,这样做的方法是通过设置 -ice_root 路径。这就是 h2o-on-hadoop 启动路径的作用。那里没有多少,只有一些小日志文件。没有大数据。因此,即使您有一个小的 /tmp,也可以保留它。

    【讨论】:

    • ice_root 路径似乎重定向了某些类型的日志文件,但不是全部。即使将 ice_root 设置为不同的位置。 H2O 正在 /tmp 目录中生成类似于以下示例的文件夹。问题是,如果 /tmp 已满,它甚至会阻止 H2O 从一开始就启动: tmppnjcsy09 tmppotv7bq7 tmpq6qnjq8t tmptkeiujzp tmpud_oc1x0 tmpvish6c5r tmpwldy9f6b tmpwt3z99ss tmpy34xsomx tmpypdfie3 tmpzi0t
    猜你喜欢
    • 1970-01-01
    • 2016-02-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-02-28
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多