Hive 进程内存大小

Question

请您帮我理解 Hive 上下文中的 512mb（以粗体突出显示）是什么？ 它的内存大小是多少？ 我在hive-site.xml 文件中设置了export HADOOP_HEAPSIZE=4192

hadoop@master:~/hive/conf$ ps -ef | grep 'hive'

hadoop 5587 1 0 Feb14 ？ 00:05:27 /usr/lib/jvm/default-jdk/bin/java -Xmx4192m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/home/hadoop/hadoop-2.7.3/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/hadoop -2.7.3 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop/hadoop-2.7.3/lib/native -Dhadoop.policy.file= hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /home/hadoop/hive/lib/hive-metastore-2.3.2.jar org.apache.hadoop.hive.metastore.HiveMetaStore

hadoop 9903 8034 0 10:54 pts/0 00:00:00 grep --color=auto hive

hadoop 21646 15918 1 07:37 pts/3 00:03:02 /usr/lib/jvm/default-jdk/bin/java -Xmx4192m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/home/hadoop/hadoop-2.7.3/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/hadoop/hadoop -2.7.3 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/home/hadoop/hadoop-2.7.3/lib/native -Dhadoop.policy.file= hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dproc_hivecli -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/home/hadoop/ hive/conf/parquet-logging.properties -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /home/hadoop/hive/lib/hive-cli-2.3.2.jar org.apache.hadoop.hive.cli.CliDriver

Answer 1

您编辑的变量是针对客户端的，而不是针对服务器的，并且您不会从 XML 文件中导出任何内容

要配置 HiveServer2 和 Hive 元存储的堆大小，请将 HADOOP_OPTS 变量中的 -Xmx 参数设置为 /etc/hive/hive-env.sh 中所需的最大堆大小

VS

要为 Beeline CLI 配置堆大小，请在 /etc/hive/hive-env.sh 中设置 HADOOP_HEAPSIZE 环境变量

除此之外，这两个值都成功了，所以你可能想看看

Duplicated Java runtime options : what is the order of preference?