marklogic 内容泵纱线支持答案

【问题标题】：marklogic content pump yarn supportmarklogic 内容泵纱线支持
【发布时间】：2015-04-10 22:13:35
【问题描述】：

我们在 cdh5.2.4 上以分布式模式运行mlcp.sh，该作业始终在本地运行，它没有提交给纱线/资源管理器。有人在cdh5+ 上成功实施mlcp 吗？

我们正在使用 marklogic-contentpump-1.0.5.jar

 bin/mlcp.sh export 
-host xxx.xx.xx.xxx 
-port xxxx 
-username <user> 
-password xxxxx 
-output_type sequence 
-compress_type record 
-output_file_path /tmp 
-mode distributed 
-job_queue cp11 
-query_type unfiltered 
-max_split_size 500 
-query_config file.properties 
-after_ts 2015-01-01T16:55:05-04:00 
-before_ts 2015-04-10T17:55:37-04:00  
-perm_path /data/mlcp

【问题讨论】：

你能发布更多关于你尝试过的信息吗？

标签： hadoop-yarn marklogic mlcp

【解决方案1】：

从 client-0.20 更改为 client for yarn 后修复

使用 hadoop-client 包中提供的 JAR 文件确保将/usr/lib/hadoop/client-0.20（用于 MRv1 API）或/usr/lib/hadoop/client（用于 YARN）下提供的所有 JAR 文件添加到您的项目中。

例如，您可以将此位置添加到 JVM 类路径：

$ export CLASSPATH=/usr/lib/hadoop/client-0.20/\*

【讨论】：