Hive - 开始使用 hadoop 2.7.3 和 derby 的问题答案

【问题标题】：Hive - issues on starting using hadoop 2.7.3 and derbyHive - 开始使用 hadoop 2.7.3 和 derby 的问题
【发布时间】：2017-02-16 05:38:02
【问题描述】：

例外：

使用配置初始化日志记录 jar：文件：/usr/local/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties 异步：线程“main”中的 true 异常 java.lang.RuntimeException： org.apache.hadoop.hive.ql.metadata.HiveException： java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:578) 在 org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:518) 在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.run(RunJar.java:221) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:136) 原因： org.apache.hadoop.hive.ql.metadata.HiveException： java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在 org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:226) 在 org.apache.hadoop.hive.ql.metadata.Hive.(Hive.java:366) 在 org.apache.hadoop.hive.ql.metadata.Hive.create(Hive.java:310) 在 org.apache.hadoop.hive.ql.metadata.Hive.getInternal(Hive.java:290) 在 org.apache.hadoop.hive.ql.metadata.Hive.get(Hive.java:266) 在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:545) ... 9 更多原因：java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在 org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1627) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.(RetryingMetaStoreClient.java:80) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:130) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:101) 在 org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3317) 在 org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3356) 在 org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3336) 在 org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:3590) 在 org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:236) 在 org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:221) ... 14 更多原因：java.lang.reflect.InvocationTargetException 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native 方法）在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:526) 在 org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1625) ... 23 更多原因：javax.jdo.JDOFatalInternalException：错误创建事务连接工厂 NestedThrowables： java.lang.reflect.InvocationTargetException 在 org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException（NucleusJDOHelper.java:671）在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:834) 在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:338) 在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:217) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 javax.jdo.JDOHelper$16.run(JDOHelper.java:1965) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.jdo.JDOHelper.invoke(JDOHelper.java:1960) 在 javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166) 在 javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808) 在 javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701) 在 org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:424) 在 org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:453) 在 org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:327) 在 org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:294) 在 org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76) 在 org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136) 在 org.apache.hadoop.hive.metastore.RawStoreProxy.(RawStoreProxy.java:58) 在 org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:581) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:546) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:612) 在 org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:398) 在 org.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java:78) 在 org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:84) 在 org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:6396) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:236) 在 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.(SessionHiveMetaStoreClient.java:70) ... 28 更多原因：java.lang.reflect.InvocationTargetException 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native 方法）在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:526) 在 org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:606) 在 org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:330) 在 org.datanucleus.store.AbstractStoreManager.registerConnectionFactory(AbstractStoreManager.java:203) 在 org.datanucleus.store.AbstractStoreManager.(AbstractStoreManager.java:162) 在 org.datanucleus.store.rdbms.RDBMSStoreManager.(RDBMSStoreManager.java:284) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native 方法）在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:526) 在 org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:606) 在 org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:301) 在 org.datanucleus.NucleusContextHelper.createStoreManagerForProperties(NucleusContextHelper.java:133) 在 org.datanucleus.PersistenceNucleusContextImpl.initialise（PersistenceNucleusContextImpl.java:420）在 org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:821) ... 57 更多原因：org.datanucleus.exceptions.NucleusException：尝试调用“BONECP”插件来创建一个 ConnectionPool 给错误：指定的数据存储驱动程序 ("org.apache.derby.jdbc.ClientDriver") 在 CLASSPATH 中找不到。请检查您的 CLASSPATH 规范和驱动程序的名称。在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:232) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:117) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.(ConnectionFactoryImpl.java:82) ... 75 更多原因： org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException：指定的数据存储驱动程序（“org.apache.derby.jdbc.ClientDriver”）在 CLASSPATH 中找不到。请检查您的 CLASSPATH 规范和驱动程序的名称。在 org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58) 在 org.datanucleus.store.rdbms.connectionpool.BoneCPConnectionPoolFactory.createConnectionPool(BoneCPConnectionPoolFactory.java:54) 在 org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213) ... 77 更多

hive-site.xml

<?xml version="1.0"?>
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:derby:;databaseName=/usr/local/hive/metastore_db;create=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>org.apache.derby.jdbc.ClientDriver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
</configuration>

【问题讨论】：

标签： java hadoop hive derby

【解决方案1】：

1) 将javax.jdo.option.ConnectionDriverName 的值替换为org.apache.derby.jdbc.EmbeddedDriver

或

2) 在hive-client/lib 路径中添加http://central.maven.org/maven2/org/apache/derby/derbyclient/10.10.1.1/derbyclient-10.10.1.1.jar

再试一次

【讨论】：

谢谢！一切正常，但在 hadoop master derby.log 文件中未启动 hive 文件包含以下行 Fri Oct 07 17:00:08 PKT 2016: Booting Derby version The Apache Software Foundation - Apache Derby -$ on database directory /usr/local/hive/metastore_db with class loader $ Loaded from file:/usr/local/hive/lib/derby-10.10.2.0.jar java.vendor=Oracle Corporation java.runtime.version=1.7.0_60-b19 user.dir=/usr/local/hive os.name=Linux os.arch=amd64 os.version=2.6.32-642.1.1.el6.x86_64 derby.system.home=null Database Class Loader started - derby.database.classpath=''
检查此链接cwiki.apache.org/confluence/display/Hive/HiveDerbyServerMode以防您错过任何步骤
我们可以使用 mongodb 而不是 derby 用于 hive 吗？
我不这么认为。它是 Nosql 数据库。试试 MySql 元存储
您检查过/var/log/hive/ 是否有任何日志。在命令行中输入hive 会发生什么？