已经安装了Ambari,主要是将Nifi服务集成进去好统一管理,安装HDF
组件链接:https://docs.hortonworks.com/,点击选择HDF参考相关docs文档即可。
截止2017年8月21日,目前最新版本是HDF-3.0.1.1,后面版本会继续更新(个人安装的版本为HDF-3.0.0.0)
一、安装前准备
关键下载链接地址:
个人用的操作系统为CentOS 7,找到此处,先下载如下三个安装包
二、配置数据库
1. 配置Postgres
个人Ambari默认安装的是Postgres数据库(保证Postgres已安装):
1)、配置Postgres允许远程连接,按下图更改:
# vim /var/lib/pgsql/data/pg_hba.conf
# vim /var/lib/pgsql/data/postgresql.conf
# systemctl restart postgresql
2. 配置SAM
1) 登录Postgres:
# su - postgres
$ psql
2) 创建数据库registry,密码也为registry
create database registry;
CREATE USER registry WITH PASSWORD 'registry';
GRANT ALL PRIVILEGES ON DATABASE "registry" to registry;
3) 创建数据库streamline,密码也为streamline
create database streamline;
CREATE USER streamline WITH PASSWORD 'streamline';
GRANT ALL PRIVILEGES ON DATABASE "streamline" to streamline;
3. 配置Druid
1) 登录Postgres:
# su - postgres
$ psql
2) 创建数据库、用户和密码都为druid,并授权
create database druid;
CREATE USER druid WITH PASSWORD 'druid';
GRANT ALL PRIVILEGES ON DATABASE "druid" to druid;
3) 创建数据库、用户和密码都为superset,并授权
create database superset;
CREATE USER superset WITH PASSWORD 'superset';
GRANT ALL PRIVILEGES ON DATABASE "superset" to superset;
三、安装HDF
1. 安装HDF Management Pack
将下载的hdf-ambari-mpack-3.0.0.0-453.tar.gz拷贝到/tmp目录下,执行如下命令
ambari-server install-mpack \
--mpack=/tmp/hdf-ambari-mpack-<version>.tar.gz \
--verbose
重启 Ambari server:
ambari-server restart
2. 更新HDF Base URL
点击Ambari menu中的admin下拉—》管理平台—》点击Clusters视图下的Versions—》点击HDP版本(HPD-2.6.1.0)
配置您的HDF Base URL,然后点击Save
3. 建立本地仓库(适合于无网环境)
下载hdf.repo需进行对应修改,放入位置/etc/yum.repos.d/ 目录下
下载HDF-3.0.0.0-centos7-rpm.tar.gz,个人解压到/var/www/html/repo/目录下即可,解压后如下所示:
# yum clean all (清除缓存)
# yum makecache (建立新缓存)
重启Ambari server
# ambari-server restart
四、安装NiFi
1. NiFi配置
添加Nifi服务组件,配置NiFi时,注意如下两个参数需要输入:
Advanced-nifi-ambari-config( specify the Encrypt Configuration Master Key Passwords,至少12位)
Advanced-nifi-ambari-config(provide the Sensitive property values encryption password,至少10位)
2. 安装失败解决方案
安装Nifi过程中出现如下失败:
解决:1、运行命令yum install hdf-select安装hdf-select,再次尝试安装;还是同样失败;
2、进入报错目录cd /var/lib/ambari-agent/cache/common-services/NIFI/1.0.0/package/scripts/,修改params.py内容
(注释掉get_component_version_with_stack_selector函数,后面加上elif not后面那行函数):
重新安装Nifi服务,启动ok。
点击,即可打开Nifi界面(HDF中Nifi默认9090端口,地址http://host:9090/nifi/)