Apache Ranger安装部署

1.概述

Apache Ranger提供了一个集中式的安全管理框架,用户可以通过操作Ranger Admin页面来配置各种策略,从而实现对Hadoop生成组件,比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客,笔者将为大家介绍如何Apache Ranger的安装部署、以及使用。

2.内容

Apache Ranger提供以下核心功能,它们分别是:

  • 通过统一的中心化管理界面或者REST接口来管理所有安全任务,从而实现集中化的安全管理;
  • 通过统一的中心化管理界面,对Hadoop生态圈组件或者工具的操作进行更加细粒度级别的控制;
  • 提供了统一的、标准化的授权方式;
  • 支持基于角色的访问控制,基于属性的访问控制等多种访问控制手段;
  • 支持对用户访问和管理操作的集中审计。

2.1 架构

Ranger的主要由以下几个核心模块组成,它们分别是:

  • Ranger Admin:该模块是Ranger的核心,它内置了一个Web管理界面,用户可以通过这个Web管理界面或者REST接口来制定安全策略;
  • Agent Plugin:该模块是嵌入到Hadoop生态圈组件的插件,它定期从Ranger Admin拉取策略并执行,同时记录操作以供审计使用;
  • User Sync:该模块是将操作系统用户/组的权限数据同步到Ranger数据库中。

它们之间的流程关系,如下图所示:

 

 

 2.2 工作流程

Ranger Admin是Apache Ranger和用户交互的主要界面,用户登录Ranger Admin时,可以针对不同的Hadoop组件定制不同的安全策略,当策略制定并保存后,Agent Plugin会定期从Ranger Admin拉取该组件配置的所有策略,并缓存到本地。

这样,当有用户来请求Hadoop组件的数据服务时,Agent Plugin就提供鉴权服务,并将鉴权结果反馈给相应的组件,从而实现了数据服务的权限控制功能。当用户在Ranger Admin中修改了配置策略后,Agent Plugin会拉取新策略并更新,如果用户在Ranger Admin中删除了配置策略,那么Agent Plugin的鉴权服务也无法继续使用。

以Hive为例子,具体流程如下所示:

 

 

3.安装部署

3.1 基础环境准备

 3.2 下载源代码

下载源代码地址渠道,如下所示:

  • 官网:https://ranger.apache.org/download.html
  • Github:https://github.com/apache/ranger

3.3 编译源代码

Apache Ranger源代码使用Java语言开发,编译时需要使用Java环境,这里我们使用Maven命令来进行编译。Apache Ranger存储数据库支持MySQL数据库,我们直接使用MySQL数据库来作为Apache Ranger系统的存储数据库即可。

# 使用Maven命令编译
mvn -DskipTests=true clean package

编译成功后,会出现如下所示的截图:

 

 

3.4 安装Ranger Admin

编辑install.properties文件,具体内容如下所示:

# 指明使用数据库类型
DB_FLAVOR=MYSQL 
# 数据库连接驱动
SQL_CONNECTOR_JAR=/appcom/ranger-admin/jars/mysql-connector-java-5.1.32-bin.jar
# 数据库root用户名
db_root_user=root
# 数据库密码
db_root_password=Hive123@
# 数据库主机
db_host=nns:3306 

# 以下三个属性是用于设置ranger数据库的
#数据库名
db_name=ranger
# 管理该数据库用户        
db_user=root
# 管理该数据库密码
db_password=Hive123@

# 不需要保存,为空,否则生成的数据库密码为'_'
cred_keystore_filename=

# 审计日志,如果没有安装solr,对应的属性值为空即可
audit_store=

audit_solr_urls=
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers=

# 策略管理配置,配置ip和端口,默认即可
policymgr_external_url=http://nna:6080

# 配置hadoop集群的core-site.xml文件,把core-site.xml文件拷贝到该目录
hadoop_conf=/data/soft/new/hadoop-conf

# rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密码配置。
# 默认为空,可以不配,对应的内部组件该属性也要为空
rangerAdmin_password=ranger123
rangerTagsync_password=ranger123
rangerUsersync_password=ranger123
keyadmin_password=ranger123

执行setup.sh脚本命令后,如果成功,会出现如图所示的结果:

然后,执行set_globals.sh脚本命令,会出现如下所示的结果。

[root@nna ranger-admin]# ./set_globals.sh 
usermod: no changes
[2022/03/26 21:45:26]:  [I] Soft linking /etc/ranger/admin/conf 
to ews/webapp/WEB-INF/classes/conf
[root@nna ranger-admin]#

然后,在登录界面输入“admin/ranger123”,成功进入主界面,如下图所示:

 

 3.5 安装ranger-usersync

编辑install.properties文件,具体内容如下所示:

# 配置ranger admin的地址
POLICY_MGR_URL = http://nna:6080

# 同步源系统类型
SYNC_SOURCE = unix

# 同步间隔时间,1分钟
SYNC_INTERVAL = 1

# usersync程序运行的用户和用户组
unix_user=ranger
unix_group=ranger

# 修改rangerusersync用户的密码。注意,此密码应与ranger-admin中
# install.properties的rangerusersync_password相同。
# 此处可以为空,同样ranger-admin的也要为空
rangerUsersync_password=ranger123

# 配置hadoop的core-site.xml路径
hadoop_conf=/data/soft/new/hadoop-config

# 配置usersync的log路径
logdir=logs

执行setup.sh脚本命令后,如果成功,会出现如图所示的结果:

 

 在Ranger Admin管理界面,出现如下所示的截图,表名安装成功。

 

4.配置Hive插件

4.1 启动插件

编辑install.properties文件,具体内容如下所示:

# 配置ranger admin的地址
POLICY_MGR_URL = http://nna:6080

# 配置hive的仓库名
REPOSITORY_NAME=hive-ranger

# 配置hive组件的HIVE_HOME
COMPONENT_INSTALL_DIR_NAME=/data/soft/new/hive

# 配置ranger-hive-plugin的所属用户、用户组
CUSTOM_USER=hadoop
CUSTOM_GROUP=hadoop

执行enable-hive-plugin.sh脚本命令,使HDFS插件生效。结果如下图所示:

4.2 创建新用户

在一台Hadoop的Client节点上创建一个新用户(hduser1024),具体操作命令如下所示:

# 新增一个用户
[hadoop@nna ~]$ adduser hduser1024
# 将新增的用户添加到已有的hadoop组中
[hadoop@nna ~]$ usermod -a -G hadoop hduser1024
# 复制hadoop用户下的环境变量
[hadoop@nna ~]$ cp /home/hadoop/.bash_profile /home/hduser1024/

进入Ranger Admin管理界面添加新用户,如下图所示:

 

4.3 配置Hive策略

 在Ranger Admin中选择Hive策略模块,配置内容如下图所示:

 

 这里策略名称、用户名和密码可以任意填写,JDBC驱动类和URL地址填写内容如下所示:

# 驱动类
org.apache.hive.jdbc.HiveDriver

# URL地址,使用Zookeeper模式连接方式
jdbc:hive2://dn1:2181,dn2:2181,dn3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2

接着,进入到具体的数据库、表以及列的权限设置页面,如下图所示:

 

4.4 Hive表权限验证

设置数据库game_user_db,选择表user_visit_pv,然后指定该表下的所有列(使用*号)授予hduser1024用户拥有查询权限(select)。接着,我们可以在Hive的客户端中执行查询语句验证权限:

# 进入到Hive客户端,并切换到指定数据库
hive> use game_user_db;
# 查询表内容
hive> select * from user_visit_pv limit 2;

结果如下所示:

 

 然后,我们进入到Hive策略中,修改只授予hduser1024用户读取uid字段的权限:

 

 接着,我们可以在Hive的客户端中执行查询语句验证权限:

# 进入到Hive客户端,并切换到指定数据库
hive> use game_user_db;
# 查询表内容
hive> select uid from user_visit_pv limit 2;
hive> select uid,pv from user_visit_pv limit 2;

结果如下图所示:

 

 可以看到hduser1024用户只拥有读取uid字段的权限,读取pv字段则会抛出权限异常的错误。

5.总结

综合考虑,Apache Ranger能够很好的和现有系统集成,比如:

  • 支持多组件,比如HDFS、Hive、Kafka等,基本能覆盖现有大数据组件;
  • 支持日志审计,便于问题排查;
  • 用于自己的用户管理体系,方便和其他系统集成。

6.结束语

这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

另外,博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》,喜欢的朋友或同学, 可以在公告栏那里点击购买链接购买博主的书进行学习,在此感谢大家的支持。关注下面公众号,根据提示,可免费获取书籍的教学视频。