基于Sentry的大数据权限解决方案

岳涛 • 2023-01-02 • 云技术社区 • 273 阅读

说明

本文描述问题及解决方法同样适用于 弹性 MapReduce（EMR）。

系统环境说明

Linux环境：centos7.4

CDH：5.16.1

Java：1.8.0_131

Sentry版本：1.5.1

背景

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase等。

安装sentry

1. 在主页，单击群集名称右侧的下拉，点击“添加服务”；

2. 选择Sentry，点击“继续”；

3. 选择一组依赖关系；

4. 确认新服务的主机分配；

5. 配置存储数据库；

在mysql中创建对应用户和数据库：

mysql> create database sentry default character set utf8 collate utf8_general_ci;
mysql> grant all on sentry.* to 'sentry'@'cdh03.ali.aiwaystack.com' identified by 'sentry';
mysql> flush privileges;

6. 测试连接

7. 创建Sentry数据表，启动Sentry服务

Hive开启sentry服务以及开启Hive安全性

1. 在“Sentry 服务”中选择“Sentry”

2. 修改下面参数

Hive.warehouse.subdir.inherit.perms-->true

3. 选择hive-site.xml 的 Hive 服务高级配置代码段（安全阀），增加如下配置：

<property>
    <name>sentry.hive.testing.mode</name>
    <value>false</value>
</property>

4. 选择“范围”中的“HiveServer2”，修改如下配置：

hive.server2.enable.impersonation, hive.server2.enable.doAs-->false

5. 选择hive-site.xml 的 HiveServer2 高级配置代码段（安全阀），添加如下配置

<property>
    <name>hive.security.authorization.task.factory</name>
    <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>

6. 选择hive-site.xml 的 Hive Metastore Server 高级配置代码段（安全阀），添加如下参数：

<property>
    <name>hive.metastore.client.impl</name>
    <value>org.apache.sentry.binding.metastore.SentryHiveMetaStoreClient</value>
    <description>Sets custom Hive Metastore client which Sentry uses to filter out metadata.</description>
</property>
<property>
    <name>hive.metastore.pre.event.listeners</name>
    <value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
    <description>list of comma separated listeners for metastore events.</description>
</property>
<property>
    <name>hive.metastore.event.listeners</name>
    <value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
    <description>list of comma separated listeners for metastore, post events.</description>
</property>
<property>
    <name>hive.metastore.filter.hook</name>
    <value>org.apache.sentry.binding.metastore.SentryMetaStoreFilterHook</value>
</property>

配置yarn

在“允许的系统用户”参数“allowed.system.users”中添加hive用户

Yarn->配置->min.user.id修改为合适的值，当前为0

配置sentry

管理员组(sentry.service.admin.group)和允许的连接用户(sentry.service.allow.connect)中添加admin用户和组；

选择“服务范围”，修改管理员组，将默认“hive”、“impala”、“hue”删除，并增加“admin”。

在sentry-site.xml 的 Sentry 服务高级配置代码段（安全阀）中添加如下参数：

<property>
    <name>sentry.service.processor.factories</name>
    <value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value>
</property>
<property>
    <name>sentry.policy.store.plugins</name>
    <value>org.apache.sentry.hdfs.SentryPlugin</value>
</property>
<property>
    <name>sentry.hdfs.integration.path.prefixes</name>
    <value>/user/hive/warehouse</value>
</property>