Ambari离线安装大数据集群

Ambari 离线安装大数据集群

Ambari 系列搭建集群的教程。 小编带你一步步躺坑,带你完全从小白系列搭建一套属于自己的大数据集群

如下大纲:

1、环境准备

1.1 安装环境

Centos 最小化安装:各个节点进行:网络配置(Nat 模式且可以共享主机网络)

环境部分,所有节点都要做!!!

-  Master 6G 2C 60G
-  Node1 4G 1C 50G
-  Node2 4G 1C 50G

1.2 修改IP

# 修改命令
vi /etc/sysconfig/network-scripts/ifcfg-ens32 

# 内容如下
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp    --- 动态ip
DEFROUTE=yes
NAME=ens32
DEVICE=ens32
ONBOOT=yes       ---自动获取
IPADDR=192.168.6.5
NETMASK=255.255.255.0

#重启网络
service network restart

1.3 修改主机名

# 命令修改
hostnamectl set-hostname Master.hadoop
hostnamectl set-hostname Node1.hadoop
hostnamectl set-hostname Node2.hadoop

# 修改文件
vi /etc/hosts

192.168.6.5 Master.hadoop 
192.168.6.6 Node1.hadoop 
192.168.6.8 Node2.hadoop

1.4 免密登录

# 生成密钥
ssh-keygen

# 免密配置
ssh-copy-id -i /root/.ssh/id_rsa.pub Master.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node1.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node2.hadoop

1.5 防火墙

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewall

#关闭SELinux

临时关闭,不用重启机器:
setenforce 0
修改配置文件需要重启机器:
vi /etc/sysconfig/selinux
SELINUX=disabled

# 查看SELinux状态
sestatus

1.6 安装Httpd

#安装 Apache HTTP 服务器
#安装HTTP 服务器,允许 http 服务通过防火墙(永久)

[root@Master ~]# yum install httpd
[root@Master ~]# firewall-cmd --add-service=http 
[root@Master ~]# firewall-cmd --permanent --add-service=http

添加 Apache 服务到系统层使其随系统自动启动
[root@Master ~]# systemctl start httpd.service
[root@Master ~]# systemctl enable httpd.service

1.7 开启NTP

# 开启NTP服务
[root@Master ~]#yum install ntp
[root@Master ~]#systemctl is-enabled ntpd
disabled
[root@Master ~]#systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@Master ~]#systemctl start ntpd

1.8 JDK

1.8.1 Master安装

# 解压下载压缩包
tar xf jdk-8u144-linux-x64.tar.gz -C /usr/local/

# 修改环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_144/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 刷新环境
source /etc/profile

# 查看
java -version

1.8.2 Scp脚本

同步到 Node1,Node2, 可以到Node....N

# 编写脚本如下:
vi scp.sh

#!/bin/bash
cat host | while read host
do
{
    scp -r $1 $host:$2
}&wait
done

# 编写host 文件,注意与scp.sh 放到一个路径下
vi host

Node1.hadoop
Node2.hadoop


利用shell拷贝
 sh scp.sh /usr/local/jdk1.8.0_144/ /usr/local/jdk1.8.0_144/
 sh scp.sh /etc/profile /etc/
 
 使环境变量生效(全执行)
 source /etc/profile

1.9 时区同步

修改完之后记得重启。 reboot

# 查看时区
date
ll  /etc/localtime

# 修改
timedatectl set-timezone 'Asia/Shanghai'
timedatectl 

2、Amabri源

2.1 添加Amabri用户

adduser ambari
passwd ambari

2.2 安装本地源制作工具

yum install yum-utils createrepo

2.3 下载Amabri-HDP源

#本部分小编已经传到云盘,如有需要联系小编

# 创建Amabri文件夹
mkdir ambari

# 进入文件夹 
cd ambari

# 将下载的Amabri源放到ambari文件夹中,可以使用FZ 等工具上传较快
# 上传完成之后,解压到web服务路径

 tar xf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari/
 
 tar xf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/
 
tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

# 访问本地源  更改为自己的 ip
http://192.168.6.5/ambari/

2.4 配置yum源

# 进入yum路径
cd  /etc/yum.repos.d/

# 配置Amabri-yum 源
 vi ambari.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# 配置HDP-repo 源
 vi hdp.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# yum更新一下
 yum clean all
 yum list update
 yum makecache
 yum repolist

2.5 安装Mysql

# yum安装
yum install mariadb-server

# 启动
 systemctl start mariadb
 systemctl enable mariadb
 mysql_secure_installation
 
 [root@Master ~]# mysql_secure_installation
#首先是设置密码,会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车
#设置密码
Set root password? [Y/n] <– 是否设置root用户密码,输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码
#其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户,回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库,回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表,回车
#初始化MariaDB完成,接下来测试登录,输入密码能正常登陆就完成了
 
 # 安装完成后创建ambari数据库及用户,登录数据库root用户执行下面语句:
[root@Master ~]# mysql -uroot -p
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
# 如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句:
create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

# 如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句:
create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

2.6 安装Mysql驱动

# 也可以自己下载 配置启动的时候带上
yum install mysql-connector-java

2.7 安装Amabri服务

# 安装ambari服务
yum install ambari-server

# 配置ambari服务
 ambari-server setup
 
 # 登录mysql
 mysql -u ambari -p123456
 
 # 进行设置
 use ambari;
 source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

# 启动ambari服务
ambari-server start

2.8 卸载Amabri收费服务

SmartSense 收费服务,移除掉。也可以安装后再移除,这里在安装前移除下。

移除前景

移除方式
# 查包
rpm -qa | greo ambri-agent

#查找 名称
find / -name SMARTSENSE


[root@master yum.repos.d]# find / -name SMARTSENSE
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
移除完成

3、搭建集群

3.1 启动Amabri

ambari-server start

3.2 登录Amabri

# 可以替换为自己的服务器ip
http://192.168.6.5:8080/#/login

# 账号
admin/admin

3.3 配置集群

3.3.1 开始配置

3.3.2 设置名称

3.3.3 配置本地源

Amabri 地址:

http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/
http://192.168.6.5/ambari/HDP-UTILS/

跟本地源要保持一致:

3.3.4 主机名称

与上边设置保持一致,否则会导致下一步注册失败
密钥文件填写Master 上的key即可。

# 查看Key 命令,然后全部复制,粘贴即可

cat /root/.ssh/id_rsa

3.3.5 注册认证

3.3.6 选择安装服务

3.3.7 配置安装节点资源

3.3.8 配置数据源连接

Hive-TEZ 最少需要 512MB 否则警告。

安装中.........

3.3.9 安装完成

Hive 服务启动异常,重新启动下即可。

第一次启动如下:

4、初步认识

4.1 HDFS

Master 主节点 查看Hdfs

Node1 从节点,查看HDFS

4.2 Hive

Node1 从节点,切换hive 用户,登录hive数据库。

4.3 Hbase

4.4 Spark

4.5 PySpark

4.6 Amabri_Server

本站文章资源均来源自网络,除非特别声明,否则均不代表站方观点,并仅供查阅,不作为任何参考依据!
如有侵权请及时跟我们联系,本站将及时删除!
如遇版权问题,请查看 本站版权声明
THE END
分享
二维码
海报
Ambari离线安装大数据集群
Centos 最小化安装:各个节点进行:网络配置(Nat 模式且可以共享主机网络)
<<上一篇
下一篇>>