一、Hadoop生态
二、Hadoop环境的搭建
1. 准备工作
A…新建一台虚拟机 (刚刚安装的全新系统)dt100
B.关闭防火墙
systemctl stop firewalld #关闭防火墙systemctl disable firewalld # 禁用防火墙开机启动
C.创建一个普通权限的用户 “dt”
useradd dt #新建普通用户dtpasswd dt #修改密码为dtsu dt#切换登陆到用户dt
D.进入/opt文件夹新建文件夹software和module文件夹
cd /opt #进入/opt文件夹,1.切回root 创建 2.完成E之后，使用sudo创建mkdir software module #新建两个文件夹chown dt:dt software moudle #更改权限组
E.将普通用户dt添加到sudoers中
vi /etc/sudoers#编辑sudoers配置文件 ,需root权限增加一行内容dt ALL=(ALL) NOPASSWD:ALL:wq! #保存并退出
F.改hosts
vi /etc/hosts# sudo vi /etc/hosts192.168.x.100 dt100192.168.x.101 dt101......192.168.x.109 dt109 #x是网段。
或用脚本修改
vi sethosts.sh#!/bin/bashfor((i=100li<110;i++))doecho "192.168.x.$i dt$i" >> /etc/hostsdone
#执行脚本,需要增加权限 chmod +x sethosts./sethosts.sh
或py脚本 py2
vi pysethosts.py#!/bin/pythonf = open('/etc/hosts','a')for i in range(100,110):f.write('192.168.x.'+str(i)+' dt'+str(i)+'\n')f.close()
G.关机，并拍摄快照，克隆3台（dt101,dt102,dt103)
H.修改每一台机器的IP地址
vi /etc/sysconfig/net......./ifcfg-ens33TYPE="Ethernet"BOOTPROTO='static'IPADDR="192.168.x.10x"GATEWAY="192.168.x.2"DNS1="192.168.x.2"NAME="ens33"DEVICES="ens33"ONBOOT="yes"
I.修改每一台主机名
vi /etc/hostname或hostnamectl set-hostname dt10x查看主机名hostname
2. 安装与配置
A.将hadoop与java安装文件上传到/opt/software文件夹
B.解压文件
tar -zxvf 压缩包名 -C /opt/module
C.配置环境变量-JAVA
vi /etc/profile#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk....export PATH=$PATH:$JAVA_HOME/bin:wq!source /etc/profilejava -version #查看版本jps #查看java进程
D.配置环境变量-Hadoop
vi /etc/profile#Hadoop_HOMEexport HADOOP_HOME=/opt/module/hadoop..........export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:wq!source /etc/profilehadoop version #查看hadoop版本
网络不可用时，尝试关闭网络管理器，并重启网络服务器
systemctl stop NetworkManager #关闭网络管理器#systemctl disable NetworkManager #每次都需要关闭的情况下，再选择禁用.systemctl restart network #重启网卡
