50字范文,内容丰富有趣,生活中的好帮手!
50字范文 > hadoop 单机单间_零基础入门hadoop大数据四——Hadoop框架前奏 JDK环境配置

hadoop 单机单间_零基础入门hadoop大数据四——Hadoop框架前奏 JDK环境配置

时间:2020-04-12 15:57:19

相关推荐

hadoop 单机单间_零基础入门hadoop大数据四——Hadoop框架前奏 JDK环境配置

~~~~~~~~~一天更新两篇~~~~~~

一、本章节完成的内容

1、使用secureCRT工具连接linux主机(配置非常方便,方便粘贴)

2、上传安装包到linux上(用filezilla)

3、安装JDK

二、secureCRT介绍以及配置

为什么要用secureCRT呢?因为linux自带的命令窗口使用起来还是挺不方便的,比如不能直接使用粘贴复制功能,操作记录少,不能使用滚动条翻页等。

关于secureCRT复制粘贴的使用,不需要ctrl+c 和ctrl+V那么麻烦。

复制:鼠标选中内容就已经复制了

粘贴:在输入窗口,右键单击鼠标即可完成粘贴

安装好secureCRT后,双击打开

1、新建节点

2、配置主机信息

3、连接主机

双击后点同意或者accept,再输入密码以及勾选记住密码,点击ok

三、上传安装包到linux系统。

因为我们需要安装的软件包下载在windows系统内,因此需要借助ftp工具将文件传到linux系统内,我这里介绍filezilla工具。

1、在linux系统内,/opt目录下创建两个文件夹:modules 和 software。Modules用来存放需要安装的各种软件包,software用于存放软件安装路径。这个不是必须的,只是为了便于管理,名字以及存放位置,你们喜欢就行。

A、如果当前用户不是hadoopuser用户,先su Hadoopuser 切换至hadoopuser用户

B、cd /opt/ 进入到/opt目录下

C、mkdir modules software 同时创建两个文件夹。因为opt目录的所属者是root,所以可能hadoopuser用户没有权限创建文件夹,如:

此情况下,我们可以通过sudo命令修改opt目录权限,以便hadoopuser用户可以顺利创建目录。

注意:为啥要求一定要hadoopuser的账号创建文件目录呢?因为后续hadoop框架搭建用的账号是hadoopuser账号,启动hadoop时需要创建临时文件或者启动进程时,需要相关安装目录下的读写权限。如果是用root账号创建的目录,后续则会存在无法正常启动集群的情况,如果在练习搭建集群时遇到相关问题,可检查下是否所有文件的所属者是否都同一个用户。

2、使用filezilla连接linux

A、打开已安装好的filezilla,新建站点

B、填写协议、主机ip地址,端口号默认是22

C、选好源文件路径以及目标路径后,双击需要上传的文件即可。本次我们上传我们需要用的安装包有:

jdk-8u161-linux-x64.tar.gz

hadoop-2.7.3.tar.gz

(后面有个hive,等我配置的时候再上传,避免大家现在混乱)

上传完后,在modules文件下输入ll命令,查看文件是否上传成功

四、安装JDK并配置环境变量

因为上传jdk安装包是个gz文件,需要用tar做进一步解压。Linux的软件安装和windows不一样的是,不需要双击运行exe文件,只需要解压相关文件,然后配置环境变量就ok了。

A、用tar命令解压jdk文件到software目录下

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/software/

解压完检查下是否解压成功:cd /opt/software/

B、配置jdk环境变量

Linux系统的环境变量在/etc目录下的profile文件中进行配置,使用vi 命令

Sudo vi /etc/profile --因为profile文件所有者是root,并不是hadoopuser。

将jdk的bin目录(/opt/software/jdk1.8.0_161/bin)添加至profile文件末尾,保存退出,如图:

请记住,等号两边不要有空格哦,不然会报错

初始化profile文件:source /etc/profile

检测jdk环境变量是否配置成功: java –version,如果结果如图,那就说明成功啦:

到此,hadoop的基础实验环境就全部具备了,下一步正式开始hadoop集群单间,下章节先给大家讲一下hadoop单机版的搭建,今天先到这。

对了,软件安装包大家如果需要的话,评论私聊我,我给你们打包下载的链接。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。