Hadoop伪分布式集群安装部署(内附大数据教程)

一、 准备环境


1, 安装简介

Java-- jdk-8u121-linux-x64.tar.gz

Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)

本系列教程所有jar包,请关注微信公众号 :Spark高级玩法,输入software获取。


二, 修改主机名

2.1查看主机名

hostname

Hadoop伪分布式集群安装部署(内附大数据教程)

2.2 修改/etc/sysconfig/network文件

修改前

Hadoop伪分布式集群安装部署(内附大数据教程)

修改后

Hadoop伪分布式集群安装部署(内附大数据教程)

2.3 立即生效

假如只是完成了步骤2.2,实际上只是修改了静态配置,重启的时候才会生效,要想立即生效,可以输入

Hadoop伪分布式集群安装部署(内附大数据教程)

2.4 修改/etc/hosts

Hadoop伪分布式集群安装部署(内附大数据教程)

3, 安装java

主要就是配置一下JAVA_HOME。在这之前,由于采用的系统往往都带有openjdk,所以要先卸载。

rpm -qa |grep java

rpm -e --nodeps [java]

然后,配置JAVA_HOME及命令系统环境变量

Java的解压路径

Hadoop伪分布式集群安装部署(内附大数据教程)

配置环境变量,vi /etc/profile

Hadoop伪分布式集群安装部署(内附大数据教程)

三、 安装hadoop

配置伪分布式集群,学习来用实际上很简单。跟着下面的步骤,保证能成功。

1, 配置hadoop-env.sh,yarn-env.sh,mepre-env.sh

主要是在这三个文件的开头加上JAVA_HOME,不配置的话他们会自动从环境变量里面获取。配置为了显示指定JAVA版本环境。

export JAVA_HOME=/opt/modules/jdk1.8.0_121

默认情况下是这样的:

Hadoop伪分布式集群安装部署(内附大数据教程)

2,配置core-site.xml


<property>

<name>hadoop.tmp.dir</name>

<value>/opt/modules/hadoop-2.7.4/data/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://Luffy.OnePiece.com:8020</value>

</property>


这里之所以要配置,hostname而不是ip,主要是我们的ip,尤其是虚拟机的ip,会变动,所以为了避免频繁梗概配置文件,就采用hostname。

hadoop.tmp.dir 是hadoop文件系统依赖的基础配置,很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置,默认就放在这个路径中。先创建该目录:mkdir -p /opt/modules/hadoop-2.7.4/data/tmp/

3,配置hdfs-site.xml


<property>

<name>dfs.replication</name>

<value>1</value>

</property>


简单的学习,伪分布式只需要将副本数配置为1(只有一个datanode实例).

4,配置mapred-site.xml


<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>


Mapreduce的运行模式,常用的就是yarn(生产),local(测试)两种模式。

5,配置yarn-site.xml


<property>

<name>yarn.resourcemanager.hostname</name>

<value>Luffy.OnePiece.com</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>


yarn.nodemanager.aux-services 这个属性,常用的还有spark_shuffle,后面讲到Spark的安装配置的时候我们会讲到。

6,配置slaves

此文件,可以配置也可以不配,不配的话需要逐台去启动从节点。

我们配置未前面说的修改后的主机名

Luffy.OnePiece.com

7,配置hadoop环境变量

其实,配置到6小步骤的时候,就可以启动伪分布式模式了,但是很多小白曾经在我博客上留言说,少配置了系统环境变量。就是由于命令sbin/yarn-daemon.sh start resourcemanager类似这些,都是需要使用绝对路径或者相对路径,而不是直接使用

yarn-daemon.sh。其实这样做的目的是方便多版本测试,否则你没测试一个版本都要重建环境变量(当然也可以使用同名链接的方式)。

vi /etc/profile


export HADOOP_HOME=/opt/modules/hadoop-2.7.4/

export HADOOP_PREFIX=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin


生效:

重启,或者再root模式下执行source /etc/profile


四、 测试wc

1, 启动hdfs

格式化,hdfs,然后启动hdfs相关的服务

$hdfs namenode -format

$hadoop-daemon.sh start namenode

$hadoop-daemon.sh start datanode

jps查看进程

Hadoop伪分布式集群安装部署(内附大数据教程)

这个时候可以访问我们的hdfs的50070端口,前提是windows和linux网络是通畅的,使用主机名的话也要讲主机和ip映射C:WindowsSystem32driversetcHOSTS文件

Hadoop伪分布式集群安装部署(内附大数据教程)

在浏览器输入Luffy.OnePiece.com:50070

Hadoop伪分布式集群安装部署(内附大数据教程)

2,启动yarn

$yarn-daemon.sh start resourcemanager

$yarn-daemon.sh start nodemanager

Hadoop伪分布式集群安装部署(内附大数据教程)
Hadoop伪分布式集群安装部署(内附大数据教程)

3,跑wordcount案例

准备好数据

Hadoop伪分布式集群安装部署(内附大数据教程)

运行

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount input/ output

console输出

Hadoop伪分布式集群安装部署(内附大数据教程)

Yarn的Web界面

Hadoop伪分布式集群安装部署(内附大数据教程)

结果

Hadoop伪分布式集群安装部署(内附大数据教程)

五,总结

hadoop伪分布式适合我们平时验证性学习,实际上也可以帮助我们快速学习入门其它的框架比如hive,hbase,spark等。搭建集群,我们学习用的机器一般是不允许的,所以此时采用hadoop伪分布式模式

最后给大家来一波福利吧!一套大数据的教程视频:

Hadoop伪分布式集群安装部署(内附大数据教程)
Hadoop伪分布式集群安装部署(内附大数据教程)

大家快来私信菲儿(学习)来获取吧!

感谢大家持续关注,每天干货多多~

相关推荐