目的:

CentOS7 安装 Hadoop 伪分布式环境

组件版本信息:

Hadoop: 2.7.7

Hbase: 1.4.8

zookeeper:3.4.7

资料下载:

资料包含:虚拟机安装包,CentOS7镜像,所需组件

链接:https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg   提取码:hysl

Linux 设置:

(1.)关闭防火墙:

systemctl stop firewalld.service            #停止firewall
  systemctl disable firewalld.service        #禁止firewall开机启动

免密登陆  ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  chmod 0600 ~/.ssh/authorized_keys

(2.)修改主机名:

vim /etc/hosts  【添加 IP 和自定义主机名】

vim /etc/hostname  【删除原有内容,替换为自定义主机名】

伪分布式Hadoop + zookeeper + Hbase

    (3.)重启虚拟机

 reboot  / init 6

=================【安装前 准备】=================

  cd /usr/local

  mkdir mytars bigdata

  所有 软件包存放在 /usr/local/mytars 

  所有 文件解压在 /usr/local/bigdata  

==============================================

(4.)安装jdk

  <1.> 查看 是否自带openJDK

 伪分布式Hadoop + zookeeper + Hbase

     <2.> 删除 openJDK

 使用 rpm -e --nodeps ... 命令进行删除;删除标准以不删除不带箭头的内容为标准

伪分布式Hadoop + zookeeper + Hbase

     <4.> 安装JDK

#cd /usr/local
#mkdir java
#tar java.tar.gz -C /usr/local/java

  <5.> 配置环境变量

  vim /etc/profile

伪分布式Hadoop + zookeeper + Hbase

   (5.)安装 Hadoop   【解压命令就不写了】

  <1.> 修改配置文件

================>>>>>>> core-site.xml  <property>         <name>hbase.rootdir</name>         <value>hdfs://xuyf:9000/hbase</value>     </property>     <property>         <name>hbase.cluster.distributed</name>         <value>true</value>     </property>     <property>        <name>hbase.master</name>        <value>xuyf:60000</value>      </property>     <property>         <name>hbase.zookeeper.quorum</name>         <value>xuyf</value>     </property>     <property>        <name>hbase.tmp.dir</name>        <value>/root/hbase/tmp</value>    </property>
================>>>>>>> hadoop-env.sh  export JAVA_HOME=/usr/local/java/jdk1.8.0_161
================>>>>>>> hdfs-site.xml  <property>        <name>dfs.replication</name>        <value>1</value>    </property>        <property>        <name>dfs.namenode.name.dir</name>        <value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/name</value>       </property>     <property>        <name>dfs.datanode.data.dir</name>        <value>/usr/local/bigdata/hadoop-2.7.7/tmp/dfs/data</value>    </property>    <property>        <name>dfs.namenode.secondary.http-address</name>        <value>xuyf:50090</value>    </property>
================>>>>>>> mapred-site.xml  <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>================>>>>>>> yarn-site.xml  <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>

  <2. > 配置环境变量  【包括所有组件的配置方法,SO  后面不再写了】

伪分布式Hadoop + zookeeper + Hbase

     修改命令:vim /etc/profile

   使之生效:source   /etc/profile

  <3. > 格式化namenode 启动并检查

// 格式化namenodecd  hadoop2.7.7/bin/./hdfs namenode -format// 启动 Hadoopcd  hadoop2.7.7/sbin/./start-all.sh// 检查方式:(1.) jps ==> 显示:namenode,secondarynamenode,datanode,nodemanager.resourcemanager(2.) 检查namenode web页面:  主机ip / 主机映射名:50070

(6.) 安装Zookeeper

  <1.> 进入conf目录并拷贝默认的配置文件模板zoo_sample.cfg,并命名为zoo.cfg,并修改

// 修改dataDir=/usr/local/bigdata/zookeeper-3.4.7/data
dataLogDir=/usr/local/bigdata/zookeeper-3.4.7/logs// 结尾处添加
server.1=xuyf:2888:3888

  <2. >创建dataDir 和 dataLogDir 目录。

  <3. >echo 1 > /usr/local/bigdata/zookeeper-3.4.7/data/myid

  <4. >执行bin目录下的zkServer.sh start ,启动zookeeper

(7.)  安装Hbase

  <1. >修改配置文件

================>>>>>>> hbase-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_161export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.7export HBASE_HOME=/usr/local/bigdata/hbase-1.4.8export HBASE_CLASSPATH=/usr/local/bigdata/hadoop-2.7.7/etc/hadoopexport HBASE_MANAGES_ZK=false
================>>>>>>> hbase-site.xml    <property>         <name>hbase.rootdir</name>         <value>hdfs://xuyf:9000/hbase</value>     </property>     <property>         <name>hbase.cluster.distributed</name>         <value>true</value>     </property>     <property>        <name>hbase.master</name>        <value>xuyf:60000</value>      </property>     <property>         <name>hbase.zookeeper.quorum</name>         <value>xuyf</value>     </property>     <property>        <name>hbase.tmp.dir</name>        <value>/root/hbase/tmp</value>    </property>================>>>>>>> regionservers  xuyf

  <2. >注意事项:

   hbase-site.xml中hbase.tmp.dir指定hbase的临时数据存储目录为/root/hbase/tmp,注意启动hbase前需要提前建立好对应目录

  <3. >执行bin目录下的start-hbase.sh 启动 Hbase

  <4.>检查

    jps   ==》HMaster ,HRegionServer

    web ==》主机ip / 主机映射名:16010