Hadoop集群及 Hive 安装

Hadoop安装指南 / Hive安装指南

 

Hadoop集群需要一个机器作为Master节点,其余的机器都是slave节点。

HIVE只需在Master节点中安装和配置即可。

 

配置Hadoop

Hadoop的配置比较简单,下面详细讲一下安装与配置步骤。

以配置Hadoop 0.20.2版本为例。

(1) 从hadoop官网上下载hadoop-0.20.2.tar.gz文件,并解压产生hadoop-0.20.2目录,将该目录到/opt/hadoop目录下(如果你解压缩到了其它目录中,注意后面要相应的修改配置项)。

输入命令建立软连接$ ln -s hadoop-0.20.2 hadoop (这样做的好处是如果改用其它版本的hadoop不用重新配置)

(2) Hadoop和Hive都需要机器名。用hostname命令修改本机的机器名,例如修改10.10.10.1的机器名为hadoop139需要键入 # hostname hadoop1

修改/etc/hosts文件,添加Hadoop集群中所有的机器名和Ip地址的对应关系。

Master节点和所有slave节点一定都要添加,否则会出问题。例如在我的所有hadoop机器的/etc/hosts文件都添加

10.10.10.1 hadoop1

10.10.10.2 hadoop2

10.10.10.3 hadoop3

10.10.10.4 hadoop4

10.10.10.5 hadoop5

10.10.10.6 hadoop6

10.10.10.7 hadoop7

(3) 由于Master节点的机器需要ssh无密码登录到所有slave节点,因此所有机器都需要如下配置。

在本文中Hadoop1是Master节点。

打开/etc/ssh/sshd_config文件,确保ssh使用的不是ssh2协议,否则将所有的Protocol 2修改成Protocol 1。

如果修改了该文件,用service sshd restart命令重启一下ssh服务。

键入以下命令

# cd ~/.ssh/

# ssh-keygen -t rsa1 -C "hadoop1" -f /root/.ssh/identity

# cat identity.pub >> authorized_keys

这时本机的公钥文件被存到了authorized_keys文件。

这时ssh localhost命令应该可以不需要输入密码就自动登录本机(如果ssh 本机IP成功,但ssh localhost失败,则可以打开/etc/hosts.allow文件并添加127.0.0.1)。

为了保证master不需要密码直接ssh到slave节点,所有slave机器要rsync下来master机器的/root/.ssh/identity.pub文件,并cat到本机的/root/.ssh/authorized_keys文件。

这时在master节点上用ssh+IP不输入密码直接可以登录slave机器。

(Hadoop需要SSH的无密访问。 Master机器访问Slaves机器)

(4) 修改环境变量

打开/etc/profile文件,在最后添加

export $HADOOP_HOME=/search/hadoop/hadoop

export PATH=$HADOOP_HOME/bin:$PATH

关闭,并运行$ source /etc/profile命令,则环境变量生效。

(5) 修改$HADOOP_HOME/conf/hadoop-env.sh配置文件的两个配置

export JAVA_HOME=配置本机jdk或者jre的路径

(Redhat如果没有jdk,可以yum install java-1.6.0-openjdk-devel,

注意必须是java1.6版本以上,否则hadoop无法正常运行)

#这里设定hadoop占用2G内存,可以根据机器配置来改

export HADOOP_HEAPSIZE=2000

(6) 修改$HADOOP_HOME/conf/hadoop-site.xml文件如下,注意fs.default.name和mapred.job.tracker配置项必须用master节点的机器名而不能IP。

否则运行HIVE时会遇到错误。

<!--[if !supportLists]-->1.  <!--[endif]--><?xml version="1.0"?>   

<!--[if !supportLists]-->2.  <!--[endif]--><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<!--[if !supportLists]-->3.  <!--[endif]-->  

<!--[if !supportLists]-->4.  <!--[endif]--><configuration>   

<!--[if !supportLists]-->5.  <!--[endif]--><property>   

<!--[if !supportLists]-->6.  <!--[endif]-->    <name>fs.default.name</name>   

<!--[if !supportLists]-->7.  <!--[endif]-->    <value>hdfs://hadoop1:9000</value>   

<!--[if !supportLists]-->8.  <!--[endif]-->    <description>The name of the default file system. Either the literal string "local" or a host:port for DFS.</description>   

<!--[if !supportLists]-->9.  <!--[endif]--></property>   

<!--[if !supportLists]-->10. <!--[endif]--><property>   

<!--[if !supportLists]-->11. <!--[endif]-->    <name>mapred.job.tracker</name>   

<!--[if !supportLists]-->12. <!--[endif]-->    <value>hadoop1:9001</value>   

<!--[if !supportLists]-->13. <!--[endif]-->    <description>The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduc  

<!--[if !supportLists]-->14. <!--[endif]--></property>   

<!--[if !supportLists]-->15. <!--[endif]--><property>   

<!--[if !supportLists]-->16. <!--[endif]-->    <name>hadoop.tmp.dir</name>   

<!--[if !supportLists]-->17. <!--[endif]-->    <value>/search/hadoop/hadoop/tmp</value>   

<!--[if !supportLists]-->18. <!--[endif]-->    <description>A base for other temporary directories.</description>   

<!--[if !supportLists]-->19. <!--[endif]--></property>   

<!--[if !supportLists]-->20. <!--[endif]--><property>   

<!--[if !supportLists]-->21. <!--[endif]-->    <name>dfs.name.dir</name>   

<!--[if !supportLists]-->22. <!--[endif]-->    <value>/search/hadoop/hadoop/filesystem/name</value>   

<!--[if !supportLists]-->23. <!--[endif]-->    <description>Determines where on the local filesystem the DFS name node should store the name table. If this is a comma-delimited list of  

<!--[if !supportLists]-->24. <!--[endif]--></property>   

<!--[if !supportLists]-->25. <!--[endif]--><property>   

<!--[if !supportLists]-->26. <!--[endif]-->    <name>dfs.data.dir</name>   

<!--[if !supportLists]-->27. <!--[endif]-->    <value>/search/hadoop/hadoop/filesystem/data</value>   

<!--[if !supportLists]-->28. <!--[endif]-->    <description>Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of dire  

<!--[if !supportLists]-->29. <!--[endif]--></property>   

<!--[if !supportLists]-->30. <!--[endif]--><property>   

<!--[if !supportLists]-->31. <!--[endif]-->    <name>dfs.replication</name>   

<!--[if !supportLists]-->32. <!--[endif]-->    <value>1</value>   

<!--[if !supportLists]-->33. <!--[endif]-->    <description>Default block replication. The actual number of replications can be specified when the file is created. The default is used   

<!--[if !supportLists]-->34. <!--[endif]--></property>   

<!--[if !supportLists]-->35. <!--[endif]--></configuration>  

 

(7) 修改所有机器的$HADOOP_HOME/conf/masters文件,指定了Master节点的IP;

修改所有机器的$HADOOP_HOME/conf/slaves文件,每行指定一个集群中slave节点的IP;

slaves文件示例如下

10.10.10.2

10.10.10.3

10.10.13.4

10.10.15.5

10.10.10.6

10.10.10.7

 

(8) 在Master节点上运行$ hadoop namenode -format 命令格式化namenode

 

(9) 在Master节点运行$HADOOP_HOME/bin/start-all.sh 启动hadoop。

(注意slave机器不用输入该命令,只需要在Master节点操作即可)

在shell中输入jps命令,查看启动的hadoop进程。例如

11304 DataNode

15763 Jps

11190 NameNode

11516 JobTracker

11636 TaskTracker

11437 SecondaryNameNode

注意Master节点中必须包括NameNode、SecondaryNameNode和JobTracker进程,

slave机器必须包括DataNode和TaskTracker进程才算启动成功。

补充:如果要停止,运行$HADOOP_HOME/bin/stop-all.sh

 

Hadoop查询接口

http://master机器IP:50070/dfshealth.jsp (HDFS运行情况)

http://master机器IP:50030/jobtracker.jsp (MapReduce运行情况)

Hadoop常用命令

Hadoop dfs –ls / 就是查看/目录下的内容,默认如果不填路径这就是当前用户路径;

Hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手;

Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况;

Hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等;

Hadoop balancer就是前面提到的均衡磁盘负载的命令。

 

 HIVE配置

HIVE是基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总,即席查询简单化。hive提供了一套QL的查询语言,以sql为基础,使用起来很方便。Hadoop目录下实际上已经自带HIVE,但版本比较低,不推荐使用。

HIVE只需配置在Master节点,步骤如下

<!--[if !supportLists]-->(1)         <!--[endif]-->从官网下载hive-0.6.0-bin.tar.gz并解压缩产生hive-0.6.0-bin文件夹。

在$HADOOP_HOME/目录下建立名叫hive的软链接。

(2) 在/etc/profile增加环境变量

export HIVE_HOME=$HADOOP_HOME/hive

export PATH=$HIVE_HOME/bin:$PATH

(3) 运行如下命令

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse

$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp

$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

(4) 这时已经可以通过命令行(CLI)使用HIVE了。但是这种方式只支持单用户,多用来测试。在实际应用中,往往要将HIVE的元数据(schemal)存入Mysql中。这样就可以支持多用户了。

<!--[if !supportLists]-->36. <!--[endif]--><!--[if gte vml 1]><v:shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" stroked="f"> <v:stroke join><!--[endif]-->

因此需要修改$HIVE_HOME/conf/hive-default.xml配置文件

配置项

javax.jdo.option.ConnectionURL

jdbc:mysql:///?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

 

javax.jdo.option.ConnectionPassword

 

(参考文章http://www.mazsoft.com/blog/post/2010/02/01/Setting-up-HadoopHive-to-use-MySQL-as-metastore.aspx)

(5)从网上下载mysql-connector-java-5.1.11-bin.jar文件,并放到$HIVE_HOME/lib目录下,这时HIVE已经全部配置完了。

 

相关推荐