Hadoop0.20更新笔记

本节向大家介绍一下Hadoop0.20更新的内容,在学习Hadoop的过程中你可能会遇到这方面的问题,在这里和大家分享一下,相信通过本节的介绍大家对Hadoop0.20更新有一定的认识。下面是详细介绍。

Hadoop0.20更新笔记

最近学习hadoop0.20.1,网上找到一篇文章《What’sNewinHadoopCore0.20》,非完整的给翻译了一下,为以后检索方便,发上来保存一份。如果能读懂英文的,千万不要看下面的中文。

HadoopCore0.20.0在2009年4月22日发布。这一发布相对0.19发布,有很多用户使用层面上的改变。

Core
Hadoop中两个主要的组件是分布式文件系统(HDFS)和MapReduce,那两个组件分别挪入各自的子项目中,因此他们能拥有自己的发布周期,并且更容易对开发进行管理。但是在0.20发布中,这两个组件还是在一起发布。在这次发布中,hadoop-size.xml被拆分成三个配置文件:core-site.xml、hdfs-site.xml和mapred-site.xml(HADOOP-4631)。你也可以继续使用单一的hadoop-site.xml,hadoop仅仅会提出一个警告而已。默认配置文件已经移出conf文件夹,转而放到.jar文件中,其内容可以看docs文件夹中的html文件。不赞成start-all.sh、stop-all.sh的使用,建议使用start-dfs.sh、start-mapred.sh、stop-dfs.sh、stop-mapred.sh来代替。
上面说的是一些主要的变化,而允许slaves文件中加注注释(HADOOP-4454)对实际操作更为有用。
Hadoop配置文件支持Xinclude元素,用于引入其他的配置文件(HADOOP-4944(url:https://issues.apache.org/jira/browse/HADOOP-4944))。这一机制能让配置文件更加模块化、更易于重用。
围绕安全问题,hadoop作出了一系列动作。其中0.20.0增加了service-levelauthorization(HADOOP-4348)。开发人员能够限制客户端与hadoopdaemons的通信。
LZOcompressionlibraries因为许可的原因移出了hadoopcore,如果你的代码使用GPL许可证,你还是能从hadoop-gpl-compression项目中得到LZO。

HDFS
HSFSappend从0.19.1开始默认disable。
hadoop增加了一个新的管理命令:hadoopdfsadmin-saveNamespace。在安全模式下,这个命令能让namenode转存namespace到磁盘。

相关推荐