hadoop经典系列(零)初识hadoop

ApacheHadoop更准确的说是一个基础架构平台。主要提供分布式文件存储,云计算。

具体这个大平台包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有ApacheHive和ApacheHBase等等。

使用hadoop,要结合zookeeper,Hbase使用。

目前有2个主要版本,1.0和2.0。其中各个版本的文件结构都是不兼容的。但是原理都差不多。而对于map/reduce,2.0中采用了新的架构yarn。进一步解决了单点问题。

目前hadoop有2个开源版本,一个是Apache的版本,另一个是Cloudera在Apache的基础上进行优化的版本,也称为CDH3版。

参考文章

apache官方网站

http://hadoop.apache.org/

企业版hadoop官方

http://www.cloudera.com/hadoop/

hadoop基础介绍

http://zh.wikipedia.org/wiki/Apache_Hadoop

hadoop版本对比

http://blog.csdn.net/zhaobisha/article/details/6941841

论坛

http://bbs.chinaunix.net/thread-4063597-1-1.html

developerworks

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/

https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/

hadoop资料-源码分析

MapReduce的输入输出格式

http://blog.csdn.net/codestinity/article/details/7032158

hadoop精品资料

http://sishuok.com/forum/blogPost/list/5833.html

map/reduce详细介绍

http://blog.csdn.net/a221133/article/details/8605218

namenode与secondarynamenode的区别和作用,配置方式

http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454692.html

部署注意事项

http://sishuok.com/forum/blogPost/list/5607.html

hadoopnativelibrary

http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html

压力测试工具

hbase:ycsb

map/reduce:terasort,http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/com.cloudera.hadoop/hadoop-examples/0.20.2-320/org/apache/hadoop/examples/terasort/TeraSort.java

性能优化

linux操作系统提高io性能noatime

http://www.itlearner.com/article/4922

hadoop平台优化概述

http://www.cnblogs.com/flyoung2008/articles/2282731.html

map/reduce数量参考文章

http://blog.sina.com.cn/s/blog_69d9bff301019wqw.html

http://hi.baidu.com/qimeishi/item/7bc1680220c7f968d45a11f7?qq-pf-to=pcqq.c2c

map/reduce参数优化

http://my.oschina.net/JJREN/blog/71314

hadoop源码分析

http://blog.csdn.net/luyee2010/article/details/8623124

hadoop互相ssh配置

http://blog.csdn.net/suileisl/article/details/10474545

Hadoop新MapReduce框架Yarn详解

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

新老版本配置对比

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0

hadoopbalance

http://www.cnblogs.com/gpcuster/archive/2011/02/16/1956555.html

hadoop版本对比

http://www.cnblogs.com/xuxm2007/archive/2013/04/04/2999741.html

相关推荐