砚浅

砚浅

砚浅 huangjnjava

文章 阅读 14
文章 阅读 10
文章 阅读 9
砚浅
砚浅

如何高效的阅读hadoop源代码?

如何高效的阅读hadoop源代码?个人谈谈阅读hadoop源代码的经验。接下来进入主题,说一下阅读源代码的个人经验。这个阶段,第一件要做的事情是,选择一个hadoop组件。这个阶段,是验证你阅读源代码成效的时候。
文章 阅读 14
砚浅
砚浅

Hadoop2.3-HA高可用集群环境搭建

前言: 作为安装Hadoop的第一步,就是根据实际情况选择合适的Hadoop版本,这次我所用的CDH5.1.0,基于Hadoop2.3版本。那么什么是CDH呢,下面科普一下。所以初学者使用CDH来搭建Hadoop是一个很好的选择。
文章 阅读 12
砚浅
砚浅

Virtualbox虚拟Ubuntu共享文件夹设置

1. 设置共享文件夹 点击"设备(Devices)" -> 共享文件夹(Shared Folders)菜单,添加一个共享文件夹,选项固定和临时是指该文件夹是否是持久的。共享名可以任取一个自己喜欢的,比如"hadoop",尽量使用英文名称。
文章 阅读 30
砚浅
砚浅

kudu存储引擎

当然这是题外话,毕竟Kudu不是用来代替HBase的。。数据存储的选择上,HBASE和HADOOP在吞吐率、延迟上各有侧重,如果做数据分析,要从HBase导出到hadoop平台再用Hive查询,这就要求系统要混布HBASE和hadoop。。
文章 阅读 14
砚浅
砚浅

Hadoop学习:HDFS的运行原理

多大?分NameNode、SecondaryNameNode、DataNode这几个角色。NameNode:是Master节点,是大领导。是NameNode的冷备份;减少namenode的工作量。Client将FileA写入到HDFS上。。
文章 阅读 10
砚浅
砚浅

搭建企业级高可用HBase

HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。2、容量的优雅扩展。大数据驱使下的动态扩展系统容量是必须的。
文章 阅读 8
文章 阅读 8
砚浅
砚浅

pig的第一个程序

如果是基于Spark的方式来操作HDFS,在采用Scala语言,来写wordcount,5行代码也能搞定,但是如果使用spark,基于Java的api来写,那么就臃肿了,没有几十行代码,也是搞不定的。非常简洁方便!
文章 阅读 4
文章 阅读 15
砚浅
砚浅

HADOOP 机架感知

默认情况下,Hadoop的机架感知是没有被启用的。接受的参数通常为某台datanode机器的ip地址,而输出的值通常为该ip地址对应的datanode所在的rack,例如”/rack1”。print "$rack";以上介绍Hadoop集群
文章 阅读 10
文章 阅读 14
砚浅
砚浅

hadoop_rpc简介

1.2 RPC至少有两个过程。调用方(client),被调用方(server)。1.3 client主动发起请求,调用指定ip和port的server中的方法,把调用结果返回给client。1.4 RPC是hadoop构建的基础。
文章 阅读 6
砚浅
砚浅

Hadoop 1.x升级至Hadoop-2.2.0经验分享

这样删除旧版信息后,就可以$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode -upgrade进行升级了。(6)Hadoop2.2.0升级到这里已经完毕并且namenode进程已经启动。
文章 阅读 10
砚浅
砚浅

Hadoop(一):CentOS 安装hadoop

二、生成SSH密钥对 务必要避免输入口令,否则,主节点每次试图访问其他节点时,你都得手动输入这个口令 生成密钥对之后,公钥的形式为: 三、将密钥公布(本人的target为localhost) [hadoop-user@brain/]#ssh
文章 阅读 7
文章 阅读 7
文章 阅读 27
砚浅
砚浅

zz hadoop常见问题

修改办法: 修改2个文件。。。如本此配置就是在NameNode上删除/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。!!
文章 阅读 19
砚浅
砚浅

hadoop problems

hadoop执行stop-all.sh的时候总是出现“nonamenodetostop” 这个原因其实是因为在执行stop-all.sh时,找不到pid文件了。
加载中...