maxhello 2018-08-15 15:29:38 spark 集群环境搭建 需要的环境: 1.java1.8 2.hadoop-3.1.1(spark用到他的hdfs) 3.zookeeper-3.4.11(spark自动转移master用) 4.spark-2.3.1-bin-without-hadoop 三台服
maxhello 2016-09-30 14:54:41 sqoop2 1.99.5 安装+hue 首先知道sqoop是做什么的 sqoop是一个把关系型数据库数据抽向Hadoop的工具。同时,也支持将hive、pig等查询的结果导入关系型数据库中存储。等张哥来了协调重启hue。启动hue,hue依赖于apache。
maxhello 2015-09-04 09:03:57 hadoop学习之路_1、自定义序列化类 一、Hadoop序列化 1、序列化(Serialization)是指把结构化对象转化为字节流。2、Hadoop节点间通信。五、使用hadoop内置的序列化类(不使用自定义序列化类),实现流量统计的功能。六、自定义序列化类
maxhello 2015-08-02 14:40:08 hadoop 初学者在eclipse中开发的问题 //local FileSystem's instance FileSystem local =FileSystem.getLocal(conf);//(args[0]);byte [] buffer=new byte[256];
maxhello 2015-01-21 07:11:42 HDFS+MapReduce+Hive+HBase十分钟快速入门 2. Hadoop家族 截止2009-8-19日,整个Hadoop家族由以下几个子项目组成: 成员名 用途 Hadoop Common Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。
maxhello 2015-01-13 07:26:06 【转】hadoop集群部署 http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
maxhello 2014-10-20 08:43:18 ubuntu14.04的hadoop环境搭建(全分布模式) 而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。配置hdfs-site.xml文件 ,修改Hadoop中HDFS的配置,配置的备份方式默认为3。--EndFragment--> <!
maxhello 2014-08-27 07:14:49 centos6.5 hadoop2.2.0 --指定hadoop的临时目录--> <property> <name>hadoop.tmp.dir</name> <value>/mycloud/hadoop-2.2.0/temp</value> </property> <!
maxhello 2014-07-10 00:29:27 hadoop(4)Cluster Setup on hadoop 2.4.1 hadoop(4)Cluster Setup on hadoop 2.4.1 1. Virtual Machine Delete Ubuntu User >userdel -r carl List the Users >users Add
maxhello 2014-06-29 21:12:44 试读《大数据时代的IT架构设计》 试读的的前两个章节侧重于Hadoop的应用,对于Hadoop集群本身并未作太多技术细节的探讨。下面是GFS与TFS架构的对比 试读《大数据时代的IT架构设计》 试读《大数据时代的IT架构设计》 由开源中收益,并回馈开源社区。
maxhello 2014-06-09 15:47:46 关于Hadoop中replication factor解惑 在hadoop开发时,我们还可以在Client端配置core-site.xml和hdfs-site.xml,那么上述两个参数是否会生效呢?在hbase中,该如何决定replication个数?请开发者注意。
maxhello 2014-05-19 13:48:00 Hadoop学习三十九:HBase与MapReduce集成 HBase作为数据源。HBase作为数据源和数据流向。此时job.setNumReduceTasks(0)。四.HBase作为数据源和数据流向 HBase作为数据源和数据流向,如将一个HBase表拆分为两个HBase表。
maxhello 2014-05-16 08:42:43 hadoop 1.x 2.x 配置 在老师讲的基础上在步骤上进行了些许改进, 总共几步: 1 准备环境搭建 1.1 JDK环境搭建 1.2 免密码配置 1.3 其他 2 Hadoop 集群配置 2.1 配置文件 2.2 名称节点格式化 2.3 运行验证 hadoop 1.x集
maxhello 2014-04-03 11:29:06 Hadoop MapReduce的特性 多个计数器由一个Java枚举(enum)类型来定义,以便对计数器分组。计数器是全局的。e.g. --动态计数器 不由Java枚举类型定义的计数器,程序中直接设置计数器的组名和计数器名称。2.排序 排序是MapReduce的核心技术。
maxhello 2014-03-14 13:18:38 Hadoop学习三十二:Win7下无法提交MapReduce Job到集群环境 这一切都跟MapReduce集群无关。Hadoop学习三十二:Win7下无法提交MapReduce Job到集群环境 查看日志如下 上网找答案,发现是Hadoop本身的问题。patch -p0 < MRApps.patch。。。
maxhello 2013-07-01 18:37:32 Force hadoop leave safe mode Sometime after starting, hadoop will enter safe mode for some reason, you can force hadoop leave the safe mode with belo
maxhello 2010-06-07 07:42:08 Hadoop集群配置中如何写入和读取数据? 2.随后在datanode1所属的机架以外的另外的机架上,随机的选择一台,作为第二个block的写入datanode机器(datanode2)。如果此时DFS写入端不是datanode,则选择datanode列表中的第一个排在第一位。
maxhello 2010-06-07 06:40:38 前沿报道 Cloudera发布Hadoop云计算服务,主要面向”普通人” 本节和大家一起学习一下Hadoop云计算方面的知识,Cloudera发布了Hadoop云计算服务,主要面对“普通人”,欢迎大家一起来学习有关Hadoop云计算的内容。Hadoop的配置和管理的确很让人痛苦。”Hammerbacher如是说。