maxhello

maxhello

maxhello maxhello

文章 阅读 28
maxhello
maxhello

spark 集群环境搭建

需要的环境: 1.java1.8 2.hadoop-3.1.1(spark用到他的hdfs) 3.zookeeper-3.4.11(spark自动转移master用) 4.spark-2.3.1-bin-without-hadoop 三台服
文章 阅读 12
maxhello
maxhello

sqoop2 1.99.5 安装+hue

首先知道sqoop是做什么的 sqoop是一个把关系型数据库数据抽向Hadoop的工具。同时,也支持将hive、pig等查询的结果导入关系型数据库中存储。等张哥来了协调重启hue。启动hue,hue依赖于apache。
文章 阅读 6
maxhello
maxhello

hadoop学习之路_1、自定义序列化类

一、Hadoop序列化 1、序列化(Serialization)是指把结构化对象转化为字节流。2、Hadoop节点间通信。五、使用hadoop内置的序列化类(不使用自定义序列化类),实现流量统计的功能。六、自定义序列化类
文章 阅读 24
文章 阅读 23
maxhello
maxhello

HDFS+MapReduce+Hive+HBase十分钟快速入门

2. Hadoop家族 截止2009-8-19日,整个Hadoop家族由以下几个子项目组成: 成员名 用途 Hadoop Common Hadoop体系最底层的一个模块,为Hadoop各子项目提供各种工具,如:配置文件和日志操作等。
文章 阅读 35
文章 阅读 25
文章 阅读 9
文章 阅读 31
maxhello
maxhello

centos6.5 hadoop2.2.0

--指定hadoop的临时目录--> <property> <name>hadoop.tmp.dir</name> <value>/mycloud/hadoop-2.2.0/temp</value> </property> <!
文章 阅读 12
文章 阅读 30
maxhello
maxhello

试读《大数据时代的IT架构设计》

试读的的前两个章节侧重于Hadoop的应用,对于Hadoop集群本身并未作太多技术细节的探讨。下面是GFS与TFS架构的对比 试读《大数据时代的IT架构设计》 试读《大数据时代的IT架构设计》 由开源中收益,并回馈开源社区。
文章 阅读 11
maxhello
maxhello

关于Hadoop中replication factor解惑

在hadoop开发时,我们还可以在Client端配置core-site.xml和hdfs-site.xml,那么上述两个参数是否会生效呢?在hbase中,该如何决定replication个数?请开发者注意。
文章 阅读 10
maxhello
maxhello

Hadoop学习三十九:HBase与MapReduce集成

HBase作为数据源。HBase作为数据源和数据流向。此时job.setNumReduceTasks(0)。四.HBase作为数据源和数据流向 HBase作为数据源和数据流向,如将一个HBase表拆分为两个HBase表。
文章 阅读 4
maxhello
maxhello

hadoop 1.x 2.x 配置

在老师讲的基础上在步骤上进行了些许改进, 总共几步: 1 准备环境搭建 1.1 JDK环境搭建 1.2 免密码配置 1.3 其他 2 Hadoop 集群配置 2.1 配置文件 2.2 名称节点格式化 2.3 运行验证 hadoop 1.x集
文章 阅读 17
maxhello
maxhello

Hadoop MapReduce的特性

多个计数器由一个Java枚举(enum)类型来定义,以便对计数器分组。计数器是全局的。e.g. --动态计数器 不由Java枚举类型定义的计数器,程序中直接设置计数器的组名和计数器名称。2.排序 排序是MapReduce的核心技术。
文章 阅读 10
文章 阅读 15
文章 阅读 10
文章 阅读 10
maxhello
maxhello

Hadoop集群配置中如何写入和读取数据?

2.随后在datanode1所属的机架以外的另外的机架上,随机的选择一台,作为第二个block的写入datanode机器(datanode2)。如果此时DFS写入端不是datanode,则选择datanode列表中的第一个排在第一位。
文章 阅读 5
加载中...