Smallcaff

Smallcaff

Smallcaff smallcaff

文章 阅读 14
Smallcaff
Smallcaff

hdfs追加文件

boolean isExist=fs.exists(new Path("/test/test.txt"));FileInputStream in = new FileInputStream(new File("d:/test.txt"));
文章 阅读 10
文章 阅读 20
Smallcaff
Smallcaff

HDFS 上传文件不均衡和Balancer太慢的问题

向HDFS上传文件,如果是从某个datanode开始上传文件,会导致上传的数据优先写满当前datanode的磁盘,这对于运行分布式程序是非常不利的。上传文件到集群。也可以自己写一个上传文件的程序、在其他非集群节点上运行来上传文件。
文章 阅读 7
文章 阅读 13
Smallcaff
Smallcaff

HDFS文件追加append

//文件路径 Configuration conf = new Configuration();//要追加的文件流,file为文件 OutputStream out = fs.append(new Path(hdfs_path));
文章 阅读 4
Smallcaff
Smallcaff

Hadoop1.0.4 HDFS I/O性能测试

首先将hdfs的上传速度和scp的速度做对比,随便在集群中找了一个节点iir455-202,向hdfs put一个1028MB的文件(hdfs文件块64MB,8个节点,每个节点大约会有2个文件块): [iir@iir455-202 data
文章 阅读 5
文章 阅读 21
文章 阅读 5
文章 阅读 16
Smallcaff
Smallcaff

Nutch-2.0集群配置

应该在一个机器中配置好所有的文件,然后执行简单的拷贝,这样能减少错误的发生。在配置所有java的文件之前,应该先配置用户环境:可以新建一个用户,取名为nutch或者其他的名字,但是一定要保证所有的集群中的机器的用户名一致。
文章 阅读 18
Smallcaff
Smallcaff

HDFS Federation(HDFS 联盟)介绍

1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS Federation(HDFS 联盟)介绍 1.1 命名空间管理 HDFS的命名空间包含目录、文件和块。HDFS Federation(HDFS 联盟)介绍
文章 阅读 4
文章 阅读 9
Smallcaff
Smallcaff

HDFS小文件问题及解决方案

1、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。其次,访问大量小文件速度远远小于访问几个大文件。最后,处理大量小文件速度远远小于处理同等大小的大文件的速度。
文章 阅读 14
Smallcaff
Smallcaff

基于HDFS的FTP

一家公司使用apache的ftpserver开发框架开发了针对Hadoop的hdfs文件系统的ftp服务器,当然是开源的。System.out.println(passwordEncryptor.encrypt("hadoop"));
文章 阅读 6
文章 阅读 23
文章 阅读 12
Smallcaff
Smallcaff

HDFS中的文件open操作

HDFS中的文件open操作 在DFSInputStream的属性中,我要重点介绍一下prefetchSize、blockReader、locateBlocks、pos、blockEnd这几个属性。