根据hdfs文件的后缀类型自动识别并解压:
Path hdfsPath = new Path(args[0]);
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf);
CompressionCodecFactory factory = new CompressionCodecFactory(conf);
CompressionCodec codec = factory.getCodec(hdfsPath);
FSDataInputStream inputStream = fs.open(hdfsPath);
BufferedReader reader = null;
try {
if (codec == null) {
reader = new BufferedReader(new InputStreamReader(inputStream));
} else {
CompressionInputStream comInputStream = codec.createInputStream(inputStream);
reader = new BufferedReader(new InputStreamReader(comInputStream));
}
} catch (Exception e) {
e.printStackTrace();
}
分享到:
相关推荐
java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)
Java管理hdfs文件和文件夹的工具类,最近版本hadoop2.4。
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
阐述了如何利用利用javaAPI访问HDFS的文件
hdfs文件的下载
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ,数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩,至于MR中间结果压缩减少网络IO,只需要配置 mapred-site.xml 即可,网上资料很多。 工程只实现了lzo的压缩...
hdfs dfs -test -e 文件或目录名 第三步,查看检测结果: echo $? 若输出结果为0,则说明文件或目录存在,若为1,则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 网址:...
本文档是关于hadoop中HDFS的文件读写操作的一份ppt,适用于学习hadoop新手.
hdfs文件的查看 hdfs fs -cat /文件名
本文分为3部分,即Gzip压缩文件的写与读、Snappy压缩文件的写与读和Lzo压缩文件的写与读。 ———————————————— 版权声明:本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章,遵循CC 4.0 BY-SA版权...
hdfs 文件的上传,hdfs fs -put /文件名
HDFS JAVA API,用java实现对hdfs上面的文件的增加,删除,查找,更改
java操作Hadoop源码之HDFS Java API操作-上传文件,附带所需全部jar包,欢迎下载学习。
java操作hadoop的hdfs的各种操作,包括文件创建,删除,文件夹创建,上传文件,下载文件,读取文件等
SparkSQL HDFS JAVA调用完整实例,使用Maven管理,项目很小,里面实例很多。敬请下载。
上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
hdfs代码实例 通过Java代码在HDFS上创建目录、上传文件、下载文件、删除文件、文件重命名、文件列表等操作。
本文档时Hadoop云计算平台下运用Hadoop API对HDFS进行相关的操作,详细的记录了程序在eclipse中的应用,代码内容和运行结果,是学习Hadoop非常有用的资料。