1. hadoop fs -dus 的源码:
public static void dus(String src,Configuration conf) throws IOException {
Path srcPath = new Path(src);
FileSystem srcFs = srcPath.getFileSystem(conf);
FileStatus status[] = srcFs.globStatus(new Path(src));
if (status==null || status.length==0) {
throw new FileNotFoundException("Cannot access " + src +
": No such file or directory.");
}
for(int i=0; i<status.length; i++) {
long totalSize = srcFs.getContentSummary(status[i].getPath()).getLength();
String pathStr = status[i].getPath().toString();
System.out.println(("".equals(pathStr)?".":pathStr) + "\t" + totalSize);
}
}
2.
FileSystem fs = new Path(s).getFileSystem(conf);
System.out.println(fs.getContentSummary(new Path(s)).getLength());
分享到:
相关推荐
大数据技术基础实验报告-调用Java API实现HDFS操作
javaAPI操作HDFS,测试可用 window环境需要下载hadoop客户端
java操作Hadoop源码之HDFS Java API操作-创建目录,附带所需全部jar包,欢迎下载学习。
阐述了如何利用利用javaAPI访问HDFS的文件
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119379055
自己整理的hadoop的java-api。各个API写得比较简单,比较细,适合初学者参考。PS:集群请自行搭建
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
HDFS JAVA API,用java实现对hdfs上面的文件的增加,删除,查找,更改
Javaapi操作HDFS综合练习.pdf 学习资料 复习资料 教学资源
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
hdfs dfs -test -e 文件或目录名 第三步,查看检测结果: echo $? 若输出结果为0,则说明文件或目录存在,若为1,则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...
熟练掌握HDFS的Java API接口访问
hdfs api,研究hadoop的可以下来参考
java操作Hadoop源码之HDFS Java API操作-上传文件,附带所需全部jar包,欢迎下载学习。
HDFS在JAVA API中的操作,以及在ecplise中的配置详情。
适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
02--HDFS Java API操作.docx
Hadoop系统应用之java-API对HDFS的操作实验缺少的两个文件
4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt
hdfs代码实例 通过Java代码在HDFS上创建目录、上传文件、下载文件、删除文件、文件重命名、文件列表等操作。