package com.lxw;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class URLCat {
public static void main(String[] args) throws Exception {
String src = "D:/ip1.txt";
String dst = "hdfs://localhost:3333/lxw/input/2.txt";
InputStream in = new BufferedInputStream(new FileInputStream(src));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
OutputStream os = fs.create(new Path(dst),new Progressable(){
public void progress() {
System.out.print(".");
}
});
IOUtils.copyBytes(in, os, 4096, true);
}
}
分享到:
相关推荐
从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
Talend学习笔记1—本地文件上传HDFS
支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS...
hdfs文件的查看 hdfs fs -cat /文件名
第3章-分布式文件系统HDFS.pdf
第2讲_分布式文件系统HDFS.pdf
从HDFS中读取数据时,根据文件之间的相关性,对接下来用户最有可能访问的文件进行预取,减少了客户端对NameNode节点的访问次数,提高了文件命中率和处理速度。实验结果证明,该方法有效提升了Hadoop对小文件的存取...
nb666
主要介绍了Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
hdfs 文件的上传,hdfs fs -put /文件名
3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 网址:...
使用IDEA通过flume上传本地文件到Hdfs-附件资源
(5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径 (6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径 (7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径 (8)删除hdfs文件:hdfs dfs -rm...
分布式文件系统HDFS原理与操作,分布式文件系统HDFS原理与操作
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
Hadoop分布式文件系统HDFS的实战,需要的Hdfs.java文件 public static void main(String[] args) throws Exception { //上传文件到hadoop uploadFile(); createFile(); createDir(); fileRename(); deleteFile...
该文档对HDFS的基本文件操作进行了详细的整理,其中包括上传文件到HDFS,从HDFS上复制文件,删除HDFS上文件等,以及访问HDFS中某个文件。
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...