HDFS之自定义上传、下载文件的大小

2020-07-08 17:36:43 阅读：253 来源： 互联网

标签：HDFS fs 自定义文件 IOUtils Path new 上传

在之前的总结中，对文件的上传和下载都是默认的全部大小。

那么，如何做到上传文件时，只上传这个文件的一部分或只下载文件的某一部分？

官方实现的代码：

	  InputStream in=null;
      OutputStream out = null;
      try {
        in = srcFS.open(src);
        out = dstFS.create(dst, overwrite);
        IOUtils.copyBytes(in, out, conf, true);
      } catch (IOException e) {
        IOUtils.closeStream(out);
        IOUtils.closeStream(in);
        throw e;
      }

可以看到，变量in就是输入流，即要上传的文件；变量out就是输入流，先目标文件系统写入。
变量srcFS：目标文件所在路径，调用了open()方法便生成了输入流；变量dstFS：写入路径，调用create()方法便生成了输出流。然后使用copyBytes()方法即流拷贝，并最后传入参数true，表示方法结束后关闭输入输出流。但是使用流拷贝也是全部的下载上传，下面我参照官方的写法可以实现自定义大小上传和下载！

首先对一些变量名的解释：
fs：HDFS的文件系统
localFs：本地的文件系统

public class TestCustomUploadAndDownload {

   private FileSystem fs;
   private FileSystem localFs;
   private Configuration conf = new Configuration();
	
	@Before
	public void init() throws IOException, URISyntaxException {
		//创建一个客户端对象
		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
		 localFs=FileSystem.get(new Configuration());
	}
	
	@After
	public void close() throws IOException {
		if (fs !=null) {
			fs.close();
		}
	}
	
	// 从本地文件系统上传文件到HDFS，只上传文件的前10M
	@Test
	public void testCustomUpload() throws Exception {
		
		//提供两个Path，和两个FileSystem
		Path src=new Path("e:/悲惨世界(英文版).txt");
		Path dest=new Path("/悲惨世界(英文版)10M.txt");
		
		// 使用本地文件系统中获取的输入流读取本地文件
		FSDataInputStream is = localFs.open(src);
		
		// 使用HDFS的分布式文件系统中获取的输出流，向dest路径写入数据
		FSDataOutputStream os = fs.create(dest, true);
		
		// 1k
		byte [] buffer=new byte[1024];
		
		// 流中数据的拷贝
		for (int i = 0; i < 1024 * 10; i++) {	
			is.read(buffer);
			os.write(buffer);
		}
		
		//关流
		 IOUtils.closeStream(is);
	     IOUtils.closeStream(os);
	}
	
}

标签：HDFS,fs,自定义,文件,IOUtils,Path,new,上传
来源： https://www.cnblogs.com/sunbr/p/13268215.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

HDFS之自定义上传、下载文件的大小