标签：文件 Path hdfs hadoop conf new import 上传

package com.sxuek;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI; // 是net包下的URI
import java.net.URISyntaxException;

/*
操作HDFS
 */
public class Demo {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        // 1.创建一个HDFS的连接配置对象 -- 指定本地里连接的参数
        // 参数是hdfs-site.xml中配置的参数
        Configuration conf = new Configuration();
        // 设置配置项 -- hdfs的地址
        // conf.set("fs.defaultFS", "hdfs://192.168.200.225:9000");
        // 在该目录下C:\Windows\System32\drivers\etc，添加ip--名 即可写下面的了
//        conf.set("fs.defaultFS", "hdfs://node1:9000");

        // 设置块的大小
        // 在代码中的配置的参数优先级高于我们Hadoop软件安装的时候配置的参数
        // conf.set("dfs.blocksize", "104857600");
        
        // 连接文件系统
        // uri:hdfs地址  conf：配置
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://node1:9000"), conf, "root");

        // 上传文件 并且不能删除本地文件
//        fileSystem.copyFromLocalFile(false, new Path("G:\\shixun\\hadoop-2.8.5.tar.gz"), new Path("/"));
//        System.out.println("上传完成！");

        // 下载文件 从hdfs上下载文件
        fileSystem.copyToLocalFile(false, new Path("/hadoop-2.8.5.tar.gz"), new Path("G://"));
        System.out.println("下载完成！");

        System.out.println(fileSystem);
    }
}

标签：文件,Path,hdfs,hadoop,conf,new,import,上传
来源： https://www.cnblogs.com/jsqup/p/16500562.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。