ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Hadoop的JavaAPI

2022-04-24 09:32:47  阅读:158  来源: 互联网

标签:fs void JavaAPI Hadoop Path new public out


1.配置winutil的环境变量

然后在Path变量中加入

 

 

 

2.测试

创建一个普通的Java工程测试

FileSystem fs = null;
    
    @Before
    public void init() throws Exception{
        fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration(), "root");
    }
    
    @Test
    public void testUpload() throws Exception{
        InputStream in = new FileInputStream("/root/install.log");
        OutputStream out = fs.create(new Path("/log123.log"));
        IOUtils.copyBytes(in, out, 1024, true);
    }
    
    @Test
    public void testMkdir() throws IllegalArgumentException, IOException{
        boolean  flag = fs.mkdirs(new Path("/a/aa"));
        System.out.println(flag);
    }
    
    @Test
    public void testDel() throws IllegalArgumentException, IOException{
        boolean flag = fs.delete(new Path("/a"), true);
        System.out.println(flag);
    }
    
    
    
    public static void main(String[] args) throws Exception {
        FileSystem fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration());
        InputStream in = fs.open(new Path("/jdk"));
        OutputStream out = new FileOutputStream("/home/jdk1.7.tar.gz");
        IOUtils.copyBytes(in, out, 4096, true);
        
    }

3.处理Java连不上hdfs

①删除tmp(路径是个人安装在linux系统中hadoop下的tmp文件)

 

②修改配置修改namenode的地址为具体IP(之前写的localhost) 修改slaves文件,为具体IP   ③格式化hdfshadoopnamenode–format    

 

标签:fs,void,JavaAPI,Hadoop,Path,new,public,out
来源: https://www.cnblogs.com/xiaojiuguan/p/16184410.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有