Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群17
Java1234官方群25:838462530
        
SpringBoot+SpringSecurity+Vue+ElementPlus权限系统实战课程 震撼发布        

最新Java全栈就业实战课程(免费)

springcloud分布式电商秒杀实战课程

IDEA永久激活

66套java实战课程无套路领取

锋哥开始收Java学员啦!

Python学习路线图

锋哥开始收Java学员啦!
当前位置: 主页 > Java文档 > 大数据云计算 >

大数据实践-HDFS编程 PDF 下载


分享到:
时间:2021-04-19 10:36来源:http://www.java1234.com 作者:转载  侵权举报
大数据实践-HDFS编程 PDF 下载
失效链接处理
大数据实践-HDFS编程 PDF 下载


本站整理下载:
提取码:1wfb 
 
 
相关截图:
 
主要内容:
 
实践项目名称:HDFS编程
一、实践目的
1.理解HDFS在Hadoop体系结构中角色
2.掌握HDFS的常用操作
二、实践内容
1.删除指定文件
2.显示指定文件内容
三、实践过程
(一)删除指定文件
1.安装eclipse
以 hust 登录 master. 
将 eclipse 复制到/home/hust
 
运行
 
File->new->java project 名为 hadoopapi
 
Build path->add library->user library 名为 hadoop_hdfs 
 
在 library 上 Add External JARs,导入 hadoop 的包,一般在 hadoop 安装目录下 
如/opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/common/lib
 
 
2.eclipse编程
创建package shijian,class delete
package shijian;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URI;
import java.net.MalformedURLException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class delete {
public static void main(String [] args){
String uri="hdfs://master:9000/test"; //定义URI统一资源标志符
Configuration conf=new Configuration(); //加载配置文件
 
/*Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用org.apache.hadoop.conf.Configuration处理配置信息。这个类是作业的配置信息类,任何作用的配置信息必须通过Configuration传递,因为通过Configuration可以实现在多个mapper和多个reducer任务之间共享信息。*/
try{
FileSystem fs=FileSystem.get(URI.create(uri),conf); //创建文件系统实例对象
Path delef=new Path("hdfs://master:9000/test"); //要连接的资源位置
boolean isDeleted = fs.delete(delef,true); //如果删除文件夹和文件级联
System.out.println(isDeleted); //输出true
}catch (IOException e){ //捕捉输入输出异常
e.printStackTrace();
}
}
}

 

------分隔线----------------------------

锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程

锋哥推荐