失效链接处理 |
大数据实践-HDFS编程 PDF 下载
本站整理下载:
相关截图:
主要内容:
实践项目名称:HDFS编程
一、实践目的
1.理解HDFS在Hadoop体系结构中角色
2.掌握HDFS的常用操作
二、实践内容
1.删除指定文件
2.显示指定文件内容
三、实践过程
(一)删除指定文件
1.安装eclipse
以 hust 登录 master.
将 eclipse 复制到/home/hust
运行
File->new->java project 名为 hadoopapi
Build path->add library->user library 名为 hadoop_hdfs
在 library 上 Add External JARs,导入 hadoop 的包,一般在 hadoop 安装目录下
如/opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/common/lib
2.eclipse编程
创建package shijian,class delete
package shijian;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import java.net.URI;
import java.net.MalformedURLException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class delete {
public static void main(String [] args){
String uri="hdfs://master:9000/test"; //定义URI统一资源标志符
Configuration conf=new Configuration(); //加载配置文件
/*Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用org.apache.hadoop.conf.Configuration处理配置信息。这个类是作业的配置信息类,任何作用的配置信息必须通过Configuration传递,因为通过Configuration可以实现在多个mapper和多个reducer任务之间共享信息。*/
try{
FileSystem fs=FileSystem.get(URI.create(uri),conf); //创建文件系统实例对象
Path delef=new Path("hdfs://master:9000/test"); //要连接的资源位置
boolean isDeleted = fs.delete(delef,true); //如果删除文件夹和文件级联
System.out.println(isDeleted); //输出true
}catch (IOException e){ //捕捉输入输出异常
e.printStackTrace();
}
}
}
|