失效链接处理 |
H3C DataEngine 大数据组件 用户手册 E5105-5W101-整本手册 PDF 下载
本站整理下载:
相关截图:
主要内容:
4.2.12 多线程任务
1. 功能简介
建立多线程任务,同时启动多个实例执行文件操作。
2. 代码样例
多线程实例增加的代码包括公共代码中填写的代码和在同文件下增加两个类的代码。
//在公共代码中填写的代码
//多线程
final int THREAD_COUNT = 2;
for (int threadNum = 0; threadNum < THREAD_COUNT; threadNum++) {
HdfsExampleThread example_thread = new HdfsExampleThread("hdfs_example_" + threadNum);
example_thread.start();
}
//在同文件下增加两个类的代码
class HdfsExampleThread extends Thread {
public HdfsExampleThread(String threadName) {
super(threadName);
}
public void run() {
HdfsExample example;
try {
example = new HdfsExample("/user/hdfstest/" + getName() + "write.txt");
example.write();
} catch (IOException e) {
System.out.println(e);
}
}
}
class HdfsExample {
private final static String PATH_TO_HDFS_SITE_XML="/etc/hadoop/conf/hdfs-site.xml";
private final static String PATH_TO_CORE_SITE_XML="/etc/hadoop/conf/core-site.xml";
final String content = "It is successful to create new file if you can see me";
String path="";
public HdfsExample(String path) {
this.path = path;
}
public void write() throws IOException{
Configuration conf = new Configuration();
conf.addResource(new Path(PATH_TO_HDFS_SITE_XML));
conf.addResource(new Path(PATH_TO_CORE_SITE_XML));
/**
* 使用 kerberos 集群需要取消如下注释
// kerberos 身份认证
System.setProperty(JVM_KRB5_CONF_PARM, JVM_KRB5_CONF_PARM_VALUE);
UserGroupInformation.setConfiguration(conf);
// 安全登录,指定登录用户的票据与 keytab
UserGroupInformation.loginUserFromKeytab(USER_PRINCIPAL,PATH_TO_USER_KEYTAB);
System.out.println("kerberos auth success");
*/
//拿到一个文件系统操作的客户端实例对象
|