链接：https://pan.baidu.com/s/1e9zK4ficOH8vrqSova2T0w 

提取码：ufh7 

 

一、学习过程遇到的问题及解决办法

问题有多少列多少，列得少说明没做实验

问题1.编译Hadoop 3.1.3网络问题

问题描述：maven部分包下载需要外网，国内网络无法下载

解决办法： 

通过proxychains 代理网络执行命令。（首先需要局域网有一个外网VPN 的socket5服务）

安装proxychains功能：

安装下载源码：

git clone https://github.com/rofl0r/proxychains-ng

编译和安装

cd proxychains-ng

./configure --prefix=/usr --sysconfdir=/etc

make 

make install

make install-config

cd .. && rm -rf proxychains-ng

配置

vi /etc/proxychains.conf

#socks5    ip    port

socks5    202.204.54.61    1080

测试

proxychains4 curl ip.cn

 

proxychains4 mvn package -Pdist,native  -DskipTests  -Dtar#在命令前加proxychains4是让国内机子执行这条命时走国外代理，如果是国外vps则不需要

问题2.编译Hadoop出现Failed to find a viable JVM installation under JAVA_HOME

问题描述：

根据提示就是在JAVA_HOME下找不到可行的JVM安装

解决办法： 

进入到hadoop目录下的src目录

编辑JNIFlags.cmake文件

添加代码

ELSEIF (CMAKE_SYSTEM_PROCESSOR MATCHES "^sw_64")

        SET(_java_libarch "sw")

配置的“sw”的路径：/usr/lib/jvm/java-1.7.0-swjdk-H2586P.sw_64/jre/lib

 

问题3.Connection to http://repo.maven.apache.org refused

问题描述：

表示连接maven远程仓库拒绝

解决办法：

再运行一下编译命令，就会接着下载jar包。主要还是网络问题

问题4.

[ERROR] around Ant part ...<exec dir="/opt/soft/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/target" executable="sh" failonerror="true">... @ 10:123 in /opt/soft/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/target/antrun/build-main.xml

[ERROR] -> [Help 1]

问题描述：

tomcat的apache-tomcat-6.0.41.tar.gz包太大，没有下载完整

解决办法：

到hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads/apache-tomcat-xxxx目录下删除重新下载