| 失效链接处理 |
|
大数据技术之高频面试题 PDF 下载
本站整理下载：
相关截图：
主要内容：
1.1.2 Shell 常用工具及写过的脚本
1）awk、sed、cut、sort
2）用 Shell 写过哪些脚本
（1）集群启动，分发脚本
（2）数仓与 mysql 的导入导出
（3）数仓层级内部的导入
1.1.3 Shell 中提交了一个脚本，进程号已经不知道了，但是需要 kill
掉这个进程，怎么操作?
ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"
1.1.4 Shell 中单引号和双引号区别
1）在/home/atguigu/bin 创建一个 test.sh 文件
[atguigu@hadoop102 bin]$ vim test.sh
在文件中添加如下内容
#!/bin/bash
do_date=$1
echo '$do_date'
echo "$do_date"
echo "'$do_date'"
echo '"$do_date"'
echo `date`
2）查看执行结果
[atguigu@hadoop102 bin]$ test.sh 2019-02-10
$do_date
2019-02-10
'2019-02-10'
"$do_date"
2019 年 05 月 02 日 星期四 21:02:08 CST
3）总结：
（1）单引号不取变量值
（2）双引号取变量值
（3）反引号`，执行引号中命令
（4）双引号内部嵌套单引号，取出变量值
（5）单引号内部嵌套双引号，不取出变量值
1 请求下载文件/user/atguigu/ss.avi
2 返回目标文件的元数据
NameNode
元数据
DataNode1 DataNode2 DataNode3 ss.avi
0-128m
200m
3 请求读数据blk_1
4 传输数据 7 blk_1
HDFS的读数据流程
/user/atguigu/ss.avi
{[blk_1,blk_2],[blk_1,blk_2],[blk_1,blk_2]}
7 blk_2
5 请求读数据blk_2
6 传输数据
7 blk_2 7 blk_1
7 blk_2
7 blk_1
客户端
Distributed
FileSystem
FSDataInpu
tStream
HDFS
client
create
read
close
尚硅谷大数据技术之高频面试题
—————————————————————————————
14
1.2 Hadoop
1.2.1 Hadoop 常用端口号
hadoop2.x Hadoop3.x
访问 HDFS 端口 50070 9870
访问 MR 执行情况端口 8088 8088
历史服务器 19888 19888
客户端访问集群端口 9000 8020
1.2.2 Hadoop 配置文件以及简单的 Hadoop 集群搭建
（1）配置文件：
Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves
Hadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers
（2）简单的集群搭建过程：
JDK 安装
配置 SSH 免密登录
配置 hadoop 核心文件:
格式化 namenode
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
