| 失效链接处理 |
|
大数据之HDFS PDF 下载
本站整理下载：
提取码：v2ey
相关截图：
主要内容：
大数据之HDFS1.大数据入门
1.1.大数据简介
1.1.1.大数据简单说明
1、数据级别
1024B=1K
1024K=1M
1024M=1G
1024G=1T
1024T=1P
1024P=1E
1024E=1Z
1024Z=1Y
1024Y=1N
通常大数据会达到TB级别以上。
2、大数据解决思路
当数据量足够大的时候，性能再好的机器也不够。所以我们考虑的不是增加机器的性能，而是增加新的机器。
分布式：由分布在不同主机上的进程协同在一起，才能构成整个应用
分布式存储
分布式计算
1.1.2.Hadoop
1、Hadoop是可靠、可伸缩、分布式计算的开源软件
Hadoop是分布式计算大规模数据集框架，使用简单编程模型，可从单个服务器扩展到几千台主机，每台主机都提供了本地计算和存储，不需要使用硬件来获取高可用性，类库在应用层处理检测并处理故障，因此在集群之上获取HA服务。
2、HDFS
Hadoop distributed file system。解决存储的问题。
3、MapReduce
MapReduce 是一种编程模型，包括Map（映射）和Reduce（化简）。解决计算的问题。
1.1.3.大数据4V特征
Volume // 体量大
Variety // （样式多,结构化、半结构化、非结构化）
Velocity // 数据输入输出速度快，秒级时间范围内给出分析结果
Valueless // 价值密度低
1.1.4.Hadoop模块
1、Hadoop common // 公共类库，支持其他模块
2、HDFS
namenode // 名称节点
datanode // 数据节点
secondarynamenode // 辅助名称节点
3、Hadoop yarn // yet another resource, 作业调度和资源管理的框架
resourcemanager // 资源管理器
nodemanager //节点管理器
4、Hadoop mapreduce // 基于yarn系统的大数据集并行处理技术
1.1.5.大数据能做什么
1、决策支持
企业的运营决策，证券投资决策，医疗行业的临床诊疗支持，以及电子政务等
2、风险预警类
疫情预测，日常健康管理的疾病预测，设备设施的运营维护，公共安全，以及金融业的信用风险管理等
3、实时优化
智能线路规划，实时定价等
...
1.1.6.大数据与云计算的关系
1、云计算可以提供以下几个层次的服务：
IaaS：基础设施即服务消费者通过internet可以从完善的计算机设施获得服务。例如：硬件服务器租用。
PaaS：平台即服务PaaS实际上是指软件研发的平台作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是PaaS的出现可以加快SaaS应用的开发速度，如：软件的个性化定制开发。
SaaS：软件即服务它是一种通过internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件，来管理企业经营活动。
2、大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。如果将大数据比作一个产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
3、大数据无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术
1.1.7.大数据能够替代web吗
面对TB级别以上的数据，传统关系型数据块往往显得力不从心，这就需要使用分布式的大数据产品来处理。但是大数据不适合处理用户OLTP业务操作。所以大数据不是web的替代品。
1.1.8.学习大数据基本要求
1.1.8.1.人员能力要求
具备java基础开发能力，有Linux命令基础
1.1.8.2.电脑配置要求
内存：8G以上，推荐12G
磁盘：150G以上空闲磁盘
1.1.8.3.安装介质说明
1、操作系统：ubuntu-14.04.1-desktop-amd64.iso
2、Jdk版本
Linux版本：jdk-8u111-linux-x64.tar.gz
Windows版本：jdk-8u111-windows-x64.exe
3、Hadoop版本
Hadoop-2.7.2.tar.gz
Hadoop-2.7.2-src.tar.gz
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
苏公网安备 32061202001004号
