hadoop有什么用

一、hadoop有什么用

hadoop支持大数据量（PB级）的处理。大数据量的处理涉及存储、计算等非常复杂的问题。需要分布式存储、分页式计算等技术，往往需要成百上千台计算机同时参与才能完成，也就是通常大家说的云技术。

二、2分钟读懂Hadoop和Spark的异同

嗯两份中的话

计算模型相同：都是在集群里运行mapreduce运算

存储方式不同：在计算过程中hadoop需要不断的在硬盘中写入读取数据 ,而spark直接将数据加载到内存中，在内存中运算。

三、现在学习hadoop从哪个版本入手

大讲台hadoop培训为你解答：

1、Apache Hadoop2.0版本，有以下模块：

Hadoop通用模块，支持其他Hadoop模块的通用工具集；

Hadoop分布式文件系统（HDFS），支持对应用数据高吞吐量访问的分布式文件系统；

Hadoop YARN，用于作业调度和集群资源管理的框架；

Hadoop MapReduce，基于YARN的大数据并行处理系统。

Hadoop目前除了社区版，还有众多厂商的发行版本。

2、Cloudera：最成型的发行版本，拥有最多的部署案例；提供强大的部署、管理和监控工具。开发并贡献了可实时处理大数据的Impala项目。

3、Hortonworks：100%开源的Apache Hadoop唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。而且，他们的Stinger极大地优化了Hive项目。Hortonworks为人们提供了一个非常好的、易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Servers和Windows Azure在内的Microsoft Windows平台上本地运行。

4、MapR：与竞争者相比，它使用了一些不同的概念，特别是为了获取更好的性能和易用性而支持本地UNIX文件系统而不是HDFS（使用非开源的组建）。我们可以使用本地UNIX命令来代替Hadoop命令。除此之外，MapR还凭借如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。该公司也领导着Apache Drill项目，本项目是Google的Dremel的开源项目的重新实现，目的是在Hadoop数据上执行类似SQL的查询以提供实时处理。

5、Amazon Elastic Map Reduce（EMR）：区别与其他提供商的是，这是一个托管的解决方案，其运行在由Amazon Elastic Compute Cloud（Amazon EC2）和Amazon Simple Storage Service（Amazon S3）组成的网络规模的基础设施之上。除了Amazon的发行版本之外，也可以在EMR上使用MapR，临时集群是主要的使用情形。如果你需要一次性的或者不常见的大数据处理，EMR可能为你节省大笔开支。然而，这也存在不利之处。其只包含了Hadoop生态系统中的Pig和Hive项目，在默认的情况下不包含很多其他项目。并且，EMR是高度优化成与S3中的数据一起工作的，这种方式会有较高的延时并且不会定位于你的计算节点上的数据。所以处于EMR上的文件IO相比于你自己的Hadoop集群或者你的私有EC2集群来说慢很多，并有更大的延时。

四、hadoop工程师是做什么的？哪种企业需要？

Hadoop工程师能够做什么？

大数据时代已经到来，给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值，既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据… … 这些数据的规模、结构、增长的速度都给传统数据存储和处理技术带来巨大的考验。幸运的是，Hadoop的诞生和所构建成的生态系统给大数据的存储、处理和分析带来了曙光。

不管是国外的著名公司Google、Yahoo!、微软、亚马逊、 EBay、FaceBook、Twitter、LinkedIn等和初创公司Cloudera、Hortonworks等，又还是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等，都在使用Hadoop及相关技术解决大规模化数据问题，以满足公司需求和创造商业价值。

“Hadoop能做什么？” ，概括如下：

1）搜索引擎：这也正是Doug Cutting设计Hadoop的初衷，为了针对大规模的网页快速建立索引；

2）大数据存储：利用Hadoop的分布式存储能力，例如数据备份、数据仓库等；

3）大数据处理：利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等；

4）科学研究：Hadoop是一种分布式的开源框架，对于分布式系统有很大程度地参考价值。