大数据在各处理环节采用什么处理？

一、大数据在各处理环节采用什么处理？

大数据处理最重要的环节就是数据处理，数据处理通常分为两种：批处理和流处理。

批处理：对一段时间内海量的离线数据进行统一的处理，对应的处理框架有 Hadoop MapReduce、Spark、Flink 等；

流处理：对运动中的数据进行处理，即在接收数据的同时就对其进行处理，对应的处理框架有 Storm、Spark Streaming、Flink Streaming 等。

由于大数据要处理大量、非结构化的数据，所以在各处理环节中都可以采用 （并行）处理。

大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

二、hadoop和spark是什么关系啊？

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

优势应该在于分布式架构比较相似能快速上手吧

三、spark streaming 主要处理哪些实际问题

随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。

四、spark dataframe可以干什么

DataFrame是Spark SQL的一种编程抽象，它是一张分布式的表，是数据类型为Row的DataSet，可以简单认为：DataFrame是DataSet[Row]的别名。

你说我们得到了一张表可以做些什么呢？那些数据库的操作都可以，比如增删改查，联结操作等等，都是可以的。

推荐你去Spark官网查看官方文档，然后结合官方文档、博客还有相关书籍，这样学起来比较快。

五、spark和python哪个速度快

这完全没有可比性。

spark可以处理弹性分布式数据，可以跟hadoop媲美。

而python是做数据分析，对于超大数据量是无能为力的。

六、sparksql可以处理外部数据库吗？

可以处理外部数据

Spark SQL开放了一系列接入外部数据源的接口，来让开发者可以实现Spark SQL可以加载任何地方的数据，例如mysql，hive，hdfs，hbase等，而且支持很多种格式如json, parquet, avro, csv格式…

Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。