Hadoop VS Spark 性能原理详解
|
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。 比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将Hadoop MapReduce与Spark作一番比较来得更明智，因为它们作为数据处理引擎更具有可比性。 过去几年，随着数据科学趋于成熟，也日益需要用一种不同的方法来处理大数据。Hadoop在一些业务应用领域的表现比后起之秀Spark更胜一筹，不过Spark在大数据领域有其一席之地，这归功于它具有速度快、易于使用的优点。本文剖析了两大平台的一系列常见属性，包括性能、容错、成本、易用性、数据处理、兼容性和安全性。 Hadoop和Spark方面要记住的最重要一点就是，它们并不是非此即彼的关系，因为它们不是相互排斥，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。 Hadoop的定义Hadoop是Apache.org的一个项目，其实是一种软件库和框架，以便使用简单的编程模型，跨计算器集群对庞大数据集(大数据)进行分布式处理。Hadoop可灵活扩展，从单一计算机系统，到提供本地存储和计算能力的数千个商用系统，它都能轻松支持。实际上，Hadoop就是大数据分析领域的重量级大数据平台。 Hadoop由协同运行、构建Hadoop框架的多个模块组成。Hadoop框架的主要模块包括如下：
虽然上述四个模块构成了Hadoop的核心，不过还有其他几个模块。这些模块包括：Ambari、Avro、Cassandra、Hive、Pig、Oozie、Flume和Sqoop，它们进一步增强和扩展了Hadoop的功能，得以扩大到大数据应用领域，处理庞大数据集。 许多使用大数据集和分析工具的公司使用Hadoop。它已成为大数据应用系统中事实上的标准。设计Hadoop的初衷是处理这项任务：搜寻和搜索数十亿个网页，将这些信息收集到数据库中。正是由于渴望搜寻和搜索互联网，才有了Hadoop的HDFS及分布式处理引擎MapReduce。 如果数据集变得极其庞大或极其复杂，以至于当前的解决方案无法在数据用户认为合理的时间段内有效地处理信息，Hadoop对公司就会大有用处。 MapReduce是一种出色的文本处理引擎，它理应如此，因为搜寻互联网和搜索互联网(它的首要任务)都是基于文本的任务。 Spark的定义Apache Spark开发人员声称它是“一种用于数据大规模处理的快速通用引擎”。相比之下，如果说Hadoop的大数据框架好比是800磅重的大猩猩，Spark就好比是130磅重的猎豹。 虽然批评Spark的内存处理技术的人士承认，Spark确实速度很快(最多比Hadoop MapReduce快100倍)，但他们可能并不愿意承认它在磁盘上运行起来速度最多快10倍。Spark还可以执行批量处理，然而它真正擅长的是处理流工作负载、交互式查询和基于机器的学习。
相比MapReduce基于磁盘的批量处理引擎，Spark赖以成名之处是其数据实时处理功能。Spark与Hadoop及其模块兼容。实际上，在Hadoop的项目页面上，Spark就被列为是一个模块。 （编辑：揭阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
