ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。

2022-02-23 11:03:05  阅读:148  来源: 互联网

标签:各个 可以 Hadoop YARN 文字描述 MapReduce 组件 Spark


2.对比Hadoop与Spark的优缺点。

与 Hadoop 的 MapReduce 相比,Spark 基于内存的运算要快 

Spark 支持 各种编程语言还支持超过 很多种高级算法,使用户可以快速构建不同的应用。

Spark可以非常方便地与其他的开源产品进行融合。

因为不需要做任何数据迁移就可以使用 Spark 的强大处理能力。

 3.如何实现Hadoop与Spark的统一部署? 

Hadoop生态系统中的一些组件所实现的功能,目前还是无法由Spark取代的 。Spark则无法做到毫秒级响应。企业中已经有许多现有的应用,但是都是基于现有的Hadoop组件开发的,完全转移到Spark上需要一定的成本。由于Hadoop MapReduce、HBase、Storm和Spark等,都可以运行在资源管理框架YARN之上,因此,可以在YARN之上进行统一部署

 

标签:各个,可以,Hadoop,YARN,文字描述,MapReduce,组件,Spark
来源: https://www.cnblogs.com/Zxwzzz/p/15926305.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有