Hadoop三大公司发型版本介绍

    科技2024-08-18  36

    **

    1、免费开源版本apache:http://Hadoop.apache.org/

    **优点:**拥有全世界的开源贡献者,代码更新迭代版本比较快,

    **缺点:**版本的升级,版本的维护,版本的兼容性,版本的补丁都可能考虑不太周到,学习可以用,实际生产工作环境尽量不要使用

    apache所有软件的下载地址(包括各种历史版本): http://archive.apache.org/dist/

    2、免费开源版本hortonWorks:https://hortonworks.com/

    hortonworks主要是雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立Hortonworks,核心产品软件HDP(ambari),HDF免费开源,并且提供一整套的web管理界面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF网址(http://ambari.apache.org/)

    3、服务收费版本ClouderaManager: https://www.cloudera.com/

    cloudera主要是美国一家大数据公司在apache开源Hadoop的版本上,通过自己公司内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本,解决了版本的升级困难,版本兼容性等各种问题,生产环境推荐使用。

    Hadoop的模块组成 1、HDFS:一个高可靠、高吞吐量的分布式文件系统。 2、MapReduce:一个分布式的离线并行计算框架。 3、YARN:作业调度与集群资源管理的框架。 4、Common:支持其他模块的工具模块。

    Processed: 0.017, SQL: 8