大数据技术区||Hadoop的发行版本
发布者:
布时间:2020-09-17 10:47:05
点击量:
Hadoop的发行版除了社区的Apache hadoop外,cloudera、hortonworks、mapR、华为、EMC、IBM、INTEL等等都提供了自己的商业版本,部分Logo如图2-5所示。每个发行版都有自己的特点,商业版主要是提供了专业的技术支持。
图2-5 Hadoop的发行版本的Logo
1.Cloudera
2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,提供收费的技术服务、咨询和培训,以及收费的额外组件的高级功能。Cloudera产品主要为CDH、Cloudera Manager、Cloudera Support。
CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera的hadoop发行版,是在全世界最流行的Hadoop 版本,拥有众多企业级部署。它完全开源,比Apache hadoop在兼容性、安全性、稳定性上有增强。Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持。
推荐使用最新的CDH5版本,比如CDH5.0.0。
下载地址: http://archive.cloudera.com/cdh5/cdh/
2.Hortonworks
2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建的公司。Hortonworks的主打产品是HDP(Hortonworks Data Platform),也同样是100%开源的产品,HDP除了常见的项目外还包含了Ambari(一款开源的安装和管理系统)和Hcatalog(一个元数据管理系统)。
推荐使用最新的HDP 2.x版本。
下载地址:https://zh.hortonworks.com/products/data-platforms/hdp/
3.FusionInsight
华为大数据平台FusionInsight解决方案由4个子产品FusionInsight HD、FusionInsight MPPDB、FusionInsight Miner、FusionInsight Farmer和1个操作运维系统FusionInsight Manager构成。
(1)FusionInsight HD:企业级的大数据处理环境,是一个分布式数据处理系统,对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力。
(2)FusionInsight MPPDB:企业级的大规模并行处理关系型数据库。FusionInsight MPPDB采用MPP(Massive Parallel Processing)架构,支持行存储和列存储,提供PB级别数据量的处理能力。
(3)FusionInsight Miner:企业级的数据分析平台,基于华为FusionInsight HD的分布式存储和并行计算技术,提供从海量数据中挖掘出价值信息的平台。
(4)FusionInsight Farmer:企业级的大数据应用容器,为企业业务提供统一开发、运行和管理的平台。
(5)FusionInsight Manager:企业级大数据的操作运维系统,提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能。
2.1.6 Apache Hadoop的下载
Apache Hadoop项目主页地址为:http://hadoop.apache.org,主页面如图2-6所示。
图2-6 Apache Hadoop项目主页
Hadoop软件下载地址为:http://hadoop.apache.org/releases.html。
注意:Hadoop1.x 指的是:1.x(0.20.x)、0.21、0.22 。Hadoop2.x 指的是:2.x、0.23.x 。高版本不一定包含低版本的特性。
推荐使用Hadoop 2.x版本,本书实验所用Hadoop版本选择为Hadoop-2.7.3。
唯众大数据实训平台助你快速掌握大数据关键技术点
大数据实训平台简介
唯众大数据实训平台系统是针对IT类实验室现状开发的一套虚拟化网络创新教学实训平台,它采用B/S的软件架构,基于web浏览器访问,以少量硬件设备完成大量实训集群的构建,可提供大量学生进行IT类相关实训。每个学生的实训环境互相隔离、实训过程互不干扰。同一页面中既包含了各类实操环境,也包含了每个实验对应的实验文档,省去了在同页面间来回切换的麻烦,实验过程采用分布式设计,配合大数据分析模块,实时监控每个步骤的学习情况,方便学生高效的完成实训操作的同时,大幅节省了硬件成本和人力成本的投入。
大数据实训平台特点
配置灵活
- 支持集群部署,支持集群内管理云主机,提供高可用特性,自动生成IP池,内置DHCP服务器,自动为云主机分配IP地址
- 支持自定义镜像上传,可满足多种格式镜像上传及管理功能
- 支持批量创建/删除多个云主机,支持云主机基本生命周期控制,
- 支持自定义云主机配置管理
操作简便
- 同一页面中既包含了各类实操环境,也包含了每个实验对应的实验文档,省去了在同页面间来 回切换的麻烦。
- 学生在实验过程中可以根据学习内容记录学习笔记,并查看他人笔记
- 学生在实验过程中可以将自己遇到的问题进行提问或回答其他同学的问题,老师或其他同学可对起问题进行回答
- 学生在实验结束后在线提交实验报告,并查看成绩以及评语
大数据实训资源
大数据之Linux基础
大数据之Python基础
大数据之MySQL基础
大数据之Java程序设计
大数据之jQuery数据处理
大数据之可视化
大数据之JavaWeb应用程序设计
大数据之JavaWeb图书管理系统项目
大数据之JavaWeb试题库管理系统项目
大数据之环境搭建
Hadoop离线大数据网站点击流日志分析
Hadoop离线大数据学情分析系统开发
Spark Streming医疗实时审核系统开发
Spark用户人群画像系统开发
上一篇:大数据技术区||Hadoop的生态系统
下一篇:大数据技术区||安装VMware Workstation