生产环境用的是CDH多还是原生hadoop多？

QQ46691550 2017-05-04 11:03:53
学习了hadoop 2.7，但是看到后来人家都是说CDH更方便，用得更多
不知道是不是这样？？

如果是的话那下一阶段专心学CDH5就可以了是吧
...全文
1606 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
kazoroth 2017-08-05
  • 打赏
  • 举报
 回复
应该是cdh多 不过好像说cdh性能不是很好，不知道是不是里面一些软件比较旧
tom_fans 2017-08-05
  • 打赏
  • 举报
 回复
刚开始你会觉得CDH方便，实际用到后面你会发现其实都差不多，CDH好处在于部署方便， 如果谈配置之类的，所有的HADOOP都一样，你需要去了解每个配置的含义，这个就不分什么CDH,HDP了。 实际环境可以考虑用CDH或者HDP， 部署方便能够减少你很多人力，毕竟使用HADOOP才是重要。
shiter 2017-05-31
  • 打赏
  • 举报
 回复
cdh的各类监控日志等做的非常好，可以使用免费版的
弹指神通 2017-05-10
  • 打赏
  • 举报
 回复
CDH好像完整的要收费？HDP全免费估计用的也很多。
hadoop-2.6.0-cdh5.14.0 hadoop.dll winutils
一开始使用的是原生的hadoop2.6.0编译的hadoop.dll，但是一直遇到这个问题Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所以自己就用cdh的hadoop源码编译了一遍，踩了很多坑。最终还是解决了，能在windows中调试mapreduce了。 ps:csdn上看到同样的资源 竟然要10分，下不起 下不起。只能自己做了，5分服务大众。。。
CDH-5.10.2集群的搭建.pdf
使用原生的ApacheHadoop，有以下痛点需要解决： 1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 2、规模很大的集群下升级Hadoop版本很费时费力 3、需要自己保证版本兼容，比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容 4、安全性很低 Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下： • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hortonworks Data Platform (HDP) • MapR • EMR 而CDH是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储（HDFS）和分布式计算（MR），还提供了WEB页面进行管理、监控。
cdh6.1.0搭建手册.pdf
CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建，是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；还有一系列实用的组件等等。
Cloudera CDH大数据平台搭建参考手册
CDH是Apache Hadoop和相关项目的最完整，经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；Cloudera作为一个广泛使用的商业版数据中心管理工具更是对数据的安全决不妥协！ CDH 提供： 灵活性 - 存储任何类型的数据，并使用各种不同的计算框架进行处理，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。 集成 - 在一个可与广泛的硬件和软件解决方案配合使用的完整Hadoop平台上快速启动并运行。 安全 - 过程和控制敏感数据。 可扩展性 - 启用广泛的应用程序并进行扩展和扩展，以满足您的需求。 高可用性 - 充满信心地执行关键业务任务。 兼容性 - 利用您现有的IT基础设施和资源。
idea 配置连接远程hadoop 插件
idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样; 原生集群端口分别为50020和9000 cdh 集群 端口分别为8020和9000 ,不用点测试直接点应用即可
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章