社区
Hadoop生态社区
帖子详情
Hadoop本身是用什么语言开发的?
evilhacker
2011-09-15 07:33:23
Hadoop本身是用什么语言开发的?
可以运行在那些OS之上?
其子项目HDFS又是用什么语言开发的?
...全文
4013
11
打赏
收藏
Hadoop本身是用什么语言开发的?
Hadoop本身是用什么语言开发的? 可以运行在那些OS之上? 其子项目HDFS又是用什么语言开发的?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
11 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
evilhacker
2011-09-25
打赏
举报
回复
结贴的时候发现2楼的也说了,只是没那么详细
evilhacker
2011-09-25
打赏
举报
回复
thanks~你的回答跟我自己查到的一样~
要是早点回答我就可以省些力了,哈哈
分数全给你~
[Quote=引用 8 楼 fly542 的回复:]
Hadoop本身是用什么语言开发的?----Java语言
可以运行在那些OS之上?
• GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
• Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
其子项目HDFS又是用什么语言开发的? ---……
[/Quote]
evilhacker
2011-09-22
打赏
举报
回复
以上都没回答我的问题。。。。
求靠谱的回答
fly542
2011-09-22
打赏
举报
回复
Hadoop本身是用什么语言开发的?----Java语言
可以运行在那些OS之上?
• GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
• Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持。
其子项目HDFS又是用什么语言开发的? ---- Java
西溪晨风
2011-09-17
打赏
举报
回复
而且据说不稳定
西溪晨风
2011-09-17
打赏
举报
回复
目前还没有直接用于 windows 上的 hadoop 版本
那个要用 cygwin
asdfgcjw
2011-09-16
打赏
举报
回复
windows 上也支持hadoop的
evilhacker
2011-09-16
打赏
举报
回复
hadoop上的应用是java,但hadoop本身貌似不是java吧。。。。。
还有第二个问题没回答呢?
西溪晨风
2011-09-16
打赏
举报
回复
我还希望有 Windows 版的 Hadoop,可惜目前没有。
西溪晨风
2011-09-16
打赏
举报
回复
用 Java 实现的,开源的,支持 Fedora、Ubuntu 等 Linux 平台!
大数据学习路线
一 到底学什么 目前来说,大数据的学习核心就是
hadoop
生态圈及相关的技 术。 主要的技能树-
语言
篇:
Hadoop
本身是用java
开发
的,所以对java的支持性非常好, 所以java是必须的
语言
。 数据挖掘: 因为Python
开发
效率较高所以我们使用Python来进行任务, 当然,目前很强大的scala也是一种不错的备选。 因为
Hadoop
是运行在Linux系统上的,所以还需要掌握Linux 的知识。
Hadoop
实战(陆嘉恒)译
经过学术界和业界近10年的努力,
Hadoop
技术已经趋于完善而且应用广泛,几乎已经成为Big Data领域的事实标准。
Hadoop
技术本身比较复杂,而且还涉及Pig、ZooKeeper、Hive、HBase等一系列技术,学习门槛比较高,对于初学者和基础不太扎实的读者而言,有一本适合系统学习的
Hadoop
图书显得十分重要。本书即是专门为这两类读者量身定做的:第一,它的内容非常全面和前沿,不仅讲解了最新的
Hadoop
技术和第二代MapReduce,还讲解了涉及的所有周边技术,能满足系统学习的需求;第二,实战性非常强,不仅很多知识点配有精心设计的小案例,而且有完整的企业级案例,能满足操作实践的需求;第三,这一版在上一版的基础上根据最新的技术做了更新和补充,能满足读者学习最新技术的需求。本书第1版不仅取得了好的销量,而且广受好评,第2版在内容上有很大的提升,相信能让更多的读者从中受益。 —— Easy
Hadoop
国内专业的Hadooop社区,致力于让
Hadoop
大数据分析更简单 第一部分
Hadoop
——一种分布式编程框架 第1 章
Hadoop
简介 1.1 为什么写《
Hadoop
实战》 1.2 什么是
Hadoop
1.3 了解分布式系统和
Hadoop
1.4 比较SQL 数据库和
Hadoop
1.5 理解MapReduce 1.5.1 动手扩展一个简单程序 1.5.2 相同程序在MapReduce中的扩展 1.6 用
Hadoop
统计单词——运行第一个程序 1.7
Hadoop
历史 1.8 小结 1.9 资源 第2 章 初识
Hadoop
2.1
Hadoop
的构造模块 2.1.1 NameNode 2.1.2 DataNode 2.1.3 Secondary NameNode 2.1.4 JobTracker 2.1.5 TaskTracker 2.2 为
Hadoop
集群安装SSH 2.2.1 定义一个公共账号 2.2.2 验证SSH安装 2.2.3 生成SSH密钥对 2.2.4 将公钥分布并登录验证 2.3 运行
Hadoop
2.3.1 本地(单机)模式 2.3.2 伪分布模式 2.3.3 全分布模式 2.4 基于Web 的集群用户界面 2.5 小结 第3 章
Hadoop
组件 3.1 HDFS 文件操作 3.1.1 基本文件命令 3.1.2 编程读写HDFS 3.2 剖析MapReduce 程序 3.2.1
Hadoop
数据类型 3.2.2 Mapper 3.2.3 Reducer 3.2.4 Partitioner:重定向Mapper输出 3.2.5 Combiner:本地reduce 3.2.6 预定义mapper和Reducer类的单词计数 3.3 读和写 3.3.1 InputFormat 3.3.2 OutputFormat 3.4 小结 第二部分 实战 第4 章 编写MapReduce基础程序 4.1 获得专利数据集 4.1.1 专利引用数据 4.1.2 专利描述数据 4.2 构建MapReduce 程序的基础模板 4.3 计数 4.4 适应
Hadoop
API 的改变 4.5
Hadoop
的Streaming 4.5.1 通过Unix命令使用Streaming 4.5.2 通过脚本使用Streaming 4.5.3 用Streaming处理键/值对 4.5.4 通过Aggregate包使用Streaming 4.6 使用combiner 提升性能 4.7 温故知新 4.8 小结 4.9 更多资源 第5 章 高阶MapReduce 5.1 链接MapReduce 作业 5.1.1 顺序链接MapReduce作业 5.1.2 具有复杂依赖的MapReduce链接 5.1.3 预处理和后处理阶段的链接 5.2 联结不同来源的数据 5.2.1 Reduce侧的联结 5.2.2 基于DistributedCache的复制联结 5.2.3 半联结:map侧过滤后在reduce侧联结 5.3 创建一个Bloom filter 5.3.1 Bloom filter做了什么 5.3.2 实现一个Bloom filter 5.3.3
Hadoop
0.20 以上版本的Bloom filter 5.4 温故知新 5.5 小结 5.6 更多资源 第6 章 编程实践 6.1
开发
MapReduce 程序 6.1.1 本地模式 6.1.2 伪分布模式 6.2 生产集群上的监视和调试 6.2.1 计数器 6.2.2 跳过坏记录 6.2.3 用IsolationRunner重新运行出错的任务 6.3 性能调优 6.3.1 通过combiner来减少网络流量 6.3.2 减少输入数据量 6.3.3 使用压缩 6.3.4 重用JVM 6.3.5 根据猜测执行来运行 6.3.6 代码重构与算法重写 6.4 小结 第7 章 细则手册 7.1 向任务传递作业定制的参数 7.2 探查任务特定信息 7.3 划分为多个输出文件 7.4 以数据库作为输入输出 7.5 保持输出的顺序 7.6 小结 第8 章 管理
Hadoop
8.1 为实际应用设置特定参数值 8.2 系统体检 8.3 权限设置 8.4 配额管理 8.5 启用回收站 8.6 删减DataNode 8.7 增加DataNode 8.8 管理NameNode 和SNN 8.9 恢复失效的NameNode 8.10 感知网络布局和机架的设计 8.11 多用户作业的调度 8.11.1 多个JobTracker 8.11.2 公平调度器 8.12 小结 第三部分
Hadoop
也疯狂 第9 章 在云上运行
Hadoop
9.1 Amazon Web Services 简介 9.2 安装AWS 9.2.1 获得AWS身份认证凭据 9.2.2 获得命令行工具 9.2.3 准备SSH密钥对 9.3 在EC2 上安装
Hadoop
9.3.1 配置安全参数 9.3.2 配置集群类型 9.4 在EC2 上运行MapReduce 程序 9.4.1 将代码转移到
Hadoop
集群上 9.4.2 访问
Hadoop
集群上的数据 9.5 清空和关闭EC2 实例 9.6 Amazon Elastic MapReduce 和其他AWS 服务 9.6.1 Amazon Elastic MapReduce 9.6.2 AWS导入/导出 9.7 小结 第10 章 用Pig编程 10.1 像Pig 一样思考 10.1.1 数据流
语言
10.1.2 数据类型 10.1.3 用户定义函数 10.2 安装Pig 10.3 运行Pig 10.4 通过Grunt 学习Pig Latin 10.5 谈谈Pig Latin 10.5.1 数据类型和schema 10.5.2 表达式和函数 10.5.3 关系型运算符 10.5.4 执行优化 10.6 用户定义函数 10.6.1 使用UDF 10.6.2 编写UDF 10.7 脚本 10.7.1 注释 10.7.2 参数替换 10.7.3 多查询执行 10.8 Pig 实战——计算相似专利的例子 10.9 小结 第11 章 Hive及
Hadoop
群 11.1 Hive 11.1.1 安装与配置Hive 11.1.2 查询的示例 11.1.3 深入HiveQL 11.1.4 Hive小结 11.2 其他
Hadoop
相关的部分 11.2.1 HBase 11.2.2 ZooKeeper 11.2.3 Cascading 11.2.4 Cloudera 11.2.5 Katta 11.2.6 CloudBase 11.2.7 Aster Data和Greenplum 11.2.8 Hama和Mahout 11.2.9 search-
hadoop
.com 11.3 小结 第12 章 案例研究 12.1 转换《纽约时报》1100 万个库存图片文档 12.2 挖掘中国移动的数据 12.3 在StumbleUpon 推荐最佳网站 12.3.1 分布式StumbleUpon 的开端 12.3.2 HBase 和StumbleUpon 12.3.3 StumbleUpon 上的更多
Hadoop
应用 12.4 搭建面向企业查询的分析系统——IBM的ES2 项目 12.4.1 ES2 系统结构 12.4.2 ES2 爬虫 12.4.3 ES2 分析 12.4.4 小结 12.4.5 参考文献
Spark入门——什么是
Hadoop
,为什么是Spark?
#Spark入门#这个系列课程,是综合于我从2017年3月分到今年7月份为止学习并使用Spark的使用心得感悟,暂定于每周更新,以后可能会上传讲课视频和PPT,目前先在博客园把稿子打好。注意:这只是一个草稿,里面关于知识的误解还请各大网友监督,我们互相进步。总而言之,网络上的知识学会断舍离,学会带着辩证的眼光去学习就能进步。 谈到Spark,实际上从16年本科实习的时候就已经开始接触,那个时候是从Pig入门大数据
Hadoop
的,有兴趣的朋友可以看
Hadoop
家族之Pig入门;当时大家基本都在使用Pig
Apache
Hadoop
家族是什么能够做什么?
什么是Apache
Hadoop
?Apache™
Hadoop
®项目为可靠的,可扩展的分布式计算
开发
开源软件。Apache
Hadoop
软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于在应用层检测和处理故障,从而在一组计算机之上提供高可用性服务,每个计算机都可能...
如何学习
Hadoop
,学习
Hadoop
要学什么?怎么学?
转载自:http://lxw1234.com/archives/2016/11/779.htm 第一章:初识
Hadoop
第二章:更高效的WordCount 第三章:把别处的数据搞到
Hadoop
上 第四章:把
Hadoop
上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来越多的分析任务 第八章:我的数据要实时 第九章:我的数据要对外 第十章:牛逼高大上的机器学习 ...
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章