hadoop pipes

q669513304 2011-11-14 04:54:43

请问有没有人能告诉我怎么使用hadoop的pipes来运行C++代码呀，很急呀

...全文

551 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

为此，Hadoop提供了三种方法来实现这一目标：Hadoop Streaming、Hadoop Pipes和Hadoop JNI。 1. **Hadoop Streaming**： Hadoop Streaming是一个接口，允许使用任何可执行文件或脚本（如C、C++、Python、Ruby等）...

这些工具涵盖了从数据传输到日志管理的各个方面，如DistCp用于大规模文件复制，Hadoop FsShell提供文件系统操作命令，Hadoop Pipes允许使用C++编写MapReduce作业。在实际应用中，我们通常会遇到需要将压缩文件解压...

本培训视频教程深入探讨了MapReduce的高阶实现，涵盖了Hadoop Pipes、复杂MapReduce应用、工作流实现以及与之相关的问题解决策略。以下是从本教程中提炼的知识点： 1. Hadoop Pipes实现原理：Hadoop Pipes提供了一...

4. **libhadooppipes.a** 和 **libhadoop.a**：这两个是静态链接库，用于创建使用Hadoop pipes的MapReduce程序。Hadoop pipes允许用C++编写MapReduce任务，提高了执行效率。 5. **libhadooputils.a**：这可能是...

Hadoop提供了丰富的API和开发工具，如Hadoop Streaming、Hadoop Pipes、Java API等。源代码分析可以帮助我们掌握如何使用这些工具编写MapReduce作业。 10. **性能调优**：优化Hadoop集群的性能是实践中不可或缺...

1,151

社区成员

244

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章