基于hadoop-0.20.2的FTP服务器下载

weixin_39821228 2019-09-19 05:30:53

基于apache发布的FTPserver实现的基于hadoop-0.20.2的FTP服务器，可以直接使用，但要进行hadoop网址的基本配置，另外只有一个匿名用户，除了几个我设定的系统文件夹不能删除外，基本具有所有权限。当然，您可以在此基础上实现再开发，比如加入权限控制
相关下载链接：//download.csdn.net/download/yanxf07/9369598?utm_source=bbsseo

...全文

37 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍了一个Hadoop项目，旨在将Hadoop分布式文件系统（HDFS）与FTP协议进行整合，适用于Hadoop 0.20.0版本。通过该项目，用户可以通过FTP协议上传、下载或管理存储在HDFS中的文件，简化大数据导入过程，并提供与外部系统的兼容接入方式。文章详细阐述了HDFS与FTP集成的意义、技术挑战、Hadoop 0.20.0版本对FTP集成的支持，以及实现细节、源代码、配置文件、文档、示例和测试用例。

本文介绍了如何利用Hadoop集群平台的分布存储和计算能力，通过MapReduce将FTP文件分布式下载并上传到HDFS中。实现过程中包括文件移动流程、设计思想、代码主要过程、技术点、准备工作以及具体代码实现，详细阐述了主类FtpMR、接口类FtpUtil和通用函数类ComMethod的功能与作用。

本文介绍如何使用Python从FTP服务器批量下载Hadoop权威指南中提到的天气数据。通过编写Python脚本，实现了对ftp3.ncdc.noaa.gov上1911年至1930年间的天气数据的自动化下载，解决了手动下载大量文件的问题。

本文介绍了一种使用Java程序将FTP服务器上的数据导入到Hadoop HDFS中的方法，并解决了在Eclipse环境中运行程序时出现的路径错误问题。

本文详细介绍了如何在Hadoop 2.7.1环境下，通过FTP与HDFS进行集成操作。首先，指导用户安装Maven和Java并配置环境；其次，修改pom.xml文件以引入相应的Hadoop版本；接着，设置FTP服务器的用户权限，包括创建用户、设置密码等；然后，配置FTP端口、数据端口和HDFS URI；最后，启动程序确保Maven和Java的正常运行。用户可以通过浏览器直接访问FTP服务器，实现数据的上传与下载。

下载资源悬赏专区

13,652

社区成员

12,568,626

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章