tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length);
其中
typedef int32_t tSize;
那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
感谢各位回答，不胜感激
-
等级
本版专家分：0结帖率 100% -
libhdfs的
tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length);
其中
typedef int32_t tSize;
那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
感谢各位回答，不胜感激
展开阅读全文
-
等级
本版专家分：0
-
没人回我啊没人回我
-
等级
本版专家分：0
-
我自己搞定了，其中m_operateHDFS是我自己封装的读写hdfs的类的对象
// 2.1 打开本地文件
QFile readFile(strFileFull);
if(!readFile.open((QIODevice::ReadOnly)))
{
qDebug("Failed to open file: %s!", strFileFull.toStdString().data());
m_pStdItemModel->item(n, 2)->setText(tr("打开本地文件失败"));
return false;
}
// 3. 向HDFS中写入文件
QString strWritePath = Global::GetConfig().GetHDFSMissionDataPath() + strFilePath; // if there is not '/' befor missionData, the path in HDFS will be /usr/<username>/temp/<strFileName>
// 3.1 上传前记录文件是否已存在
bool bExist = m_operateHDFS.exists(strWritePath.toStdString().data());
// 3.2 hdfs open file
if(!m_operateHDFS.open(strWritePath.toStdString().data(), O_WRONLY|O_CREAT))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS文件打开失败"));
return false;
}
// 2.2 read file
int nGB = 1024 * 1024 * 1024;
// 3.3 hdfs write
qDebug("写前偏移%ld", m_operateHDFS.tell());
for (int i=0; i<fileInfo.size()/nGB; i++)
{
readFile.seek(i * nGB);
QByteArray qByteArry = readFile.read(nGB);
m_operateHDFS.write(qByteArry.data(), nGB);
qDebug("写中偏移%ld", m_operateHDFS.tell());
}
readFile.seek(fileInfo.size() / nGB * nGB);
if (-1 == m_operateHDFS.write(readFile.read(readFile.size() % nGB), readFile.size() % nGB))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS写入失败"));
return false;
}
qDebug("写后偏移%ld", m_operateHDFS.tell());
// 3.4 hdfs flush
if (-1 == m_operateHDFS.flush())
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS flush失败"));
return false;
}
// 3.4 hdfs close file
m_operateHDFS.close();
// 2.3 close file
readFile.close();
-
等级
本版专家分：0
-
// 2.1 打开本地文件
QFile readFile(strFileFull);
if(!readFile.open((QIODevice::ReadOnly)))
{
qDebug("Failed to open file: %s!", strFileFull.toStdString().data());
m_pStdItemModel->item(n, 2)->setText(tr("打开本地文件失败"));
return false;
}
// 3. 向HDFS中写入文件
QString strWritePath = Global::GetConfig().GetHDFSMissionDataPath() + strFilePath; // if there has no '/' befor missionData, the path in HDFS will be /usr/<username>/temp/<strFileName>
// 3.1 上传前记录文件是否已存在
bool bExist = m_operateHDFS.exists(strWritePath.toStdString().data());
// 3.2 hdfs open file
if(!m_operateHDFS.open(strWritePath.toStdString().data(), O_WRONLY|O_CREAT))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS文件打开失败"));
return false;
}
int nGB = 1024 * 1024 * 1024;
// 3.3 从本地文件读取nGB字节，写入HDFS，并设置文件偏移量
qDebug("写前偏移%ld", m_operateHDFS.tell());
for (int i=0; i<fileInfo.size()/nGB; i++)
{
// 3.3.1 从本地文件读取nGB字节，并设置文件偏移量
readFile.seek(i * nGB);
QByteArray qByteArry = readFile.read(nGB);
// 3.3.2 hdfs write
m_operateHDFS.write(qByteArry.data(), nGB);
qDebug("写中偏移%ld", m_operateHDFS.tell());
}
// 3.3.3 读取本地文件中剩下不足1G的数据，写入HDFS
int nRemaining = readFile.size() % nGB;
readFile.seek(fileInfo.size() / nGB * nGB);
QByteArray qByteArry = readFile.read(nRemaining);
if (-1 == m_operateHDFS.write(qByteArry.data(), nRemaining))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS写入失败"));
return false;
}
qDebug("写后偏移%ld", m_operateHDFS.tell());
// 3.4 hdfs flush
if (-1 == m_operateHDFS.flush())
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS flush失败"));
return false;
}
// 3.4 hdfs close file
m_operateHDFS.close();
// 2.3 close file
readFile.close();
- libhdfs的hdfsWrite上传文件最大为４Ｇ，怎么办？
libhdfs的 tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length); 其中 typedef int32_t tSize;...那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
- c/c++使用libhdfs对HDFS(Hadoop分布式文件系统)进行读写操作
最近需要对HDFS进行读写操作，参考hdfs.h头文件里面的注解，编写了一个例子。详细的说明在代码的注释中,如发现问题欢迎批评指正~ #include <iostream> #include <stdio.h> #include "hdfs.h" #include &...
- 基于libhdfs库操作HDFS文件
它为一部分HDFS的API提供了一个C的 API，以使用C来管理HDFS文件和文件系统。 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/LibHdfs.html 二、接口 1、建立、关闭与HDFS连接：hdfsConnect...
- 利用libhdfs访问分布式文件系统（hdfs）
操作系统：Ubuntu 16.04 Hadoop版本：2.7.3 Java版本：1.8.0_131 参考： ... 一：libhdfs环境配置 需要把jar包加入到CLASSPATH中。 修改 /etc/profile文件
- 怎么设置某个用户生成hdfs文件的权限_HDFS这些问题你会处理吗？
列举一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要...
- Hadoop分布式文件系统（HDFS）之文件系统（详细版）
推荐书目电子版下载 HDFS快速入门 HDFS知识梳理详细版 HDFS文件系统详细介绍 接口
- Hadoop分布式文件系统（HDFS）知识梳理（超详细）
推荐书目电子版下载 HDFS知识梳理 应用背景 简介 基本原理 优点 缺点 设计 概念 读写流程 文件写入 文件读取 命令行接口 Java接口 连接Hadoop集群 Hadoop分布式文件系统Java接口详细版 简介 文件系统 接口
- HDFS: c/c++接口 libhdfs
建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。打开、关闭HDFS文件：hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建...
- hdfs3找不到libhdfs3.so 解决/Pycharm中使用conda
用pip安装hdfs3后运行程序显示 ...查找资料，conda安装hdfs3有libhdfs3.so，但是我加入conda/pkgs路径也不行 启动pycharm-新建项目 设置这三项对应即可 然后settings-加号，Manage Repositories...
- 使用python来访问Hadoop HDFS存储实现文件的操作
1.安装pyhdfspip install pyhdfs2.这个是pyhdfs的库1234567import pyhdfsfs = pyhdfs.connect("192.168.1.1", 9000)pyhdfs.get(fs, "/rui/111"...)pyhdfs.write(fs, f, "fuc.
- [hadoop] hdfs的并发写问题
两个客户端同时向hdfs上传不同名文件: 全都上传成功. 两个客户端同时向hdfs上传同名文件: 两个文件全部上传失败. 因此hdfs不能并发写指的是不能同时上传同位置同名文件. 额外一种情况 两个同名文件,一个文件成功...
- libhdfs api调用
libhdfs is a JNI based C api for Hadoop’s DFS. It provides C apis to a subset of the HDFS APIs to manipulate DFS files and the filesystem. libhdfs is part of the hadoop distribution and comes pre-...
- python 新建文件 hdfs_python基础操作以及hdfs操作
最近就被“逼着”走向了python开发之路，大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中，所以基本上python的相关知识都涉及到了，这里对一些基础操作以及hdfs操作做一总结，以备...
- HDFS的读写操作流程
HDFS简介 HDFS的特点: 特点: a. 能运行在廉价的机器上 b. 流式数据访问 c.处理应对大规模数据集,可以进行批量处理 d.一次写入,多次读取 缺点: a. 不支持低延迟数据访问 b.不能适应小文件的存储 c.不支持并发写入 d....
- Hadoop通过C API访问HDFS文件系统
一 LIB HDFS接口简介 hadoop filesystem apis是JAVA ...但HDFS提供了基于C调用接口LIBHDFS，为C语言访问HDFS提供了很大的便利 头文件：hdfs.h --- ${HADOOP_HOME}/include 库文件：libhdfs.so --{HADOOP_HOME...
- libhdfs 的C API
libhdfs是基于JNI的hdfs的C应用接口。它提供了通过C接口访问HDFS的功能。libhdfs库是Hadoop发行版中一部分，已经编译好了，所在位置一般是${HADOOP_HOME}/lib/native/libhdfs.so 。不同的版本库文件所在位置稍微不同...
- fuse挂载hadoop2.0.0文件系统hdfs到本地（关于libhdfs和fuse-dfs的编译）
一、环境配置 1.主机系统：RedHat Enterprise Linux 6.1 （X86_64） Hadoop版本：hadoop-2.0.0-cdh4.3.0 JDK的版本：jdk1.6.0_45 Ant的版本：apache-ant-1.8.2 Mave
- 【hadoop摸索系列】记录使用libhdfs访问hdfs的关键问题
hadoop官方的二进制发布版本一直是32位平台编译的，对于java来说跨平台不影响使用，但是为了在c/c++程序中操作hdfs就做不到了，因为libhdfs.so是二进制不兼容的。 我使用的是stable版本的hadoop 2.20，直接从官方...
- python文件hadoop_使用python来访问Hadoop HDFS存储实现文件的操作
在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库1 import pyhdfs2 fs = pyhdfs.connect("192.168.1.1...
- ambari hdfs 启动报错_HDFS这些问题你会处理吗？
列举一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要...
- Hadoop 如何使用libhdfs.so
Hadoop提供了C接口，这样可以通过C语言直接操纵Hadoop文件系统，虽然功能没有Java版本的完备，但可以满足一些项目需要。有关C接口的介绍，请点击此处。 本文主要一步一步实验如何使用libhdfs.so共享库。 官方...
- 怎么设置某个用户生成hdfs文件的权限_吐血整理 | HDFS运维问题大全
| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。1这次我吐血...
- Hadoop 学习笔记四 分布式文件系统HDFS
HDFSHDFS特点 硬件故障 流式的数据访问：HDFS设计适合批量处理 大数据集 简单一致性模型 移动计算比移动数据更经济 轻便访问异构的软硬件平台 名字节点和数据节点：HDFS是主从结构的体系 文件名字空间：支持传统的...
- HDFS C++接口——libhdfs的编译、配置、使用
一、环境 操作系统：centos 6.3 64bits Hadoop版本：1.0.4 ...本文假设Hadoop的安装目录为，Java的安装目录为 二、编译： 在目录下，执行 1 ant compile-c
- python操作文件系统_使用python的hdfs包操作分布式文件系统（HDFS）
=====================================================================================写在前边的话：之前做的hadoop集群，组合了hive，hbase，sqoop，spark等开源工具，现在要对他们做一个Web的可视化操作，...
- libhdfs的配置和使用
测试环境：centos6.10，hadoop2.7.3，jdk1.8 ...#include "hdfs.h" #include <string.h> #include <stdio.h> #include <stdlib.h> int main(int argc, char **argv) { ...
- CleanMyPc（内有破解工具）
CleanMyPc（内有破解工具）
- Premiere2019破解版
文档内包含pr2019版本的破解版，只需在解压后点击Setup.exe即可一键安装。
- 华为机考题库(全）
包括招聘的机考题，及面试过程中会问到的数据结构的相关内容，排序算法全部包括并且有改进算法，一点点改进可以让你表现的与众不同，如果好的话给点评价吧亲
- 敏捷开发V1.0.pptx
敏捷开发PPT 敏捷开发以用户的需求进化为核心，采用迭代、循序渐进的方法进行软件开发。在敏捷开发中，软件项目在构建初期被切分成多个子项目，各个子项目的成果都经过测试，具备可视、可集成和可运行使用的特征。换言之，就是把一个大项目分为多个相互联系，但也可独立运行的小项目，并分别完成，在此过程中软件一直处于可使用状态。