tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length);
其中
typedef int32_t tSize;
那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
感谢各位回答，不胜感激
-
等级
本版专家分：0结帖率 80% -
libhdfs的
tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length);
其中
typedef int32_t tSize;
那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
感谢各位回答，不胜感激
展开阅读全文
-
等级
本版专家分：0
-
没人回我啊没人回我
-
等级
本版专家分：0
-
我自己搞定了，其中m_operateHDFS是我自己封装的读写hdfs的类的对象
// 2.1 打开本地文件
QFile readFile(strFileFull);
if(!readFile.open((QIODevice::ReadOnly)))
{
qDebug("Failed to open file: %s!", strFileFull.toStdString().data());
m_pStdItemModel->item(n, 2)->setText(tr("打开本地文件失败"));
return false;
}
// 3. 向HDFS中写入文件
QString strWritePath = Global::GetConfig().GetHDFSMissionDataPath() + strFilePath; // if there is not '/' befor missionData, the path in HDFS will be /usr/<username>/temp/<strFileName>
// 3.1 上传前记录文件是否已存在
bool bExist = m_operateHDFS.exists(strWritePath.toStdString().data());
// 3.2 hdfs open file
if(!m_operateHDFS.open(strWritePath.toStdString().data(), O_WRONLY|O_CREAT))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS文件打开失败"));
return false;
}
// 2.2 read file
int nGB = 1024 * 1024 * 1024;
// 3.3 hdfs write
qDebug("写前偏移%ld", m_operateHDFS.tell());
for (int i=0; i<fileInfo.size()/nGB; i++)
{
readFile.seek(i * nGB);
QByteArray qByteArry = readFile.read(nGB);
m_operateHDFS.write(qByteArry.data(), nGB);
qDebug("写中偏移%ld", m_operateHDFS.tell());
}
readFile.seek(fileInfo.size() / nGB * nGB);
if (-1 == m_operateHDFS.write(readFile.read(readFile.size() % nGB), readFile.size() % nGB))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS写入失败"));
return false;
}
qDebug("写后偏移%ld", m_operateHDFS.tell());
// 3.4 hdfs flush
if (-1 == m_operateHDFS.flush())
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS flush失败"));
return false;
}
// 3.4 hdfs close file
m_operateHDFS.close();
// 2.3 close file
readFile.close();
-
等级
本版专家分：0
-
// 2.1 打开本地文件
QFile readFile(strFileFull);
if(!readFile.open((QIODevice::ReadOnly)))
{
qDebug("Failed to open file: %s!", strFileFull.toStdString().data());
m_pStdItemModel->item(n, 2)->setText(tr("打开本地文件失败"));
return false;
}
// 3. 向HDFS中写入文件
QString strWritePath = Global::GetConfig().GetHDFSMissionDataPath() + strFilePath; // if there has no '/' befor missionData, the path in HDFS will be /usr/<username>/temp/<strFileName>
// 3.1 上传前记录文件是否已存在
bool bExist = m_operateHDFS.exists(strWritePath.toStdString().data());
// 3.2 hdfs open file
if(!m_operateHDFS.open(strWritePath.toStdString().data(), O_WRONLY|O_CREAT))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS文件打开失败"));
return false;
}
int nGB = 1024 * 1024 * 1024;
// 3.3 从本地文件读取nGB字节，写入HDFS，并设置文件偏移量
qDebug("写前偏移%ld", m_operateHDFS.tell());
for (int i=0; i<fileInfo.size()/nGB; i++)
{
// 3.3.1 从本地文件读取nGB字节，并设置文件偏移量
readFile.seek(i * nGB);
QByteArray qByteArry = readFile.read(nGB);
// 3.3.2 hdfs write
m_operateHDFS.write(qByteArry.data(), nGB);
qDebug("写中偏移%ld", m_operateHDFS.tell());
}
// 3.3.3 读取本地文件中剩下不足1G的数据，写入HDFS
int nRemaining = readFile.size() % nGB;
readFile.seek(fileInfo.size() / nGB * nGB);
QByteArray qByteArry = readFile.read(nRemaining);
if (-1 == m_operateHDFS.write(qByteArry.data(), nRemaining))
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS写入失败"));
return false;
}
qDebug("写后偏移%ld", m_operateHDFS.tell());
// 3.4 hdfs flush
if (-1 == m_operateHDFS.flush())
{
m_pStdItemModel->item(n, 2)->setText(tr("HDFS flush失败"));
return false;
}
// 3.4 hdfs close file
m_operateHDFS.close();
// 2.3 close file
readFile.close();
- libhdfs的hdfsWrite上传文件最大为４Ｇ，怎么办？
libhdfs的 tSize hdfsWrite(hdfsFS fs, hdfsFile file, const void* buffer, tSize length); 其中 typedef int32_t tSize;...那么该函数一次上传的最大长度为４Ｇ，难道用Ｃ＋＋向ＨＤＦＳ上传文件，最大上传４Ｇ吗？
- c/c++使用libhdfs对HDFS(Hadoop分布式文件系统)进行读写操作
最近需要对HDFS进行读写操作，参考hdfs.h头文件里面的注解，编写了一个例子。详细的说明在代码的注释中,如发现问题欢迎批评指正~ #include <iostream> #include <stdio.h> #include "hdfs.h" #include &...
- 基于libhdfs库操作HDFS文件
它为一部分HDFS的API提供了一个C的 API，以使用C来管理HDFS文件和文件系统。 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/LibHdfs.html 二、接口 1、建立、关闭与HDFS连接：hdfsConnect...
- 怎么设置某个用户生成hdfs文件的权限_HDFS这些问题你会处理吗？
列举一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要...
- HDFS: c/c++接口 libhdfs
建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。打开、关闭HDFS文件：hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建...
- Hadoop分布式文件系统（HDFS）之文件系统（详细版）
推荐书目电子版下载 HDFS快速入门 HDFS知识梳理详细版 HDFS文件系统详细介绍 接口
- 利用libhdfs访问分布式文件系统（hdfs）
操作系统：Ubuntu 16.04 Hadoop版本：2.7.3 Java版本：1.8.0_131 参考： ... 一：libhdfs环境配置 需要把jar包加入到CLASSPATH中。 修改 /etc/profile文件
- HDFS C++接口——libhdfs的编译、配置、使用
一、环境 操作系统：centos 6.3 64bits Hadoop版本：1.0.4 ...本文假设Hadoop的安装目录为，Java的安装目录为 二、编译： 在目录下，执行 1 ant compile-c
- HDFS源码阅读--Namenode文件系统目录树及数据块管理
文章目录Namenode一、文件系统目录树1. INode相关类1.1 INode类1.2 INodeWithAdditionalFields类1.3 INodeDirectory类1.4 INodeFile类1.5 INodeReference类2. FSEditLog类2.1 transactionId机制2.2 FSEditLog状态机...
- hdfs3找不到libhdfs3.so 解决/Pycharm中使用conda
用pip安装hdfs3后运行程序显示 ...查找资料，conda安装hdfs3有libhdfs3.so，但是我加入conda/pkgs路径也不行 启动pycharm-新建项目 设置这三项对应即可 然后settings-加号，Manage Repositories...
- java hadoop makefile_HDFS C++接口——libhdfs的编译、配置、使用
一、环境操作系统：centos 6.3 64bitsHadoop版本：1.0.4本文假设Hadoop的安装目录为，Java的安装目录为二、编译：在目录下，执行antcompile-c++-libhdfs-Dislibhdfs=true三、配置主要解决g++ 寻找头文件和动态链接库...
- 使用python来访问Hadoop HDFS存储实现文件的操作
1.安装pyhdfspip install pyhdfs2.这个是pyhdfs的库1234567import pyhdfsfs = pyhdfs.connect("192.168.1.1", 9000)pyhdfs.get(fs, "/rui/111"...)pyhdfs.write(fs, f, "fuc.
- [转载]hdfs c/c++ API
原文链接：... 1.建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。 2.打开、关闭HDFS文件：hdfsOpenFi...
- python操作文件系统_使用python的hdfs包操作分布式文件系统（HDFS）
=====================================================================================写在前边的话：之前做的hadoop集群，组合了hive，hbase，sqoop，spark等开源工具，现在要对他们做一个Web的可视化操作，...
- c++ 操作HDFS
如果由于业务需求无法用python、java以及命令行来操作HDFS，需要用c++的话，不用着急，libhdfs将是为你带来方便。Libhdfs是专门为c以及c++开发者提供的操作HDFS的API库，下面就是两个demo的介绍： 向HDFS的文件中...
- 怎么设置某个用户生成hdfs文件的权限_吐血整理 | HDFS运维问题大全
| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。1这次我吐血...
- 怎么设置某个用户生成hdfs文件的权限_HDFS 运维常见问题处理
腾讯游戏CROS体系的DBA维护着多套互娱数据平台的核心HDFS集群，积累了不少维护经验。1. 定期block全盘扫描，引起dn心跳超时而脱离集群hdfs有一个目录扫描机制，默认6小时会全盘扫描一次所有block，判断与内存里的那...
- Hadoop分布式文件系统（HDFS）知识梳理（超详细）
推荐书目电子版下载 HDFS知识梳理 应用背景 简介 基本原理 优点 缺点 设计 概念 读写流程 文件写入 文件读取 命令行接口 Java接口 连接Hadoop集群 Hadoop分布式文件系统Java接口详细版 简介 文件系统 接口
- python文件hadoop_使用python来访问Hadoop HDFS存储实现文件的操作
在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库1 import pyhdfs2 fs = pyhdfs.connect("192.168.1.1...
- python 新建文件 hdfs_python基础操作以及hdfs操作
最近就被“逼着”走向了python开发之路，大体实现的功能是写一个通用类库将服务器本地存储的文件进行简单清洗后转储到HDFS中，所以基本上python的相关知识都涉及到了，这里对一些基础操作以及hdfs操作做一总结，以备...
- hadoop配置文件详解系列（二）-hdfs-site.xml篇
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-...
- 将实时产生的数据流式写入到hdfs中
Flink将实时产生的数据流式写入到hdfs中 import cn.itcast.day03.source.custom.MyNoParallelSource; import cn.itcast.day03.source.custom.Order; import org.apache.flink.api.common.serialization....
- hadoop 修复hdfs中文件块错误 和文件修复 Error: java.io.IOException: Cannot obtain block length for ...
一：问题 Error: java.io.IOException: Cannot obtain block length for LocatedBlock Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1241298414-127.0.0.1-1523601065028:blk_...
- 使用Kerberos安全读取HDFS文件
compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.6' compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.6' krb5.conf 文件(从KDC服务器上复制下来) [lib...
- libhdfs 的C API
libhdfs是基于JNI的hdfs的C应用接口。它提供了通过C接口访问HDFS的功能。libhdfs库是Hadoop发行版中一部分，已经编译好了，所在位置一般是${HADOOP_HOME}/lib/native/libhdfs.so 。不同的版本库文件所在位置稍微不同...
- fuse挂载hadoop2.0.0文件系统hdfs到本地（关于libhdfs和fuse-dfs的编译）
一、环境配置 1.主机系统：RedHat Enterprise Linux 6.1 （X86_64） Hadoop版本：hadoop-2.0.0-cdh4.3.0 JDK的版本：jdk1.6.0_45 Ant的版本：apache-ant-1.8.2 Mave
- ambari hdfs 启动报错_HDFS这些问题你会处理吗？
列举一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要...