Hadoop第06天-04.综合文件压缩-解压缩测试

十八掌教育 2023-01-12 22:38:33

课时名称	课时知识点
Hadoop第06天-04.综合文件压缩-解压缩测试

...全文

123 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

前言新搭建的集群，需要进行各种测试，于是让一个同事导入一些测试数据，大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_table; 谁知道…就这么一个简单的SQL，半个小时过去后，仍然没有出结果追查原因原来同事从ftp拉取过来的数据是gzip格式的，他直接如到Hive表中…，而gzip格式的...

如果迁移的效率很低，将导致迁移的时间非常漫长，但是迁移是有时长限制的，迁移时如果不能在有限的时间内迁移完毕就会导致迁移失败。基于文件压缩/解压缩应用场景和迁移场景中QAT硬件加速技术的验证可以看出，QAT硬件加速技术能够有效的将CPU的压缩/解压缩工作负载进行卸载，且应用QAT硬件加速技术后，为了尽量避免上述情况的发生，可以在被迁移对象侧发送内存之前使用QAT压缩，同时在迁移目的对象接收迁移数据之后使用QAT解压缩，环境下，使用Intel QAT技术在数据压缩/解压缩、虚拟机迁移场景下进行了验证。

简介部署安装lzop native library 安装hadoop-lzo 配置hadoop环境变量验证lzo通过hive测试创建lzo表导入数据索引LZO文件利用hive执行mr任务修改使用中hive表的输入输出格式简介启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzo lzo并不是linu

项目需要，在脱离hadoop的环境下进行lzo压缩，折腾了好几天，总结一下备忘【首先lzo不像gzip那样，引入个包就能压缩，lzo需要调用底层c/c++库，所以一般都是在linux下先安装lzo压缩工具，生成native lib才可以压缩。安装lzo需要ant编译工具支持，所以如果没有ant，需要先安装，主要参照了这篇博客http://www.cnblogs.com/chaoboma/a...

magento2-2.4.3 实用跨境电商平台（php+mysql+redis）适用初创跨境电商业务，有齐全的插件，包好用的

徐培成的课程社区_NO_1

1

社区成员

469

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章