求教如何选择压缩算法

blueflame 2006-05-23 05:23:15

用于CS结构MIS系统中传输数据的压缩，请问通常采用的压缩算法有哪些？且该如何选择？
小弟不熟悉这方面的东西，还望各位大虾能指点一二，先说声谢谢了！

...全文

286 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianfang 2006-05-24

打赏
举报

回复

java可以看看java.util.zip.*;
c++ 可以使用zlib http://www.zlib.net/

tianfang 2006-05-24

打赏
举报

回复

看你用什么语言开发的。一般的，zip是所有编程语言都有的压缩方法

这个 RPC 基础设施具有标准化、可通用和跨平台的特点，旨在提供类似 Stubby 的可扩展性、性能和功能，但它主要面向社区。gRPC+提供了多种压缩算法，以满足不同的需求和环境。使用较小的数据尺寸传输需要的带宽更少，这意味着可以减少使用的网络资源和相关费用。Stubby有许多很棒的特性，但无法标准化为业界通用的框架，这是因为它与谷歌内部的基础设施耦合得过于紧密。长期以来，谷歌有一个名为 Stubby 的通用 RPC 框架，用来连接成千上万的微服务，这些微服务跨多个数据中心并且使用完全不同的技术来构建。

看过很多压缩相关的技术文章，大家都在讲各种压缩算法的技术实现原理及各压缩算法之间的压缩率的对比，哪个压缩算法好等等。这些技术文章非常好，可以指引我们在技术上不断钻研。本文从另外一个大家讲的还比较少的角度，和大家一起探讨下如何在产品中使用好压缩算法。

TiKV压缩算法：不同场景选择【免费下载链接】tikv TiKV 是一个分布式键值存储系统，用于存储大规模数据。 * 提供高性能、可扩展的分布式存储功能，支持事务和分布式锁，适用于大数据存储和分布式系统场景。 * 有什么特点：高性能、可扩展、支持事务和分布式锁、易于集成。 ...

HIVE 中默认的存储格式；一般使用在数据贴源层(ODS 或 STG) ，针对需要使用脚本 LOAD 加载数据到 HIVE 数仓表中的情况；需要把表里数据导出或直接可以查看等场景，作为BI供数易读性要比 ORC 高很多；数据存储时不压缩，因此磁盘的开销和数据解析开销比较大；TEXTFILE 可以结合 Gzip、Bzip2 等压缩算法使用(系统自动检查，执行查询时自动解压)，但使用这种方式，HIVE 不会对数据进行切分，从而无法对数据进行并行操作；

在现代分布式系统中，网络传输效率往往是性能瓶颈的关键所在。DiceDB作为一款高性能内存数据库，在处理大规模数据交互时，传输压缩算法的选择直接影响着系统的吞吐量和响应延迟。据统计，未经压缩的网络传输可能占用高达70%的带宽资源，而合理的压缩策略可以将这一比例降低到20%以下。本文将深入探讨DiceDB中传输压缩算法的选择策略，帮助开发者理解如何在不同场景下选择最优的压缩方案。 ## 压缩算法...

数据结构与算法

33,025

社区成员

35,334

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章