而存储后在进行读取时会由于该表的存储量很大，这个值会导致加大IO
我们在JAVA中能否使用一个比较高压缩的方式或进行编码、加密也可，或者某种手段将这个字符串的长度进行压缩
比如一个字符串的长度为300，在进行压缩后会变为150或更少
试了ZIP压缩不太理想，使用BASE64反而会增大，3DES的方式也不太好
想请教各位，有关这方面可用的技巧或思路！
-
由于需要将一个较大的参数值 进行数据库存储，
而存储后在进行读取时会由于该表的存储量很大，这个值会导致加大IO
我们在JAVA中能否使用一个比较高压缩的方式或进行编码、加密也可，或者某种手段将这个字符串的长度进行压缩
比如一个字符串的长度为300，在进行压缩后会变为150或更少
试了ZIP压缩不太理想，使用BASE64反而会增大，3DES的方式也不太好
想请教各位，有关这方面可用的技巧或思路！展开阅读全文
-
等级
本版专家分：104785勋章
-
- 探花 2012年 总版技术专家分年内排行榜第一
-
-
铜牌
2012年8月 总版技术专家分月排行榜第三
2012年7月 总版技术专家分月排行榜第三
-
-
红花
2014年8月 高性能开发大版内专家分月排行榜第一
2013年11月 高性能开发大版内专家分月排行榜第一
2012年12月 Java大版内专家分月排行榜第一
2012年11月 Java大版内专家分月排行榜第一
2012年10月 Java大版内专家分月排行榜第一
2012年9月 Java大版内专家分月排行榜第一
2012年8月 Java大版内专家分月排行榜第一
2012年7月 Java大版内专家分月排行榜第一
2012年6月 Java大版内专家分月排行榜第一
2012年5月 Java大版内专家分月排行榜第一
2012年4月 Java大版内专家分月排行榜第一
2012年3月 Java大版内专家分月排行榜第一
2012年2月 Java大版内专家分月排行榜第一
2012年1月 Java大版内专家分月排行榜第一
-
-
比如一个字符串的长度为300，在进行压缩后会变为150或更少
——规模太小了，压缩时生成的头信息都会消耗不少空间
试了ZIP压缩不太理想，使用BASE64反而会增大，3DES的方式也不太好
——BASE64根本就不是压缩，必然要增大；3DES是加密，不增大就算你运气很好了。
由于需要将一个较大的参数值 进行数据库存储
——如果可以，给出该参数值的形式，也许可以通过研究该参数值的规律来进行压缩。
不过说句心里话，才300字节，不要纠结了，这个IO简直可以忽略不计，实在不值得去压缩。。。。。
如果你很希望保证数据块内尽可能多存放数据行以提升list查询性能的话，可以将值用扩展表存储。
-
等级
本版专家分：104785勋章
-
- 探花 2012年 总版技术专家分年内排行榜第一
-
-
铜牌
2012年8月 总版技术专家分月排行榜第三
2012年7月 总版技术专家分月排行榜第三
-
-
红花
2014年8月 高性能开发大版内专家分月排行榜第一
2013年11月 高性能开发大版内专家分月排行榜第一
2012年12月 Java大版内专家分月排行榜第一
2012年11月 Java大版内专家分月排行榜第一
2012年10月 Java大版内专家分月排行榜第一
2012年9月 Java大版内专家分月排行榜第一
2012年8月 Java大版内专家分月排行榜第一
2012年7月 Java大版内专家分月排行榜第一
2012年6月 Java大版内专家分月排行榜第一
2012年5月 Java大版内专家分月排行榜第一
2012年4月 Java大版内专家分月排行榜第一
2012年3月 Java大版内专家分月排行榜第一
2012年2月 Java大版内专家分月排行榜第一
2012年1月 Java大版内专家分月排行榜第一
-
-
直接借助现成的压缩技术真的意义很小，因为你的规模太小了。如果不能有效扩大规模，头信息的开销太不值得了。
举例来说，假设你的数据内容都是 字母数字：
◎ 那么首先压缩算法会先根据内容生成压缩字典，那么这个字典可能就要占用大约100～200字节的信息。接下来300字节的正文如果按20%压缩比的话，可以压缩成60字节。最后的总规模就是160～260。你看，不是压缩比不够好，而是字典浪费太多空间了。导致实际收益才 10% ～ 20%
◎ 如果你的规模是 300MB，那么字典大小仍然是100～200字节，压缩比20%，总规模就是60MB+200字节，这个实际收益多高！基本上就是 80% 收益。
所以，我认为用通用压缩算法不能取得好的结果。我建议两种路线：
1、固定压缩算法，也就是研究你值的特征，然后直接手工生成压缩字典并固化在程序中，也就是每个字段的值里面不再保存这100～200字节的字典内容了；压缩和解压时都必须使用该唯一字典；
2、如果有条件的话，采用“列式数据库”，启用数据库字段级压缩，能得到很好的收益，因为这个相当于数据库会针对该字段生成所有数据行所公用的压缩字典。
- Java数据类型—String扩展
有时候我们会遇到将一个集合里面的字符串使用特定的分隔符进行拼接，这个时候我们可以使用join 方法，一方面是性能，一方面是代码简洁 @Test public void join(){ String[] text = {"hello", "word","are","you",...
- 几种压缩算法原理介绍
1. RLERLE又叫Run Length Encoding，是一个针对无损压缩的非常简单的算法。它用重复字节和重复的次数来简单描述来代替重复的字节。尽管简单并且对于通常的压缩非常低效，但它有的时候却非常有用（例如，JPEG就使用...
- 浅析数据压缩算法
A、C、T、G是是用来表示生物DNA的四种碱基，对基因序列的处理实际上是对这四种碱基的处理，因此为了解决这种字符种类较少且固定的字符序列，我们可以用双位编码（用2bit位可以表示四中字符）压缩来解决这个问题。...
- UNICODE与UTF-8的转换详解
转载自： http://www.ins1000.cn/KnowledgeActionForReader?action=read&id=104 UNICODE与UTF-8的转换详解 1 编码在计算机中，各种信息都是以二进制编码的形式存在的，也就是说，不管是文字、图形、声音、动画，...
- ISO8583报文中的编、解码总结
1.pos收单流程从POS机的角度看，一个典型的收单交易流程为：1. 根据报文格式进行组包，向后台发起交易...2.计算机编码基础计算机可以存储数字、字母、中文、特殊符号、图像等等各种复杂的数据，但不管是何种数据，最
- 字符集与编码方式解惑
【locale】指一个程序或者操作系统所处的国家、字符集、时间显示的格式、货币符号等。 在C标准库的locale.h文件中定义了常量LC_ALL（全部locale项）、LC_COLLATE（排序）、LC_CTYPE（语言符号）、LC_MESSAGES、LC_...
- Google protobuf for java 小试
Protocol buffers是一个用来序列化结构...相比较一些其他的XML技术而言，该技术的一个明显特点就是更加节省空间（以二 进制流存储）、速度更快以及更加灵活。 创建Person.proto文件 message Person { optional
- response.setHeader()设置下载中文文件名乱码问题
（1）通用信息头 即能用于请求消息中,也能用于响应信息中,但与被传输的实体内容没有关系的信息头,如Data,Pragma ...主要: Cache-Control , Connection , Data , Pragma , Trailer , Transfer-Encoding , Upgrade...
- 贪心算法之哈夫曼编码问题
这个问题利用字符的使用频率来编码,是不等长编码方法,使得经常使用的字符编码较短,不常使用的字符编码较长。如果采用等长的编码方案,假设所有字符的编码都等长,则表示 n 个不同的字符需要 ⎡log n⎤ 位。例如,3 个...
- 关于LZ77压缩算法 有代码
关于LZ77压缩算法 2008年05月04日 星期日 下午 05:23 在看木马代码的时候，涉及到一个lz77无损压缩算法的问题，上网搜了好多资料，都没找到特别好的。感觉这篇写的还算完整，贴出来分享给大家。关于该...
- 大数据：Hive - ORC 文件存储格式
ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是...
- Java中文编码及各种编码互转和Java判断文件编码
Unicode UTF-8 GBK 及一点Java代码 Unicode UTF-8 GBK这些不同的编码，我们可以想象为不同的字典。同一个汉字，在不同的字典里面，我们用不同的编号保存。比如汉字"陈"在Unicode里编号为9648,在GBK里面是0xB3C2,...
- redis支持的五种数据类型及其底层实现
字符串是Redis中最基本的数据类型，它能够存储任何类型的字符串，包含二进制数据。可以用于存储邮箱，JSON化的对象，甚至是一张图片，一个字符串允许存储的最大容量为512MB。字符串是其他四种类型的基础，与其他几种...
- redis中的数据类型及存储结构
Redis支持五中数据类型：String（字符串），Hash（哈希），List（列表），Set（集合）及zset(sortedset：有序集合)。 Redis定义了丰富的原语命令，可以直接与Redis服务器交互。实际应用中，我们不太会直接使用...
- JSON常见几种压缩方式
不论是数据的传输还是存储，在很多应用场景下，你可能想进一步地压缩JSON字符串的长度，以提升传输效率，如果你使用的是nosql数据库，你可能想进一步的压缩json字符串的长度来节省你的存储空间，接下来，我将介绍...
- Unicode字符编码标准
Unicode ...如何解释这些整数是由字符集（character set）、编码（encoding）决定的。 文 本主要是由字符（character）组成。在格式文本（fancy text, or rich text）中包括显示属性，如颜色、斜...
- Redis内部数据结构的实现
还有两个多月就找工作了，决定把之前看的一些东西整理一下，做个记录，也整理一下最近的思路。 Redis 作为一个基于key=>value的内存数据库，使用...在Redis内部，有非常多的数据结构：sds（简单动态字符串），list，i
- tomcat8 server.xml 标签connector 配置说明
介绍 每个connector标签表示一个链接组建，它...可以一个或多个connector标签，每个connector作为tomcat服务的一部分，每个connector使用相关引擎来执行请求处理和创建响应。 属性 公用属性 所有类型connector都支
- redis内部存储结构
redis支持的几种数据结构 字符串 列表 set sort-set map redisobj 存储结构 结构定义： typedef struct redisObject { unsigned type:4;... // 编码的方式，Redis 为了节省空间，提供多种方式来保存一个...
- Java对数据库的字符串字段进行压缩保存
核心提示：数据字段一般都是保存原文的，一来方便在数据库修改和维护，而来有一些查询要用到它。但是在有些时候，我们无需保存原文了，比如在论坛，博客等数据里的内容字段，一般使用Clob类型，其很少参与搜索，而且...
- Java面试题全集（上）
2013年年底的时候，我看到了网上流传的一个叫做《Java面试题大全》的东西，认真的阅读了以后发现里面的很多题目是重复且没有价值的题目，还有不少的参考答案也是错误的，于是我花了半个月时间对这个所谓的《Java面试...
- JAVA 对 URL 进行 编码与解码
转载于： 因为在做链接来源统计的时候需要...一般大部分的网站都是用普通的URL编码形式，如上面链接中的badu，这种很容易转换和还原，Java包里提供了两个类的不同方法URLEncode.encode()和U
- 这是我见过最有用的java面试题，面试了无数公司总结的
【声明】来源：动力节点Java学院，转载源：脚本之家（一小部分题的答案被我略作改动）1、什么是线程局部变量？线程局部变量是局限于线程内部的变量，属于线程自身所有，不在多个线程间共享。Java 提供 ThreadLocal ...
- 下载文件时Header设置fileName中文乱码
在开发中可能会遇见的中文乱码问题，我们从源头去分析，理清思路。 前端-后台 base_name.getBytes("ISO-8859-1"),"UTF-8") 后台-前端 base_name.getBytes("GB2312"...
- 《三天给你聊清楚redis》第1天先唠唠redis是个啥（18629字）
后端需要知道的关于redis的事，我保证，基本都在这里了。 此文后续会改为粉丝可见，所以喜欢的请提前关注。 你的点赞和评论是我创作的最大动力，谢谢。
- 【Java面试系列】Java面试题基础系列212道（上）
1.Java面试题 2.问题解析 1、面向对象的特征有哪些方面？ 2、访问修饰符 public,private,protected,以及不写（默认）时的区别？ 3、String 是最基本的数据类型吗？ 4、float f=3.4;是否正确？ 5、short s1 = 1...
- Java常用类库以及简介，具体使用细节进行百度（爬虫爬取的数据）
Office文档的Java处理包 POI [推荐] Apache POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。目前POI已经有了Ruby版本。 结构： HSSF － 提供读写Microsoft Excel XL... Java常用工具包 Jodd [推荐]...
- Visio_2016
visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用
- OpenGL ES2.0基础
初级学习OpenGL ES2.0的课程，从无到有，从进本的函数讲起，每一课时都附带一个例子程序。深入浅出的讲解可编程管线技术，令人费解的文理，以及混合技术，各种优化技术：顶点缓冲区，索引缓冲区，帧缓冲区，介绍精灵的使用，并使用shader制作粒子特效。 掌握OpenGL ES2.0可编程管线，以及OpenGLES2.0的特性，带领初学者入门。
- 2020美赛O奖论文.zip
包含2020美赛所有题目的所有O奖论文，A题8篇，B题5篇，C题6篇，D题7篇，E题5篇，F题6篇。