关于如何避免重复读取大文件

[zzxiaoma]

比如有一系列的方法需要读取大的文本或者excel文件。这个文件会随时变化，也就是不能第一次执行放内存就不读取。
一些方法都需要从文件里面取数据，如何才能更有效率的写代码呢？

[watermarkmms]

肯定用缓存，自己写个静态的map，把内容读进去，文件修改的时候，把map内容也修改

[Inhibitory]

现用现读

[zhouyusunquan]

给文件一个版本，当更新之后版本加一，这样去判断，如果版本未变，则从内存中读取，如果变了，则重新读取，这样也可以避免不停的去读

[zzxiaoma]

[Quote=引用 3 楼 watermarkmms 的回复:]

肯定用缓存，自己写个静态的map，把内容读进去，文件修改的时候，把map内容也修改
[/Quote]
那岂不是要把读出的文件和map比较？因为不知道什么时候文件被修改，也不知道修改的是什么。那就需要把文件再读一变

[zzxiaoma]

[Quote=引用 4 楼 inhibitory 的回复:]

现用现读
[/Quote]
现用现读的话那还是需要重复的去读

[zzxiaoma]

[Quote=引用 5 楼 zhouyusunquan 的回复:]

给文件一个版本，当更新之后版本加一，这样去判断，如果版本未变，则从内存中读取，如果变了，则重新读取，这样也可以避免不停的去读
[/Quote]
更新文件我并不知道什么时候更新，文件更新程序不能修改

[朱超ZhuChao.Tech]

[Quote=引用楼主 zzxiaoma 的回复:]
比如有一系列的方法需要读取大的文本或者excel文件。这个文件会随时变化，也就是不能第一次执行放内存就不读取。
一些方法都需要从文件里面取数据，如何才能更有效率的写代码呢？
[/Quote]

hibernate 那個3級緩存（查詢緩存）。

[zzxiaoma]

那就是说还是需要用缓存来解决这个问题？

[穆大叔]

也想知道，帮顶！！

[Inhibitory]

[Quote=引用 7 楼 zzxiaoma 的回复:]

引用 4 楼 inhibitory 的回复:

现用现读

现用现读的话那还是需要重复的去读
[/Quote]
解决重复读就是缓存的工作了

[安心逍遥]

IE删除一下缓存，祝你好运

[cscxxx]

这关系到商业逻辑也就是业务层面的问题
LZ确认在读的时间点是不是文件没有变动?
是否将整个资料丢到数据库请改动也到系统上进行修改?数据库够大?
如果使用缓存多久更新一次?缓存够大?
工作人员可容忍读取时间?
总之请lz列出一些问题和答案就可以选取更适合的解决方法

[数字巫师]

这个还是看你的文件存储数量和文件大小。
若文件不算太大(每个<100K),数量不太大（少于几万个左右）是可以考虑直接存储在数据库中的。
此时用Hibernate二级缓存监控更新足够了。

如果太多和太大，就只能放在文件系统中自己写监控，自己写缓存，还要注意监控点不要遗漏