67,513
社区成员
发帖
与我相关
我的任务
分享10亿数据毫秒级查询
技术总监给出的方案是存到redis中，可是我pipe存储的时候，每回存入的数据量大概只占用总数据量的三分之一，其他三分之后存储失败，有没有大神遇到过这种问题，或者有没有替代方案。十万火急啊
...全文
请发表友善的回复…
发表回复
ArayChou 2017-03-17
- 打赏
- 举报
楼主问题都没有描述清楚,就来一堆吐槽技术总监的,我就想问,还有啥现成的方案,速度比redis还快的! 人家哪里有说错?
一个治疗术 2017-03-16
- 打赏
- 举报
我是来看一楼的，顺便吐槽一下你们公司的技术总监
土豆的老公 2017-03-16
- 打赏
- 举报
redis，，，，碉堡了。
10亿数据还不分片？
gudaobeige 2017-03-15
- 打赏
- 举报
这样大批量的刷新数据，必然会带来大的IO。
gudaobeige 2017-03-15
- 打赏
- 举报
redis本身是又一种机制，把内存中的数据持久化到磁盘中去，具体使用什么样的策略是要看redis示例的配置。
当做持久化的时候是非常消耗，计算下批量处理的数据大小是否超出了实例的内存。
另外，如果把10亿的数据保存到一个示例或者一个key中，可以测试下，毫秒级的查询不太现实，可以尝试做分片，或者是分key存储
用户名无法显示 2017-03-15
- 打赏
- 举报
这水平也能当技术总监啊，我觉得你需要Hadoop
其实我是真性情 2017-03-15
- 打赏
- 举报
你应该去问你们技术总监，缓存放10亿条数据，确实是没谁了
奄灬苟且偷生 2017-03-15
- 打赏
- 举报
我怎么觉的你需要一个固态硬盘，完全把硬盘当内存用
你可以去看下redis的配置申请了多大的空间，或者你就直接分3次存储，每一次存一部分，看看什么时候出问题
ylovep 2017-03-15
- 打赏
- 举报
缓存放10亿条数据 也是没谁了
一剑侵心 2017-03-15
- 打赏
- 举报
竟然看见了美女头像
