如何高效向redis插入大量的数据

ydm305365 2013-08-01 09:56:14

我现在做的这个手机应用，后台有时候会用到群发私信的问题，假如当前用户有100万数据，因为手机端完全是通过redis做交互的，数据库我可以通过批量插入，速度很快，但是redis就有点麻烦了，我目前的做法是，每次从数据库读2000条数据，然后循环这2000条数据分别插入到redis里，但是100万用户这样循环效率非常低下，后来我给这个插缓存的方法单独开了一个线程去执行，这样解决不了实际问题，只是不影响前面操作，请叫大神有没有什么高效率的方法

...全文

5891 7 打赏收藏转发到动态举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

shy_snow 2015-11-13

打赏
举报

回复

pipeline批量插入数据

tao_xue_jun 2015-10-28

打赏
举报

回复

通过redis 管道或者lua脚本。

人心莫测 2013-08-06

打赏
举报

回复

把100万用户分段,开多个线程去执行

ydm305365 2013-08-01

打赏
举报

回复

好吧，我承认我问错版块了，请版主把我移到数据库开发里去，谢谢

ydm305365 2013-08-01

打赏
举报

回复

是不是我提问的版块搞错了

ydm305365 2013-08-01

打赏
举报

回复

MiceRice 2013-08-01

打赏
举报

回复

确实没有很好的做法。。。按照你这个数量级，就算用并发多线程就没用，基本上要考虑发送服务器集群。

最近有个哥们在群里问，有一个日志，里面存的是IP地址（一行一个），如何将这些IP快速导入到Redis中。我刚开始的建议是Shell+redis客户端。今天，查看Redis官档，发现文档的首页部分...

redis.log redis.sh [root@localhost /data]# vim redis.sh #/bin/bash for ((i=0;i<10000;i++)) do echo -en "xb" | redis-cli -p 192.168.37.106 -p 6379 -x set name$i >>redis.log done 直接...

mysql搭配redis工作效率非常高效，就好比男女搭配干活不累，没有redis，mysql也能独立很好的完成用户读写请求。有了redis,用户访问数据的效率更高，时间更短，快速的完成请求。 3、讲解如何保持mysql和redis数据强...

管道（pipeline）是redis在提供单个请求中缓冲多条服务器命令的基类的子类。它通过减少服务器-客户端之间反复的TCP数据库包，从而大大提高了执行批量命令的功能 import redis r = redis.Redis() p = r....

https://www.cnblogs.com/ivictor/p/5446503.html如何高效地向Redis插入大量的数据最近有个哥们在群里问，有一个日志，里面存的是IP地址（一行一个），如何将这些IP快速导入到Redis中。我刚开始的建议是Shell+redis...

高性能WEB开发

25,985

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章