Redis队列执行PHP入库操作

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-14 08:59:51

场景描述：
1）PHP操作数据库的插入：方法A，其中进行了检查是否存在，不存在执行插入操作，存在return；
2）使用1000的循环，重复执行A方法，检查数据表，没有重复数据；
3）使用Redis队列，定义一个kEY，使用1000的循环 lpush进队列中，队列读取时，执行A方法。执行后，检查表，发现有多条重复数据；
请教：如何在Redis基础上解决重复插入问题？

...全文

340 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-26

打赏
举报

回复

感谢版主提供的思路

xuzuning 2017-09-14

打赏
举报

回复

队列中有重复数据是很正常的，如果你不想让队列中有重复数据，那就在入队时进行检查，但如此一来您的方法A 不就形同虚设了吗？

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-14

打赏
举报

回复

引用 1 楼 xuzuning的回复:

可知您的方法A有误

起初我也怀疑是方法A的问题，于是我做了第二步的测试，循环执行上万次，检查表都没有重复数据，于是就排查到队列的问题上了

xuzuning 2017-09-14

打赏
举报

回复

可知您的方法A有误

随后，代码将数据推入Redis队列中，由异步的脚本循环监控该队列，并执行实际的数据入库操作。为了防止Redis内存溢出，可以通过配置合理的过期时间来控制Redis键值对的生命周期。使用`EXPIREAT`命令设置键值过期...

采购模块负责发布消息，仓库模块订阅特定频道，当接收到发布的信息时，从队列中取出数据并执行入库操作。 **示例代码** - **订阅代码（sub.php）**： ```php <?php $redis = new Redis(); $redis->connect('...

模拟发布微博先进入redis队列 weibo_redis.php <?php //此处需要安装phpredis扩展 $redis = new Redis(); $redis->connect('127.0.0.1', 6379); $redis->auth(php001); //连接redis $web_info= array( 'uid' =>...

3. QueryList采集queue队列，将整理好的数据入库 ``` **爬虫说明** ``` 1. 执行失败的任务会进入errorlist队列 2. 有任务失败，会自动重新检测代理池，移除失效代理。 3. 依赖库composer.json： { "require": { ...

PHP爬虫，基于swoole与QueryList执行方式：CLI启动: #php start.php停止: #php stop.php运行环境php >= 7.0 配置swoole扩展与redis扩展执行顺序1. 执行php tastqueue.php，安排任务队列queue。2. swoole启动分布式...

20,397

社区成员

19,656

社区内容

发帖

与我相关

我的任务

phpphpstorm 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章