Redis队列执行PHP入库操作

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-14 08:59:51

场景描述：
1）PHP操作数据库的插入：方法A，其中进行了检查是否存在，不存在执行插入操作，存在return；
2）使用1000的循环，重复执行A方法，检查数据表，没有重复数据；
3）使用Redis队列，定义一个kEY，使用1000的循环 lpush进队列中，队列读取时，执行A方法。执行后，检查表，发现有多条重复数据；
请教：如何在Redis基础上解决重复插入问题？

...全文

391 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-26

打赏
举报

回复

感谢版主提供的思路

xuzuning 2017-09-14

打赏
举报

回复

队列中有重复数据是很正常的，如果你不想让队列中有重复数据，那就在入队时进行检查，但如此一来您的方法A 不就形同虚设了吗？

༺ཌༀཉི浮华背后༃ༀད༻ 2017-09-14

打赏
举报

回复

引用 1 楼 xuzuning的回复:

可知您的方法A有误

起初我也怀疑是方法A的问题，于是我做了第二步的测试，循环执行上万次，检查表都没有重复数据，于是就排查到队列的问题上了

xuzuning 2017-09-14

打赏
举报

回复

可知您的方法A有误

今天小编就为大家分享一篇异步redis队列实现数据入库的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

主要给大家介绍了关于redis中队列消息实现应用解耦的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

发帖、发微博、点赞、评论等这些操作很频繁的动作如果并发量小，直接入库是最简单的但是并发量一大，数据库肯定扛不住，这时可采取延迟发布：先将发布动作保存在队列里，后台进程循环获取再入库模拟发布微博先进入redis队列 weibo_redis.php <?php //此处需要安装phpredis扩展 $redis = new Redis(); $redis->connect('127.0.0.1', 6379); $redis->auth(php001); //连接redis $web_info= array( 'uid' => $_REQUEST[uid], //发布者id 'use

# PHP爬虫，基于swoole与QueryList **执行方式：CLI** - 启动: #php start.php - 停止: #php stop.php **运行环境** ``` php >= 7.0 配置swoole扩展与redis扩展 ``` **执行顺序** ``` 1. 执行php tastqueue.php，安排任务队列queue。 2. swoole启动分布式任务,每五分钟会执行一次。 3. QueryList采集queue队列，将整理好的数据入库 ``` **爬虫说明** ``` 1. 执行失败的任务会进入errorlist队列 2. 有任务失败，会自动重新检测代理池，移除失效代理。 3. 依赖库composer.json： { "require": { "jaeger/querylist": "^4.0", "illuminate/database":"~4.2" } } 4. Pickup::setRule()方法里写页面采集规则。 5. Server::$count定义开启的爬虫数量。 6. 随机代理，随机age

PHP爬虫，基于swoole与QueryList 执行方式：CLI 启动: #php start.php 停止: #php stop.php 运行环境 php >= 7.0 配置swoole扩展与redis扩展执行顺序 1. 执行php tastqueue.php，安排任务队列queue。 2. swoole启动分布式任务,每五分钟会执行一次。 3. QueryList采集queue队列，将整理好的数据入库爬虫说明 1. 执行失败的任务会进入errorlist队列 2. 有任务失败，会自动重新检测代理池，移除失效代理。 3. 依赖库composer.json： { "require": { "jaeger/querylist": "^4.0", "illuminate/database":"~4.2" } } 4. Pickup::setRule()

20,394

社区成员

19,656

社区内容

发帖

与我相关

我的任务

phpphpstorm 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章