php并发问题

h420943302 2012-12-19 04:56:42

最近有个项目，需要处理大量数据，一个进程下来需要大量时间，我就想着php能不能并发处理，如果能，要怎么弄？问度娘，有个stream_select 函数这个函数懂得能解释举例一下吗

...全文

321 15 打赏收藏转发到动态举报

写回复

用AI写文章

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

an9ryfr09 2012-12-21

打赏
举报

我拿文件来说只是举个例子，你循环调用1万次这个函数，那么你开1w个进程，每个进程只调用一次，就实现并发的目的了。就像楼上老大说的，你如果需要等待返回结果，根据这个结果才能再执行下一次循环，那么就必须阻塞。否则就会造成数据一致性的问题。我举那个1000个文件的例子，是因为读写这1000次并没有绝对的依存关系。所以可以并发进行。如果不需要，那你完全可以开10000个进程每个进程调用一次。当然具体开多少个进程这个要根据很多因素来考虑，并不是开的越多越好。一般来说进程数量 = cpu核心数量最佳。至于怎么开多进程(php本身在windows上没法实现多线程，linux下到是可以借助系统来实现)。不是说让你开n个浏览器页面，你去查一下php cli模式。我们只是提供思路。具体如何拆分任务还是要最了解业务逻辑的你来思考。

an9ryfr09 2012-12-21

打赏
举报

给你敲那么多字，最后就落了这么一句话。ok，你继续等实在的吧。

h420943302 2012-12-21

打赏
举报

都说的很虚，没点实在的。。

夏之冰雪 2012-12-21

打赏
举报

可否像压力测试那样，模拟并发就好了。

acabin 2012-12-21

打赏
举报

你要做的这个更类似于队列消息一个主进程负责调度生成子进程具体执行这方面的算法很多,上网找找即可

ImN1 2012-12-20

打赏
举报

*nix平台有多线程，请查阅手册其他平台需要借助web服务器的多线程记忆中php也有函数能对他太多的进程进行拒绝，没做过相关项目，所以没研究，只是看过手册

xuzuning 2012-12-20

打赏
举报

那么你调用函数，是否需要得到返回结果？如果不需要（当然这就不是函数了），你可以开多个进（线程）来完成如果需要，则必须等待结果的返回

h420943302 2012-12-20

打赏
举报

亲们现在是一个文件不是1000个文件我现在的意思差不多是这样一个函数a 然后有1w个数据循环调用 1w次这个函数a 如果调用一次这个函数a需要1s 那么单发就需要1ws 现在就想着并发比如分成 2个并发同时进行一个是 1-5000的数据循环调用a 一个是5001-1w的数据循环调用a 这样理论上时间变为5000s 依次类推分成1000个并发进行怎么实现并发调用这个函数

an9ryfr09 2012-12-20

打赏
举报

开多个进程就行了。不过你要自己根据业务逻辑，将任务拆分。比如你现在的程序要从1读到第1000个文件，然后将所有文件的内容统一写入到一个新文件newfile中。单进程的话，你肯定是做个1到1000的循环，读一个文件，就取新文件中追加一次。如果我开两个进程，就可以让进程一从第1个文件循环读到第500个文件，进程二从501个文件读到第1000个。这样等于就把一个大任务拆成两个任何并行执行了。在多cpu或多核心的机器上，理论上效率提高了一倍。但你要解决好并发写入的问题。因为两个进程都在同时向newfile写数据，一定会引发冲突，为了让他们写入文件无阻塞，所以最好不用文件锁。可以让两个进程都先写入一个临时文件(newfile1.tmp、newfile2.tmp...)，等两个进程都执行完毕后，再将两个临时文件合并。当然，如果你开3个进程，理论上效率就提高了3倍，以此类推。这其实就是进程管理的知识。实际应用中，光有一堆子进程是不行的，你需要有一个主进程来对这些子进程进行调度、和管理。比如最后那个将所有临时文件合并的工作就应该由主进程来做，因为只有它能知道何时所有进程执行完毕。其实多线程也是这样的工作原理。