是否有多用户和并行计算的方法

qq_30738871 2024-01-02 00:03:55

我创建了一个网站，有不少耗时间的计算(基于Python), 也有数据库访问。我想用并行计算来加速计算。同时，我希望其他用户可以查询数据库中的结果。然而，如果我采用并行计算，当一个用户在线计算时，其他用户即使只是想从数据库中查询一些结果，也必须排队等待那个用户完成计算。如果我允许多个用户同时访问网站（无需排队等待），就无法同时使用并行计算。(从数据库查询结果只需要几秒钟，但在线计算完成需要几分钟。)

我目前正在使用一个名为 Celery 的库来处理多个 API 调用的并行计算，并使用 joblib 来处理并行计算。但出现了以上问题。

请问我可以使用什么框架/软件来解决我的问题吗？

谢谢

...全文

124 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

WPF多线程演示

随着计算机科技的不断进步，计算机系统的处理能力越来越强。为了更好地利用计算机系统的处理能力，我们需要使用并行计算和分布式计算技术。本文将介绍并行计算和分布式计算的概念、工作原理和应用场景，并提供相应的代码示例。并行计算和分布式计算是利用计算机系统的处理能力来加速计算的重要方法。在Python中，可以使用multiprocessing、Celery和RQ等工具来实现并行计算和分布式计算。在实际应用中，它们广泛应用于图像和视频处理、自然语言处理、大数据分析、科学计算、云计算和分布式系统等领域。

总的来说，云计算和边缘计算都是为了更好地满足不同场景下的计算需求而设计的计算模型，它们可以相互补充和结合，共同为用户提供更加灵活、高效的计算服务。在选择计算模型时，应根据具体问题的特性和需求，综合考虑串行计算和并行计算的优劣势，并选择最适合的计算方式。总的来说，并行计算的优点包括提高计算性能、加速问题求解、处理大规模数据、提高灵活性和可扩展性、降低资源成本、支持并发处理、增强容错性和稳定性等，使其成为处理复杂计算问题和大规模数据的重要工具。Spark支持内存计算和多种计算模型，如批处理、流处理和机器学习。

并行计算、分布式计算以及网格计算和云计算都是属于高性能计算（HPC）的范畴，主要目的在于对大数据的分析与处理，但它们却存在很多差异。我们需要了解两者的原理、特点和运用的场合，对云计算的了解大有裨益。之所以将两种计算技术放在一起，是因为这两种计算具有共同的特点，都是运用并行来获得更高性能计算，把大任务分为N个小任务。但两者还是有区别的，关于两者的区别在后面有介绍。 并行计算 1、并行计算概念 并行计算（Parallel Computing）又称平行计算是指一种能够让多条指令同时进行.

并行计算通过将任务分解为多个子任务，并在多个处理器或计算节点上同时执行这些子任务，从而显著提高计算速度。MATLAB 的并行计算工具箱提供了多种并行计算方法，包括并行循环（parfor）、分布式数组（）和 GPU 计算（gpuArray通过以上介绍，你应该已经掌握了如何在 MATLAB 中使用并行计算工具箱进行并行计算，包括并行循环 (parfor)、分布式数组 () 和 GPU 计算 (gpuArray这些技能将帮助你显著提高计算效率，更好地处理大规模数据和计算密集型任务。

联盟链技术问答

43

社区成员

55

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

解决联盟链使用过程中的问题，不涉及所有公链内容、不涉及发币内容，聚焦Fabric、长安链等联盟链，共建良好学习氛围

试试用AI创作助手写篇文章吧

+ 用AI写文章