使用 Python异步编程并发执行爬虫任务，用回调函数解析响应

[captain5339]

一、问题：当发送API请求，读写数据库任务较重时，程序运行效率急剧下降。

异步技术是Python编程中对提升性能非常重要的一项技术。在实际应用，经常面临对外发送网络请求，调用外部接口，或者不断更新数据库或文件等操作。 这这些操作，通常90%以上时间是在等待，如通过REST, gRPC向服务器发送请求，通常可能等待几十毫秒至几秒，甚至更长。如果业务较重，按顺序执行编程，会导致大量时间用在等待上，程序运行效率急剧下降。 
常见的场景，就是爬虫软件通常会发起很多请求，如果采用同步编程方式工，往往运行时间很长。 

二、异步编程的优势

通常的编程，如果有4个任务，采用同步编程模式，4个任务是按顺序执行的，分别用时:10s，7s，5s，6s，共耗时28s;  而异步方式，就是让4个任务同时执行，总耗时降为10s，改善效果是很明显的。 

详细内容，请 点击阅读