37,719
社区成员
发帖
与我相关
我的任务
分享python多线程问题请教
我的任务分两步，先用spider来抓取url，抓取结束后将获得的数据jsondata及insert_into_mysql方法加入线程池，写入数据这一步没有执行，新手求指教，谢谢！
if __name__ == "__main__":
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=10)
for url in urls:
executor.submit(spider, url)
def spider(id):
#网络请求数据jsondata
executor.submit(insert_into_mysql, jsondata) #将写入数据库的方法及获取到的数据加入线程池
def insert_into_mysql(jsondata):
print("写入数据")
#将jsondata写入数据库
if __name__ == "__main__":
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=10)
for url in urls:
executor.submit(spider, url)
def spider(id):
#网络请求数据jsondata
executor.submit(insert_into_mysql, jsondata) #将写入数据库的方法及获取到的数据加入线程池
def insert_into_mysql(jsondata):
print("写入数据")
#将jsondata写入数据库
...全文
请发表友善的回复…
发表回复
