中等数据的性能优化

[信息安全与项目管理]

大家好，小弟现遇到一问题，想来想去，思路也不够开阔，求各位大神指点；

需求：现有一个web地址；类似 https://www.baidu.com/index.php?tn=“张小明”

类似于websevice的地址；我有大概30w（张小明，李刚，孙悟空。。。）的数据，需要去访问这个地址；

获取回来一个jason字符串；

jason的结构大概是三块内容

小明的 家庭信息（一对一）
小明的 生活信息（一对一）
小明的 衣服信息（一对N）

然后将30W记录，更新数据库中；（注意，这个是一个持续的过程；我们希望数据的实时性）

我先说下我个人的想法；算是，抛砖引玉吧；

1，先开1个100个线程的线程池（）；
2，把30w数据，

[信息安全与项目管理]

1，先开1个100个线程的线程池（）； 2，把30w数据，都扔进该线程池里；循环 获取，转换，插入 ； （因为 衣服信息 存在一对N，所以衣服信息可能是 N*30W的数据） 遇到的问题： 1，数据库连接超过了最大的300；（采用的ibatis，请求一次，至少要握手 6次，（查询是否存在*3，插入*3，）） 2，速度很慢；