请问大神,我这个30多万行的TXT,如何快速占系统资源少的插入到SQL数据库?

junjunjest2 2019-10-11 07:20:13
项目是这样的:
每天都会有几个个TXT,每一个TXT文档,都有30多万行的数据,
每一行的格式倒是固定的,都是:账号----密码----电话
SQLserver 数据库,有一个表:userdata
这个表的字段:
ID,自增长
username
userpwd
usertel

请问,如何将这30多万行的数据,能快速的逐行对应插入到数据库?
备注:账号不能重复

我现在的操作是:通过asp页面,把这个txt文档上传到服务器,然后asp页面读取TXT内容,然后逐行插入到数据库。
考虑到账号不重复,所以每次插入的时候,都要:
select usernam,userpwd,usertel from userdata where username=当前行的username
如果找不到了,才rs.addnew()
如果找到了,就直接rs.close
如此逐行循环。
但是这样,非常耗服务器资源。而且30多万条数据,也要传很久。
...全文
146 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
2019-10-17
  • 打赏
  • 举报
回复
把所有用户名读出来用个dict保存,插入前检测一下是否包含了这个key
高坚果兄弟 2019-10-13
  • 打赏
  • 举报
回复
直接用sql server的任务-导入数据,打开向导向导,数据源选平面文件源,因为你这个是固定的简单格式,很好导入
文盲老顾 2019-10-11
  • 打赏
  • 举报
回复
我的方法是,将所有txt扔到一个临时表里 然后在数据库里加正则支持,用正则处理文本内容,分成不同字段 最后distinct之后,然后插入到指定表 插入时追加条件,not exists(select top 1 1 from table where username=正则处理后的username)

28,390

社区成员

发帖
与我相关
我的任务
社区描述
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区管理员
  • ASP
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧