关于多数据的文本文件导到到大数据量的目的表(结构相同)的效率和排错问题
文件文件A记录有3千,目的表B有100万。
假如结构为:
ID varchar(20) 主键
NAME varchar(100)
SQL导入功能容错率不高,主键有NULL值或主键重复就会中途报错。
现在想通一个临时表(没有主键,结构跟目的表一样),进行过渡。
要做的工作:
1。 把文本文件的数据导入临时表.
2。 删除临时表中对应目的表的主键值为NULL的记录
3。 删除临时表中对应目的表的主键值相同的记录
...其它没想到的,会导至不会导入的情况
最后。 把临时表余下的数据插入目的表
请指教比较有效率的又可以排除出错情况的方案。
有相关代码来讨论更好。
假如结构为:
ID varchar(20) 主键
NAME varchar(100)
SQL导入功能容错率不高,主键有NULL值或主键重复就会中途报错。
现在想通一个临时表(没有主键,结构跟目的表一样),进行过渡。
要做的工作:
1。 把文本文件的数据导入临时表.
2。 删除临时表中对应目的表的主键值为NULL的记录
3。 删除临时表中对应目的表的主键值相同的记录
...其它没想到的,会导至不会导入的情况
最后。 把临时表余下的数据插入目的表
请指教比较有效率的又可以排除出错情况的方案。
有相关代码来讨论更好。
...全文
相关推荐
ospf故障排错流程
ospf故障排错流程详细介绍,拓扑图结合命令讲解 1. OSPF排错步骤 由于OSPF协议自身的复杂性,在配置的过程中可能会出现错误。 OSPF协议正常运行的标志是:在每一台运行该协议的路由器上,应该得到的路由一条也不少,并且都是最优路径
DBeaver:一站式数据库管理工具的全方位指南
本文全面介绍了DBeaver作为一站式数据库管理工具的核心功能与优势。DBeaver支持80多种数据库类型,包括关系型、NoSQL和云数据库,提供直观的用户界面和强大的SQL编辑器。文章对比了社区版与企业版的差异,并提供了实用技巧与性能优化建议,帮助开发者高效管理多种数据库。
STM32串口高效收发多字节数据实战(附淘晶驰串口屏应用解析)
本文详细介绍了STM32串口高效收发多字节数据的实战技巧,包括自定义数据包协议设计、硬件层优化及淘晶驰串口屏的深度集成应用。通过DMA传输、环形缓冲区等技术提升通信效率,并结合实际案例解析多字节发送与接收的解决方案,帮助开发者解决数据完整性和解析难题。
美团JVM问题定位和排错
美团JVM问题定位和排错
Oracle排错流程图
大牛总结的Oracle排错流程图,带有中文注释



